Wookang makes AI

● 현대 경제 연구원 보고서 분석 1 > 들어가며1. 다시 크롤링을 하기 위해 사이트를 보니 지난 번 내가 분석했던 보고서들은 특정 카테고리의 보고서가 아니라 '최신 보고서'라는 어디에도 없는(?) 카테고리의 보고서들이었다. (즉, 처음 들어보면 '최신연구보고서'만 보여주고 왼쪽의 카테고리를 클릭했을 때 해당 카테고리의 보고서를 보여주는 것이다. 그런데 카테고리 목록에 '최신연구보고서'는 없다 ㅡ,ㅡ 모를 수 밖에 없었다) 2. 지난 번 파일이름을 너무 대충 만들어서 이번에는 제대로 만들어 한번 더 크롤링했다. 아래와 같은 방식이다.{"reportURL":"https:\/\/hri.co.kr:442\/download.asp?file_path=%2Fpublication%2F&file_name=2016628..

● 현대 경제 연구원 간략 분석 > 들어가는 말막상 크롤링을 하고 보니 너무 대충했다.아무래도 다시 하는게 좋을 것 같은데, 저번에도 2번째 크롤링때 자주 끊겼던게 마음에 걸린다.블락당한 건 아니겠지. > 앞서 반성1. pdf 파일 이름을 너무 대충지었다. 파일이름에 보고서 발표날짜가 들어갔어야 했다.2. pdf 파일은 html이 아니어서 정규분포식을 이용한다해도 원하는 텍스트를 가져오는게 어렵다. 제목에 제목이라는 표시가 없다 ㅜ 아무래도 제목은 제목대로 따로 크롤링해서 가져와야겠다.3. 그리고 그 제목과 날짜 그리고 파일명을 하나의 json으로 만든 후 입맛에 맞게 요리해야겠다. > 결과아래 워드클라우드 이미지는 2010년 1월부터 ~ 2016년 6월 말(지난주)까지 약 6년 반 기간 동안 현대경영연..

● 현대 경제 연구원 크롤링 > 들어가는 말저 멀리 서방, 영국의 EU 이탈로 내 주식이 작살이 났다. ㅡ,ㅡ 개눔들.정말 뭣이 중헌지도 모르는 넘들.어쨌든 최근 개발에만 몰두하다가 시류를 완전히 놓쳤다. (난 투표 당일이 되어서야 알았당ㅜ) 그동안 내가 바로 21세기형 주식 천재라고 생각(?)했었는데 이 모냥이 되었으니 부끄럽고 할말이 없다..만얼마전 썰전에서 '현대경제연구원'의 체감 실업률에 대한 이야기를 듣고 갑자기그곳의 보고서들을 분석해보고 싶다는 마음이 들었다. 대딩시절 seri.org(삼성경제연구소)에 대한 로망이 좀 있었기에 그곳에 먼저 가봤는데 마지막 보고서가 올라온게 2013년이었다.한마디로 다 죽어 있었다. 뷥~위주의 서비스로 바꾼 것 같은데 서비스라는게 보통 그렇게 종말을 맞이한다 ㅋ..

● 김대균 토익킹 청취자 강의록 크롤링 > 목표 일반 기사만 크롤링 하는 것 보다 텍스트 자체도 유용한 자료를 크롤링하고 싶어 김대균 토익킹 선택. (http://home.ebs.co.kr/toeic/board/) > 실행 1. 위와 같이 이*희님이 매일 열성적으로 정리해서 자료를 올려주신다. 감사하게 생각하고 이것을 크롤링하는 거다. 2. 먼저 크롤링이 필요한 페이지들을 하나의 파일로 크롤링하여 만든 후(데이터를 얻어올 때는 2초씩 쉬면서 가져온다. Block 당하는 것 조심) 3. 해당 페이지의 '인쇄' 주소를 구한다. 인쇄 페이지를 찾는 이유는 일반 페이지에 비해 인쇄 페이지가 잡것(html tags,광고)들이 정리되어 있어 텍스트만 가져오기 좋기 때문이다. - get방식으로 되어있다면 좋겠으나 세..

● 조정래 교수님의 작품 '아리랑' 텍스트 분석.- 이라는 거창한 이름을 붙였지만 실상은 파이썬을 이용한 형태소 분석일 뿐. - 이기황 박사(다음소프트 이사)님의 수업을 바탕으로 진행. > 들어가는 말난 조정래 교수님의 열렬한 팬이다. 그래서 텍스트 마이닝을 공부하며 무엇보다 먼저 그의 작품을 분석해보고 싶었다.특히 태백산맥을 좋아하는데 끝내 텍스트 파일을 구하지 못했다.하지만 다행스럽게도 유튜브에 빠지신(?) 우리 어머니마저 전권 독파를 자랑하신 '아리랑' 파일을 구할 수 있어 최종 선택했다.(미리 밝히건데 종이책으로 이미 전집을 가지고 있다. 그리고 이 텍스트 파일은 (미안하지만) 누구에게도 공유할 생각이 없다.) > 목표아직 실력이 미약하다.그래서 현재의 목표를 '아리랑' 속에 제일 많이 나온 단어..