Wookang makes AI

● 분류기의 튜닝 > 들어가는 말1. 엄청나게 고생했다.2. 윈도우에서 병렬 컴퓨팅을 실행시키기 위해서는 메인루프를 "if __name__ == '__main__'"로 감싸야 한다. sklearn의 joblib 모듈 문서를 살펴보라는데 봐도 별거 없다. 이젠 에러 메세지까지 나한테 뻥을 친다ㅡ,ㅡ 어쨌든 감싸고 나니 그 에러 메세지는 없어졌다.3. 맥에서는 그냥 된다고 한다. > 실행1. MultinomialNB()와 SGDClassifier()의 최적 파라미터를 찾아봤다.2. 이것도 엄청 고생했다.3. pipeline과 parameters들을 set과 dictionary로 만들어 놓는게 핵심이다.4. 최적 파라미터를 측정할 분류기를 MultinomialNB()나 SGDClassifier() 둘 중에 선..

● 학습 모델 저장 및 읽어오기 > 들어가는 말테스트를 할때마다 매번 학습을 시킬 수 없으니 저장하는 건 당연하다.1. 학습 모델을 저장 방식에는 (현재 내가 알고 있는 것이 딱) 2가지 방법이 있다.2. pickle모듈로 직렬화하는 방법이 하나고3. skilearn.externals의 joblib모듈이 다른 하나다. > 과정1. pickle이 가장 보편적이라고 해서 사용해 보니 파일 용량이 42.5MB가 나왔다.2. joblib로 compress=9로 해서 저장해 보니 파일 용량이 9.5MB가 나왔다.3. 속도는 둘다 비슷.4. 학습 내용을 바이너리로 저장해 놨다가 다시 로드해서 쓰는 방식이다.5. 지금까지는 확실하게 joblib의 승리다. > 실행1. GridSearchCV()를 돌려 최적의 파라미터..

● KFold클래스를 이용한 벡터기계(SVM) 알고리즘 교차 검증 > 실행1. 제일 성능이 좋다는 벡터기계(SVM) 알고리즘을 이용하여 이전 모델의(MultinoialNB클래스) 예측보다 정확도를 평균 20%정도 상승시켰다. 결과 편차가 있긴해도 대략적으로 정확도 평균이 75%정도다(굉장히 신기하다!). 학습 자료와 테스트 자료는 랜덤하게 뽑았고 단 한개도 중복되지 않게 만들었다. 그런데 좀 이상한 것은 그 뒤에 KFold클래스를 사용했을 때다. 이 클래스에 총 문서수를 넣고 교차검증을 하면 자기가 알아서 섞이는 일이 없도록 정확히 구분한다고 하는데, 그렇다면 내가 전에 만들었던 9:1 훈련 문서 분류 작업과 동일한 작업이라는 건데 결과는 이게 훨씬 나쁘게 나온다. 아래가 그 결과다. Accuracy P..

● 현대경제연구원 보고서 벡터기계(SVM: support vector machine)알고리즘을 이용한 분석 > 실행1. 이전 모델(MultinomialNB클래스)과 달라진 부분은 아래 3줄 뿐이다. sgd = SGDClassifier(loss="hinge", penalty="l2", alpha=1e-3, n_iter=5, random_state=42) sgd.fit(train_doc_term_mat, train_labels) pred_labels = sgd.predict(test_doc_term_mat) 2. 놀랍다. 사용 알고리즘만 바꿨는데 평균 정확도가 20% 이상 올랐다. 심지어 정확도가 83%를 넘긴적도 있다(딱 한번).3. 일반적으로 75% 내외의 정확도를 보이고 있다. 게다가 한번도 맞춘적 없..

● 현대경제연구원 보고서 Scikit-learn 모듈을 이용한 베이즈 분류 적용 > 들어가는 말종일 비가 올 것 같았는데 밤이 되니 비가 멈췄다.덕분에 비를 맞지 않고 운동을 했다. 빡시게 했더니 몸이 나른하다. 그리고 또 컴퓨터 앞에 앉았다. > 계획1. 베이즈 분류 모델을 적용하기 위해서 9:1 비율로 보고서들을 먼저 학습 시킨 후 테스트 과정을 거친다. 보고서가 중복되지 않게 조심한다.2. 현재 2,109개의 자료가 있고 여기에 7개의 MagazineID가 있다.3. 즉, 약 1900개의 리포트로 학습을 시킨 후 나머지 200개를 가지고 리포트 내용만 보여주고 MagazineID를 맞춰보게 하는거다. 최종 정확도(accuracy)를 보여준다. 그냥 랜덤하게 찍는다면 14% 정확도가 평균이고 숫자가 ..

● 현대경제연구원 보고서 Scikit-learn과 scipy를 이용한 비계층 군집 분석 > 들어가는 말 1. 이제 (약간의)인공지능이 들어간다. 알아서 문서의 중심(centroid)을 설정하고 이로부터 각 자료와의 거리에 드는 비용을 최소한하는 군집 알고리즘(K-평균기법)을 이용한다. 이것도 결과가 궁금하다. > 계획1. scikit-learn 라이브러리에서 이미 K-평균 군집화 기능을 제공한단다.2. 처리 속도가 빨라 많은 분야에서 사용하고 있단다.3. 문서를 행렬로 만들때 개발자가 일일이 만들 필요없이 vectorizer = TfidfVectorizer(min_df=1) doc_term_mat = vectorizer.fit_transform(documents) 이렇게 하는 것으로 원샷 생성이 가능하다..

● 현대경제연구원 보고서 KL발산 분석 > 들어가는 말 1. 예상하기는 했지만 생각보다 빨리 다시 하고 싶어졌다. 그 동안 내가 이 정도 하다가 무언가를 그만둔 적이 평생에 한번도 없기 때문이다. 2. 그래도 헬대라는 생각에는 변화가 없다. > 계획 1. 먼저 season2로 새로운 프로젝트를 만든다. 새술은 새부대에! 2. morphed 폴더 안에 이미 형태소 분석한 보고서 txt파일들을 몽땅 넣는다. (2109개다) 3. 보고서의 내용을 (요약)정리한 json파일에 이 형태소 txt 파일의 이름을 dictionary로 추가한다. 4. 이것으로 현대경제연구소 보고서 분석에 대한 모든 재료가 준비되었다. 보기 좋게 indent을 4정도 주면 아래같이 이쁘게 뽑힌다.[ { "fileName":"2016.0..

● 현대경제연구원 보고서 분석 - 문서 전처리 작업 중 1. 아. 헬대. 현다이 ㅅㅂ 내가 현대를 왜 그리 몰랐을까.데이터들을 한 곳에 모으다가 발견했다. 그 동안 나는 각 카테고리별로 교집합없이 나눠져 있는 보고서들을 하나로 합치면 모든 보고서들의 합집합을 이룰 수 있을 것이라 동해안의 태양처럼 당연하게 생각했다. 카테고리란 그런거니까. 나누기 위해 만들어진 것이니까. 방금 발견한 결과는 이런 것이다. 경제 카테고리안의 보고서는 모든 보고서들의 집합이다.사회문화 카테고리안에 있는 모든 보고서는 경제 카테고리에도 있다. 다른 카테고리에도 있을 확률이 90%이상이다.산업경영 카테고리안에 있는 모든 보고서는 경제 카테고리에도 있다. 물론 다른 카테고리에도 있을 확률이 두말하면 잔소리다.ㅅㅂ 통일 카테고리안에..

● 현대경제연구원 분석 중 3 > 작업 중 1. 고통스러운 전처리 작업 시작 .. 대체 내가 왜 이걸 하고 있는 건지 ㅡ,ㅡ 2. 다행히 어젯밤 순식간에 보고서들을 모두 크롤링했다. sleep.time(2)을 주석처리하는 패기! > 아래는 파일 정리경제 = { 전체 : 4300 , 파일 주소 오류 : 146, 파일 다운 오류 : 123, 파일 오류 : 13개, txt로 변환 불가능 : 1912, 유용한 보고서 : 2110 }사회문화 : { 전체 : 3762 , 파일 주소 오류 : 179, 파일 다운 오류 : 122 , txt로 변환 불가능 : 2010 , 유용한 보고서 : 1572 }산업경영 : { 전체 : 3731 , 파일 주소 오류 : 142, 파일 다운 오류 : 124 , txt로 변환 불가능 : ..

● 현대경제연구원 분석 중 2 > 들어가는 말 1. 키워드 추출이나 보고서 학습을 시키기 위해서는 처음 목표로 했던 문서뿐 아니라 다른 카테고리의 문서들도 많이 필요하다.2. 그래서 지난 번 안하겠다고 했던 분야별 크롤링을 하기로 했다.3. 분야는,{ 경제 : 약 7,200개, 산업경영 : 약 6,500개, 사회문화 : 약 6,300개, 통일 : 약 6,500개 }보고서 전체 개수는 약 2만5천개 정도가 될 것 같다.4. 현대경제연구원이 현차나 현중 계열이 아니고(지분관계는 있다만) 고 정주영 할아버지 계열이라 현대아산을 통해 대북사업을 진행하고 있어 (현재는 좀 힘든듯해도) 다른 경제연구소에서는 쳐다도 보지 않는 통일에 대한 보고서가 저리 많다. 훌륭하다.5. 어차피 이게 내 전공도 아니고 재미로 공부..