Wookang makes AI

dc, 펨코, 네이트판같은 커뮤니티사이트를 크롤링해야 할때가 있다. 하지만 대부분의 커뮤니티 사이트는 몇번만 글을 가져와도 ip가 차단된다. 이때 필요한 것이 ip우회다. 가장 좋고 쉬운 방법은 nord vpn 같은 유료 우회프로그램을 사용하는거지만 맥이나 리눅스 환경이라면 공짜인 tor를 사용하는 것도 대안이 될 수 있다. - 윈도우에서는 해본적이 없어 될지 안될지 모르겠는데 쉽진 않을 거 같다. 1. 먼저 tor를 설치한다. 한참동안 설치한다. sudo apt install tor [리눅스] brew install tor [맥] 2. 터미널에서 tor를 실행한다. 이제 tor는 9050포트를 이용해 통신한다. 3. 아래의 예는 ip를 우회해서 펨코(fmkorea.com)의 메인 페이지 글목록을 가져오..

* 브라우저를 띄우지 않고 메모리에만 selenium을 띄워 크롤링하기 기존 코드( https://blog.himion.com/176 )와 거의 유사하다. headlessDriver() 함수가 추가되었다 ''' * 구글 이미지 가져오기 ver. Headless ''' import os from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import undetected_chromedriver as uc impor..

* 로그인을 하고 크롤링을 하는 이유 구글의 경우 로그인하고 나오는 이미지와 로그인을 하지 않고 나오는 이미지 목록이 다를때가 많다. 성인인증이 필요한 이미지들은 로그인을 해야만 가져올수 있다. * 사용법 정상적으로 크롤링되는지 확인완료 [23.06.20] 모듈 설치 - pip install undetected_chromedriver selenium 주석 1번에 이미지를 원하는 검색어 목록 입력 주석 2번에 폴더이름 입력. 이미지는 data\google\ 아래 저장됨 주석 3번에 상세이미지의 xPath 입력. 구글의 경우 자주 바뀌는 것 같다. 주석 4번에 구글 ID입력 주석 5번에 구글 비밀번호 입력. 이후 추가로 스마트폰 인증화면이 뜰 경우에 대비해 20초간 기다린다. ''' * 구글 이미지 가져오기..

네이버 이미지 크롤링하기동기1. 좋은 로라를 만들기 위해서는 이미지 파일들이 많을수록 좋다.2. 경험상 이미지 퀄러티는 구글보다 네이버가 더 좋았다 - 물론 구글 이미지 크롤링 코드도 공유할 예정3. 네이버는 구글에 비해 크롤링에 관대하다. 그래서 코드가 간결해진다 - 구글은 undetected_chromedriver 등을 사용해야한다. 사용법1. 2023년 6월 19일 현재 아래 코드는 잘 돌아간다. 사용하기 쉽게 주석을 많이 달아놓았다.2. 셀리니움이나 urllib등의 모듈 설치가 우선이다.pip install selenium3. 실행 후 크롬창이 뜨고 창이 최대화 된다. 4. 자동으로 스크롤되며 이미지 목록을 가져온다. 이때는 창을 내리지말고 스크롤이 끝까지 내려가 더 이상 가져올 이미지가 없을때까..

ai 에게 먹일 데이터를 요리중이다. 가지고 있는 epub들이 조금 있는데 이대로는 먹일 수 없으니 모두 text로 바꿔놔야한다. 그런데 생각보다 자료가 없었다. 특히 한글들이 모두 깨져나왔다. calibre를 추천하기에 설치후 convert 해봤더니 출력 폴더를 선택할 수 없어 이것도 마찬가지로 꽤나 귀찮은 작업이었다 - 하지만 파이썬으로 끝내 실패한다면 이렇게라도 작업한 후 txt파일들을 모두 찾아 한번에 모으는 코드를 만들 작정이었다.. 지만 파이썬으로 해결했다. 먼저 EbookLib를 설치한다 1. pip install EbookLib https://pypi.org/project/EbookLib/ EbookLib Ebook library which can handle EPUB2/EPUB3 and ..

● 기상청 지진정보 크롤링 > 들어가는 말 1. 최근 시각화 스터디를 시작했다. 2. 그냥 R&D 하는 건 재미없고 무언가 의미있는 걸 만들어 보고 싶었다. 3. 그런데 이번 포항 지진을 보며 궁금한 것이 있었다. 4. '만약 포항에 지진 강도 7이 발생했다면 서울에서 얼마의 강도가 전해질까?' 였다. 5. 이걸 시각화해보기로 결정했다. > 정보 제공 사이트 1. 기상청 - 아쉬운 건 깊이 정보가 2017년 7월 5일부터 제공된다는 거다. - 메일로 문의해보니 이전 데이터는 제공해줄 수 없단다. 역시 이유는 없다. 역시 최고의 직업은 공무원이다. - http://www.kma.go.kr/weather/earthquake_volcano/domesticlist.jsp 2. 지진연구센터 - 최근에 모든 데이터..

● 분류기의 튜닝 > 들어가는 말1. 엄청나게 고생했다.2. 윈도우에서 병렬 컴퓨팅을 실행시키기 위해서는 메인루프를 "if __name__ == '__main__'"로 감싸야 한다. sklearn의 joblib 모듈 문서를 살펴보라는데 봐도 별거 없다. 이젠 에러 메세지까지 나한테 뻥을 친다ㅡ,ㅡ 어쨌든 감싸고 나니 그 에러 메세지는 없어졌다.3. 맥에서는 그냥 된다고 한다. > 실행1. MultinomialNB()와 SGDClassifier()의 최적 파라미터를 찾아봤다.2. 이것도 엄청 고생했다.3. pipeline과 parameters들을 set과 dictionary로 만들어 놓는게 핵심이다.4. 최적 파라미터를 측정할 분류기를 MultinomialNB()나 SGDClassifier() 둘 중에 선..

● 학습 모델 저장 및 읽어오기 > 들어가는 말테스트를 할때마다 매번 학습을 시킬 수 없으니 저장하는 건 당연하다.1. 학습 모델을 저장 방식에는 (현재 내가 알고 있는 것이 딱) 2가지 방법이 있다.2. pickle모듈로 직렬화하는 방법이 하나고3. skilearn.externals의 joblib모듈이 다른 하나다. > 과정1. pickle이 가장 보편적이라고 해서 사용해 보니 파일 용량이 42.5MB가 나왔다.2. joblib로 compress=9로 해서 저장해 보니 파일 용량이 9.5MB가 나왔다.3. 속도는 둘다 비슷.4. 학습 내용을 바이너리로 저장해 놨다가 다시 로드해서 쓰는 방식이다.5. 지금까지는 확실하게 joblib의 승리다. > 실행1. GridSearchCV()를 돌려 최적의 파라미터..

● KFold클래스를 이용한 벡터기계(SVM) 알고리즘 교차 검증 > 실행1. 제일 성능이 좋다는 벡터기계(SVM) 알고리즘을 이용하여 이전 모델의(MultinoialNB클래스) 예측보다 정확도를 평균 20%정도 상승시켰다. 결과 편차가 있긴해도 대략적으로 정확도 평균이 75%정도다(굉장히 신기하다!). 학습 자료와 테스트 자료는 랜덤하게 뽑았고 단 한개도 중복되지 않게 만들었다. 그런데 좀 이상한 것은 그 뒤에 KFold클래스를 사용했을 때다. 이 클래스에 총 문서수를 넣고 교차검증을 하면 자기가 알아서 섞이는 일이 없도록 정확히 구분한다고 하는데, 그렇다면 내가 전에 만들었던 9:1 훈련 문서 분류 작업과 동일한 작업이라는 건데 결과는 이게 훨씬 나쁘게 나온다. 아래가 그 결과다. Accuracy P..

● 현대경제연구원 보고서 벡터기계(SVM: support vector machine)알고리즘을 이용한 분석 > 실행1. 이전 모델(MultinomialNB클래스)과 달라진 부분은 아래 3줄 뿐이다. sgd = SGDClassifier(loss="hinge", penalty="l2", alpha=1e-3, n_iter=5, random_state=42) sgd.fit(train_doc_term_mat, train_labels) pred_labels = sgd.predict(test_doc_term_mat) 2. 놀랍다. 사용 알고리즘만 바꿨는데 평균 정확도가 20% 이상 올랐다. 심지어 정확도가 83%를 넘긴적도 있다(딱 한번).3. 일반적으로 75% 내외의 정확도를 보이고 있다. 게다가 한번도 맞춘적 없..