Wookang makes AI

dc, 펨코, 네이트판같은 커뮤니티사이트를 크롤링해야 할때가 있다. 하지만 대부분의 커뮤니티 사이트는 몇번만 글을 가져와도 ip가 차단된다. 이때 필요한 것이 ip우회다. 가장 좋고 쉬운 방법은 nord vpn 같은 유료 우회프로그램을 사용하는거지만 맥이나 리눅스 환경이라면 공짜인 tor를 사용하는 것도 대안이 될 수 있다. - 윈도우에서는 해본적이 없어 될지 안될지 모르겠는데 쉽진 않을 거 같다. 1. 먼저 tor를 설치한다. 한참동안 설치한다. sudo apt install tor [리눅스] brew install tor [맥] 2. 터미널에서 tor를 실행한다. 이제 tor는 9050포트를 이용해 통신한다. 3. 아래의 예는 ip를 우회해서 펨코(fmkorea.com)의 메인 페이지 글목록을 가져오..

* 브라우저를 띄우지 않고 메모리에만 selenium을 띄워 크롤링하기 기존 코드( https://blog.himion.com/176 )와 거의 유사하다. headlessDriver() 함수가 추가되었다 ''' * 구글 이미지 가져오기 ver. Headless ''' import os from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import undetected_chromedriver as uc impor..

* 로그인을 하고 크롤링을 하는 이유 구글의 경우 로그인하고 나오는 이미지와 로그인을 하지 않고 나오는 이미지 목록이 다를때가 많다. 성인인증이 필요한 이미지들은 로그인을 해야만 가져올수 있다. * 사용법 정상적으로 크롤링되는지 확인완료 [23.06.20] 모듈 설치 - pip install undetected_chromedriver selenium 주석 1번에 이미지를 원하는 검색어 목록 입력 주석 2번에 폴더이름 입력. 이미지는 data\google\ 아래 저장됨 주석 3번에 상세이미지의 xPath 입력. 구글의 경우 자주 바뀌는 것 같다. 주석 4번에 구글 ID입력 주석 5번에 구글 비밀번호 입력. 이후 추가로 스마트폰 인증화면이 뜰 경우에 대비해 20초간 기다린다. ''' * 구글 이미지 가져오기..

네이버 이미지 크롤링하기 동기 1. 좋은 로라를 만들기 위해서는 이미지 파일들이 많을수록 좋다. 2. 경험상 이미지 퀄러티는 구글보다 네이버가 더 좋았다 - 물론 구글 이미지 크롤링 코드도 공유할 예정 3. 네이버는 구글에 비해 크롤링에 관대하다. 그래서 코드가 간결해진다 - 구글은 undetected_chromedriver 등을 사용해야한다. 사용법 1. 2023년 6월 19일 현재 아래 코드는 잘 돌아간다. 사용하기 쉽게 주석을 많이 달아놓았다. 2. 셀리니움이나 urllib등의 모듈 설치가 우선이다. pip install selenium 3. 실행 후 크롬창이 뜨고 창이 최대화 된다. 4. 자동으로 스크롤되며 이미지 목록을 가져온다. 이때는 창을 내리지말고 스크롤이 끝까지 내려가 더 이상 가져올 이..

ai 에게 먹일 데이터를 요리중이다. 가지고 있는 epub들이 조금 있는데 이대로는 먹일 수 없으니 모두 text로 바꿔놔야한다. 그런데 생각보다 자료가 없었다. 특히 한글들이 모두 깨져나왔다. calibre를 추천하기에 설치후 convert 해봤더니 출력 폴더를 선택할 수 없어 이것도 마찬가지로 꽤나 귀찮은 작업이었다 - 하지만 파이썬으로 끝내 실패한다면 이렇게라도 작업한 후 txt파일들을 모두 찾아 한번에 모으는 코드를 만들 작정이었다.. 지만 파이썬으로 해결했다. 먼저 EbookLib를 설치한다 1. pip install EbookLib https://pypi.org/project/EbookLib/ EbookLib Ebook library which can handle EPUB2/EPUB3 and ..

● 기상청 지진정보 크롤링 > 들어가는 말 1. 최근 시각화 스터디를 시작했다. 2. 그냥 R&D 하는 건 재미없고 무언가 의미있는 걸 만들어 보고 싶었다. 3. 그런데 이번 포항 지진을 보며 궁금한 것이 있었다. 4. '만약 포항에 지진 강도 7이 발생했다면 서울에서 얼마의 강도가 전해질까?' 였다. 5. 이걸 시각화해보기로 결정했다. > 정보 제공 사이트 1. 기상청 - 아쉬운 건 깊이 정보가 2017년 7월 5일부터 제공된다는 거다. - 메일로 문의해보니 이전 데이터는 제공해줄 수 없단다. 역시 이유는 없다. 역시 최고의 직업은 공무원이다. - http://www.kma.go.kr/weather/earthquake_volcano/domesticlist.jsp 2. 지진연구센터 - 최근에 모든 데이터..