[Python] 크롤링(Crawling) 끝판왕! 쉽지만 강력한 크롤링 방법 (selenium 설치 및 활용)

0

크롤링 끝판왕 – selenium 설치 방법

selenium 설치

터미널 / cmd를 이용해 설치하기

conda install selenium

크롬 웹드라이버 설치

컴퓨터에 맞는 웹드라이버 설치

[Python] 크롤링(Crawling) 끝판왕! 쉽지만 강력한 크롤링 방법 (selenium 설치 및 활용)

본인 크롬 버전에 맞는 드라이버 다운로드!

크롬 버전 확인 방법

  • 맥 – 좌측 상단 chrome -> about google chrome
[Python] 크롤링(Crawling) 끝판왕! 쉽지만 강력한 크롤링 방법 (selenium 설치 및 활용)
[Python] 크롤링(Crawling) 끝판왕! 쉽지만 강력한 크롤링 방법 (selenium 설치 및 활용)

selenium 활용

다운 받은 selenium을 활용하여 웹사이트 크롤링 하기

from selenium import webdriver
from bs4 import BeautifulSoup

selenium 의 webdriver을 이용한다.

Chrome_driver = '/Users/Shared/test/chromedriver'
w_driver = webdriver.Chrome(Chrome_driver)
url = 'https://news.google.com/topstories?hl=en-US&gl=US&ceid=US:en'
w_driver.get(url)
source = w_driver.page_source
soup = BeautifulSoup(source)
news = soup.select('h3[class="ipQwMb ekueJc gEATFF RD0gLb"]')
for new in news:
    print(new.get_text())
  1. 인터넷 드라이버 위치 작성
  2. webdriver로 크롬 드라이버 불러오기
  3. url 입력
  4. webdriver로 url 열기
  5. web page source 추출
  6. BeautifulSoup로 변환
  7. 코드 추출

코드 추출하는 방법 -> https://datazzang.com/2020/01/09/python-crawling-2/

결과

[Python] 크롤링(Crawling) 끝판왕! 쉽지만 강력한 크롤링 방법 (selenium 설치 및 활용)

실시간 사이트 모습

[Python] 크롤링(Crawling) 끝판왕! 쉽지만 강력한 크롤링 방법 (selenium 설치 및 활용)

기존 크롤링과 차이점

  • 모듈만 있다면 모든 브라우저에서 사용 가능
  • 실시간 정보 확인 가능
  • 크롤링 이외에도 활용 가능 (자동 검색, 사이트 접속, spam comment (Please stop..))

회신을 남겨주세요

귀하의 의견을 입력하십시오!
여기에 이름을 입력하십시오.