[Web Crawling] 헤드리스 브라우저

PhantomJS는 헤드리스 브라우저로 눈에 보이지 않는 브라우저를 말한다.

하지만 ChromeDriver에서도 간단한 코드로 헤드리스 처리할 수 있다.

from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.headless = True
driver = webdriver.Chrome(executable_path="C:\chromedriver.exe", options=options)
driver.get('https://www.naver.com/')

html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')
print(soup)

executable_path 에는 chromedriver가 설치되어 있는 경로를 입력한다.