[Python] Selenium Data Crawling 준비 (맥 용)

1. Selenium 설치

pip install selenium

 

2. 웹드라이버 준비(크롬 기준)

• 크롬 브라우저 버전 확인

브라우저 상단 주소표시줄 가장 우측 점 세개 클릭 → 가장 하단 '도움말' → 'Chrome 정보' 클릭해서 나오는 설정 화면에서 크롬 브라우저의 버전을 확인한다.

현재 사용 버전은 98.0.4758.80 이므로 해당 버전에 맞는 드라이버를 다운 받으면 된다.

• 크롬드라이버 다운로드

https://sites.google.com/chromium.org/driver/ 해당 주소에서 확인한 버전에 맞는 드라이버를 찾아서 다운받는다.

화살표로 표시한 다운로드에 들어가서 보면 최근 릴리즈부터 차례로 나와있으니 해당하는 버전에 맞게 다운받으면 된다. 리눅스, 맥, 윈도우에 맞게 .zip 파일을 다운받으면 이제 준비물은 갖추어졌다. 압축을 풀고 원하는 경로에 파일을 두었다.

 

3. 실행해보기

from selenium import webdriver

starbucksURL = "https://www.starbucks.co.kr/store/store_map.do"

driver = webdriver.Chrome(executable_path= r'/Users/yoon/Downloads/20220214 Selenium/chromedriver') 
driver.get(starbucksUrl)

URL주소는 원하는 주소로 설정하고, 크롬드라이버가 있는 파일 경로도 설정해준다. 정상적으로 작동하면 좋지만, 오류가 발생하더라도 금방 해결할 수 있을 것이다.

 

4. 개발자 확인 오류 해결

막상 실행하려고 하면 파이썬 코드에서도 에러가 발생하고 '개발자를 확인할 수 없기 때문에 chromedriver를 열 수 없습니다.' 메세지 창이 뜨는 오류가 발생할 수도 있다. 이를 해결하는 방법은 크게 어렵지 않다.

먼저 터미널을 열어서 아래의 코드를 작성하여 chromedriver가 있는 위치로 이동한다. 이때 폴더 이름에 공백이 들어가 있다면 따옴표로 처리하자.

cd /Users/yoon/Downloads/"20220214 Selenium"

해당 폴더로 이동이 되었다면, 아래의 코드를 다시 작성하여 chromedriver를 사용할 수 있도록 만들어준다.

xattr -d com.apple.quarantine chromedriver

이제 다시 파이썬 코드를 실행시켜보면 정상적으로 작동한다는 것을 확인할 수 있다.