Selenium (5) 썸네일형 리스트형 파이썬으로 크롤링하기 - WebDriverWait() 사용하기 크롤링할 내용이 많아지면, 파싱을 다 하기 전에 코드가 넘어가버리는 경우가 생겼다. 찾고자 하는 element를 받아 온 뒤 진행할 수 있는 해결책을 찾아보니 WebDriverWait가 나왔다. from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver = webdriver.Firefox("drive 경로") driver.get("URL 주소") try: # ID가 myDynamicElement인 elem.. 파이썬으로 크롤링하기 - 메가박스 서울 지점명 받아오기 selenium과 beautifulSoup을 이용해 서울 내 메가박스 영화관 리스트를 받아오려 한다. 1. 메가박스 사이트 소스코드 확인 영화관 리스트는 아래 URL에서 확인 가능하다. http://www.megabox.co.kr/?menuId=theater 소스코드를 살펴보면, 각 지역을 class명으로 구별해 둔 것을 볼 수 있다. 필자가 크롤링하려는 서울의 클래스명은 menu01이다. 해당 메뉴를 클릭하면, 클래스가 menu01 active로 변경되고, 아래쪽에 서울 내 지역들이 동적으로 나타나는 것을 볼 수 있다. 영화관 지점명은 id가 region_10인 ul > li > a태그의 text로 확인 가능하다. 2. 셀레니움을 이용한 동적코드 크롤링 필자가 작성한 코드는 다음과 같다. from se.. selenium으로 네이버 자동 로그인하기 네이버는 셀레니움으로 로그인을 시도하면 캡챠 페이지가 뜬다. 아래는 시도한 코드와 로그인이 막힌 모습. from selenium import webdriver driver = webdriver.Chrome(r'C:\Users\smddu\Documents\chromedriver\chromedriver.exe') driver.implicitly_wait(3) driver.get('https://nid.naver.com/nidlogin.login?mode=form&url=https%3A%2F%2Fwww.naver.com') driver.find_element_by_name('id').send_keys('아이디') driver.find_element_by_name('pw').send_keys('비밀번호') dr.. selenium으로 자동로그인 하기 앞 포스터에서 웹드라이버를 이용해 브라우저를 띄워봤다. 조금 더 나가서 셀레니움을 이용해, 다음 사이트에 자동으로 로그인을 해보려 한다. 시작하기 앞서, selenium의 대표적인 메소드를 간단히 알아보자. get get은 앞서 우리가 사용했던 것 처럼, URL에 접근할 수 있도록 해주는 api다. driver.get('https://google.com') element element는 페이지의 단일 element에 접근할 수 있는 api로, html 태그의 속성 부분을 지정해서 접근할 수 있다. #단일 element에 접근 driver.find_element_by_name('name') driver.find_element_by_id('id') driver.find_element_by_xpath('/ht.. 파이썬으로 크롤링하기 - selenium selenium은 webdriver라는 API를 통해 브라우저를 제어할 수 있는 모듈이다. 실제 웹 브라우저를 동작시키는 것이기 때문에, 동적인 페이지의 정보도 크롤링 할 수 있게 된다. 1. selenium 설치 pip install selenium 2. webdriver 설치 해당 게시글은 크롬을 기준으로 작성했습니다. 다른 브라우저를 사용하실 경우엔 해당 브라우저에 맞게 진행하시면 됩니다. 사용하는 크롬의 버전을 확인한다. 아래 사이트에서 버전에 맞는 드라이버를 받아준다. https://sites.google.com/a/chromium.org/chromedriver/downloads 다운로드 받은 파일의 압축을 풀면 웹드라이버 파일을 확인할 수 있다. 해당 파일의 경로는 나중에 selenium 객체.. 이전 1 다음
