본문 바로가기

만들기

(12)
selenium으로 네이버 자동 로그인하기 네이버는 셀레니움으로 로그인을 시도하면 캡챠 페이지가 뜬다. 아래는 시도한 코드와 로그인이 막힌 모습. from selenium import webdriver driver = webdriver.Chrome(r'C:\Users\smddu\Documents\chromedriver\chromedriver.exe') driver.implicitly_wait(3) driver.get('https://nid.naver.com/nidlogin.login?mode=form&url=https%3A%2F%2Fwww.naver.com') driver.find_element_by_name('id').send_keys('아이디') driver.find_element_by_name('pw').send_keys('비밀번호') dr..
selenium으로 자동로그인 하기 앞 포스터에서 웹드라이버를 이용해 브라우저를 띄워봤다. 조금 더 나가서 셀레니움을 이용해, 다음 사이트에 자동으로 로그인을 해보려 한다. 시작하기 앞서, selenium의 대표적인 메소드를 간단히 알아보자. get get은 앞서 우리가 사용했던 것 처럼, URL에 접근할 수 있도록 해주는 api다. driver.get('https://google.com') element element는 페이지의 단일 element에 접근할 수 있는 api로, html 태그의 속성 부분을 지정해서 접근할 수 있다. #단일 element에 접근 driver.find_element_by_name('name') driver.find_element_by_id('id') driver.find_element_by_xpath('/ht..
파이썬으로 크롤링하기 - selenium selenium은 webdriver라는 API를 통해 브라우저를 제어할 수 있는 모듈이다. 실제 웹 브라우저를 동작시키는 것이기 때문에, 동적인 페이지의 정보도 크롤링 할 수 있게 된다. 1. selenium 설치 pip install selenium 2. webdriver 설치 해당 게시글은 크롬을 기준으로 작성했습니다. 다른 브라우저를 사용하실 경우엔 해당 브라우저에 맞게 진행하시면 됩니다. 사용하는 크롬의 버전을 확인한다. 아래 사이트에서 버전에 맞는 드라이버를 받아준다. https://sites.google.com/a/chromium.org/chromedriver/downloads 다운로드 받은 파일의 압축을 풀면 웹드라이버 파일을 확인할 수 있다. 해당 파일의 경로는 나중에 selenium 객체..
파이썬으로 크롤링하기 - Beautiful Soup 파이썬으로 크롤링을 할 때, Beautiful Soup 모듈을 이용하면 편리하다. 1. Beautiful Soup 설치 pip install beautifulsoup4 2. 크롤링 하려는 페이지의 코드 확인 보안뉴스 메인페이지의 헤드라인 타이들을 긁어 올 생각이다. 확인해보니 li 태그 안에 제목들이 입력되어 있다. li 바로 위에 있는 ul의 클래스는 아래쪽에도 계속 반복되므로, 상위 div의 id를 이용하려 한다. 3. 헤드라인 가져오는 코드 from bs4 import BeautifulSoup import requests #보안뉴스 소스코드 가져오기 req = requests.get('https://www.boannews.com/Default.asp') soup = BeautifulSoup(req...