01.

https://neung.pythonanywhere.com

Where is the Book?

 

아직 미완이긴 하지만 우선 사이트 링크부터.

여태껏 공부했던 내용들을 복습하고, 재정비할 겸 정리글을 올려볼 생각이다.

K와 스터디를 시작하면서 파이썬으로 크롤링 사이트를 하나 올리는 걸 첫 목표로 잡았다. 크롤링은 웹을 공부하기에 좋았고, 둘 다 파이썬의 웹 프레임워크인 보틀을 이용해 서비스를 올려본 적이 있어 접근하기도 덜 부담스러웠다.

 

주제선정

막상 만들려니 크롤링 사이트 주제를 정하는 것부터 문제였다. 실생활에 필요한 서비스는 이미 다 만들어져 있으니까. 그래서 내가 겪었던 불편함을 따라가 봤다.

나는 책 읽는 걸 좋아한다. 특히 비문학은 이북보다는 종이책으로 구매해서 읽는 걸 선호하는데, 모든 서점에 내가 사고 싶은 책이 있질 않았다. 평소 책을 사러 가기 전 나의 행동 패턴은 다음과 같다.

 

1. 책을 오프라인에서 사기 전 재고를 확인해 볼까(헛걸음하기 싫으니까!).
2. 각 서점 사이트마다 들어가 책을 검색하고 재고를 봐야 한다.
3. 지점 위치를 확인하기 위해 지도 사이트에서 검색한다.

여태껏 인식하지 못했다 뿐이지 번거로운 과정이니, 이걸 크롤러로 만들어 보자 싶었다. 그래서 일단 교보문고 크롤러를 만들어다 K에게 들이밀었다. 다행히 K도 재고 크롤러에 관심을 보였고, 이걸 주제 삼아 진행하기로 했다.

 

사이트 구현

재고 크롤링 사이트에 구현하려 마음먹은 기능은 아래와 같다.

 

1. 책을 검색하면 각 지점 별 재고가 뜬다.
2. 가능할지는 모르지만, 지도에 지점의 위치가 표시되면 좋겠다.

처음엔 영풍문고와 반디앤루니스를 다 같이 올릴 생각이었는데, 교보문고 사이트가 재고를 크롤링하기 아주 좋게 구성되어있어 시범적으로 교보문고만 올렸다. 두 개 사이트는 거쳐야할 과정이 좀 더 까다로워 차차 올릴 생각이다.

사이트를 올리기 위해 공부했던 내용을 차례로 정리해서 올려보려 한다. 크게 일곱 가지 주제가 나올 것 같다. 웹에 대한 공부도 많이 했는데, 그건 같이 올릴지 따로 올릴지 글을 써가며 생각해 봐야겠다.

 

1. Selenium/Requests
2. Beautiful Soup
3. Django
4. HTML/CSS
5. JavaScript
6. 네이버/구글 API
7. Python Anywhere

사실 우리도 모르면 찾아가면서 하다 보니 부족한 점이 많은 사이트라, 좀 더 좋은 방법이 있으면 꾸준히 고쳐나갈 생각이다.