시험기간에 학교 도서관을 자주 가게되었는데, 여러 자리가 있지만 개인적으로 좋아하는 자리의 몇가지 조건이 있었다.

1. 주변에 사람이 없거나 최대한 적을 것. 바로 옆에 앉는 것은 최대한 피할 것
2. 입구와 너무 가깝지 않으면서도 드나들기 쉬울 것
3. 벽면을 바라보는 자리는 피할 것

이렇게하다보니 몇몇 번호를 선호하게되었는데, 그렇게 선호하는 번호 중 어느곳이 주변에 사람이 올 확률이 가장 적을까? 혹은 중간에 사람이 비게 될 확률이 가장 높을까? 를 고민하게 되었다. 물론 여러 환경적인 요인에 의해 변하겠지만, 많은 데이터를 축적하고나면 분명 유의미한 정보를 얻을 수 있을 것 같았다.

먼저 고민한 것은 어떻게 자리의 현 상태를 크롤링 할 수 있을까였다. 적어도 내가 아는 한, 좌석예약은 1) 휴대폰 앱, 2) 도서관 내 기기 로만 가능하다. 도서관 내 기기는 영역 밖이므로 휴대폰 앱을 살펴보았다. 짧은 패킷 분석을 통해 어렵지 않게 현황을 표시해주는 웹페이지를 얻어 낼 수 있었다. 해당 페이지는 JSON같은 간편한 방법이 아닌 Javascript로 css class를 첫 Request이후에 변경함으로서 좌석이용현황을 나타냈는데, 해당 JS 코드에 간단한 Regex를 사용해 현황을 읽어 낼 수 있었다.

생각보다 크롤링이 간단해 처음 코딩 단계에서 어려움은 없었다. 오히려 어려움은 이후에 지속적으로 크롤링을 어떻게 할 것인가에서 발생했는데, Docker를 사용해 크롤링을 해보려 했지만 volume binding에 여러 어려움을 겪다가 결국 다른 서버에 간단한 cron을 사용하기로 결심했다. 결과물은 매 시 00분과 30분에 크롤링을 하도록 설정하였고, 잘 작동한다.

방학기간인만큼, 지금 쌓이는 데이터는 방학기간에 국한되는 데이터다. 수 개월 크롤링을 하고나면 유의미한 결과를 기대해도 좋을 것 같다.

Source code at Github Gist