9장 웹 크롤러 설계-1.jpg

9장 웹 크롤러 설계-2.jpg

디프만에서 APM 사용해서 병목 구간을 찾아보자

위와 같은 개략적 규모 추정을 시도해보자

네이버 핀포인트는 공짜다

뉴렐릭(모니터링 갓기업) 1G까지 무료(사이드 프로젝트에서 충분함)

9장 웹 크롤러 설계-3.jpg

9장 웹 크롤러 설계-4.jpg

9장 웹 크롤러 설계-5.jpg

9장 웹 크롤러 설계-6.jpg

bn: 요청할 페이지들

→ 크롤링할 사이트에 하나씩 요청하므로 부하가 적음

신선도

9장 웹 크롤러 설계-7.jpg