웹 크롤링 시 주의점

• 특정 홈페이지 타겟으로 크롤링을 하실 때는 반드시 *해당 홈페이지의 robots.txt를 확인하고, user-agent 에서 allow가 되어 있는 부분만 크롤링할 것
• 아직은 권고 사항 정도라서 큰 효력을 갖지는 않고, 학습 용도라면 크롤링을 눈 감아주는 분위기지만 너무 어뷰징해서 트래픽 폭주하면 문제의 소지가 될 수 있음
  • https://dev-dain.tistory.com/91