[다크웹] 크롤링 만들기

<개발 환경 세팅>

• Windows 10 / Visual studio code / python 3.7.3

• Windows 10 / Jupyter / Python

1. Crolling 관련 python 라이브러리

• Ubuntu 18.04

apt install virtualenv

virtualenv 폴더명

cd 폴더명

source bin/activate

시작

apt install python3-pip

pip3 install beautifulsoup4 requests pandas

• pandas

pip install pandas

• requests : 웹 URL 파싱

pip install requests

• BeautifulSoup4 : html 코드를 제외한 순수 text 파싱

pip install BeautifulSoup4

apt-get install bs4