Scrapy를 활용한 크롤링
Crawling
2023. 8. 8. 17:43
Scrapy로 웹사이트에서 원하는 정보 가져오기 이번 시간에는 Scrapy를 통해 웹사이트에서 크롤링을 해보는 것을 목표로 한다. 1. 환경 세팅 git에서 repositary를 만들어 줍니다. 다음의 코드를 입력해 vs code를 실행해 줍니다. 터미널에서 아래의 코드로 가상환경을 설정하고 활성화 해줍니다. pip install virtualenv venv virtualenv venv source venv/Scripts/activate 왼쪽의 사이드 탭에서 requirements.txt 파일을 만들어 필요한 패키지 파일을 적어주고 터미널 창에서 pip install -r requirements.txt를 실행해 패키지를 설치해준다. Scrapy 프로젝트를 생성해 줍니다. scrapy startprojec..