scrapy爬取多页数据
初始化一个项目
新建一个爬虫文件
要爬取的网页
- 在a标签上右键 copy >>> copy xPath 复制到剪切板的是如下内容
/html/body/div[2]/div[2]/div[1]/div[4]/ul/li[2]/a
获取所有的需要爬取的页面url
- scrapy runspider getNews.py -o newsData.json
编写解析函数
- scrapy runspider getNews.py -o newsData.json