scrapy爬虫实例:凤凰网
一、新建项目和文件
scrapystartprojectifengHotNews
(iem.json是数据写入json后才生成的)
二、hotNews.py
三、Pipelines.py
此处有亮点,注意写入json的方法,import codecs !!
加个编码规则可以避免出现json里面的中文出现乱码的情况!
将里面的下列注释#去掉
五、运行
scrapy crawl hotNews
(查看item.json文件,标题已经保存好)
网页结构:
//div[@id="headLineDefault"]/ul/ul[2]/li
遍历标题 txt = con.xpath('a/text()').extract_first()