python爬虫入门(7) pyspider学习1

前提知识:简单的phantomjs,selenium,lxml的知识


建新项目:cmd>>pyspider all 

                  chrome>>localhost://5000

点击create====>然后出现一个页面

python爬虫入门(7) pyspider学习1

save之后点击运行==========================》》点击follows你会看间只有一条信息,因为on_start给了一个完全页面的url,你点击右边的绿色箭头

 python爬虫入门(7) pyspider学习1

你会发现里面有好几百条信息,因为在上面这个链接里面,有很多子链接,这里显示的就是这些子链接

python爬虫入门(7) pyspider学习1

原因就是这个index函数crawl(。。href),所以就把所有的链接显示出来了,如果你只需要http://www.imdb.com/news/

这样形式的链接你就这样写。。

python爬虫入门(7) pyspider学习1

python爬虫入门(7) pyspider学习1

结果如下:只剩下11个链接了

python爬虫入门(7) pyspider学习1

然后你点进去一个链接去找你要的东西,先点击web再点击enable css selector helper 他能帮你快速找到东西。接下来就是利用css选择器等工具选择你所需要的了

python爬虫入门(7) pyspider学习1python爬虫入门(7) pyspider学习1