python爬虫入门(7) pyspider学习1
前提知识:简单的phantomjs,selenium,lxml的知识
建新项目:cmd>>pyspider all
chrome>>localhost://5000
点击create====>然后出现一个页面
save之后点击运行==========================》》点击follows你会看间只有一条信息,因为on_start给了一个完全页面的url,你点击右边的绿色箭头
你会发现里面有好几百条信息,因为在上面这个链接里面,有很多子链接,这里显示的就是这些子链接
原因就是这个index函数crawl(。。href),所以就把所有的链接显示出来了,如果你只需要http://www.imdb.com/news/
这样形式的链接你就这样写。。
结果如下:只剩下11个链接了
然后你点进去一个链接去找你要的东西,先点击web再点击enable css selector helper 他能帮你快速找到东西。接下来就是利用css选择器等工具选择你所需要的了