windows下Python、pip、pyspider的安装,构建爬虫环境(二)
1、安装PhantomJS、Selenium
下载地址:http://phantomjs.org/download.html
PhantomJS是一个服务器端的 JavaScript API 的WebKit(开源的浏览器引擎)。其支持各种Web标准: DOM 处理, CSS 选择器, JSON, Canvas 和 SVG。PhantomJS可以用于页面自动化,网络监测,网页截屏,以及无界面测试等。
Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7、8、9)、Mozilla Firefox、Mozilla Suite等。这个工具的主要功能包括:测试与浏览器的兼容性、测试系统功能,它ThoughtWorks专门为Web应用程序编写的一个验收测试工具。
2、安装pyspider
cmd命令 pip install pyspider
3、启动pyspider
cmd命令执行pyspider all
我们在浏览器打开http://localhost:5000,就可以看到一个界面,点击Create创建项目
至此,Python,pyspider环境就算搭建完成。就可以写Python脚本进行数据爬取了。