python爬虫关于scrapy的安装与简述
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等
scrapy的安装方式有多种,本身所需要的依赖的库也比较多,由于同众人一样用的主流3.几版本的py和windows平台,所以简介下在windows平台的安装过程
1.如果本身是在anaconda集成环境下可以直接运行以下命令安装Scrapy
conda install Scrapy 即可完成安装
如果不能正确安装或者其他问题没有安装anaconda可以看下边的
2.依次安装lxml,pyOpenSSL,Twisted,pywin32,scrapy,wheel,
lxml:https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 找到对应的win和python版本下载,命令 pip install 加上下载文件的路径
pyOpenSSL:https://pypi.org/project/pyOpenSSL/#downloads 找到对应的win和python版本下载,命令 pip install 加上下载文件的路径
Twisted:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 找到对应的win和python版本下载,命令 pip install 加上下载文件的路径
Twisted:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 这个下载后安装即可
wheel:直接输入 pip install whell即可安装
scrapy:同样直接输入 pip installscrapy即可安装
全部安装后命令提示符运行scrapy,以下就是安装好的界面。
介绍下简单的使用方法
保存,未完待续