python爬虫关于scrapy的安装与简述

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等

scrapy的安装方式有多种,本身所需要的依赖的库也比较多,由于同众人一样用的主流3.几版本的py和windows平台,所以简介下在windows平台的安装过程

 

1.如果本身是在anaconda集成环境下可以直接运行以下命令安装Scrapy

            conda install Scrapy  即可完成安装

如果不能正确安装或者其他问题没有安装anaconda可以看下边的

2.依次安装lxml,pyOpenSSL,Twisted,pywin32,scrapy,wheel,

 

lxml:https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml    找到对应的win和python版本下载,命令 pip install 加上下载文件的路径
pyOpenSSL:https://pypi.org/project/pyOpenSSL/#downloads 找到对应的win和python版本下载,命令 pip install 加上下载文件的路径
Twisted:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted  找到对应的win和python版本下载,命令 pip install 加上下载文件的路径
Twisted:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/   这个下载后安装即可

wheel:直接输入  pip install whell即可安装

scrapy:同样直接输入 pip installscrapy即可安装

 

全部安装后命令提示符运行scrapy,以下就是安装好的界面。

python爬虫关于scrapy的安装与简述

 

 

 

 

 

 

 

 

介绍下简单的使用方法python爬虫关于scrapy的安装与简述

保存,未完待续