初学者Windows下 python scrapy框架完整版,一步一步教你安装
最近因为毕设接触到python,并且需要用scrapy框架抓取数据存入mysql中,安装过程百度到的都不是很全,或者有些乱,因此在这里整理一下思路,方便大家也方便自己以后查看。
一.python安装
我是去官网安装的python3.7.3的版本 https://www.python.org/downloads/
我是Windows 64位的,所以选择下面红圈的
大家找到对应的版本下载
下载后的安装很简单,大家可以百度一下,通常是不会出错的
不过要记得将python的环境变量配置好,安装时记得勾选add python3.7 to path
二.scrapy框架的安装
安装scrapy之前需要安装以下部分:
1.安装wheel
在cmd中输入pip install wheel
若是成功则显示如下:
若是不成功,显示pip的问题通常是环境变量没弄好,或者电脑上有多个python版本,我遇到pip不是内部文件的错误,后来把之前下的python都卸载干净了,然后重新安装python就好了
2.安装lxml,twisted
首先下载lxml和twisted,网址一样:https://www.lfd.uci.edu/~gohlke/pythonlibs/
找到对应的版本下载,我下载的版本如下:
cp37表示python3.7
下载存入的路径要记得
然后在cmd中输入pip install + 路径,比如我的是:pip install F:\MyDownloads\lxml-4.3.3-cp37-cp37m-win_amd64.whl
3.安装pywin32
首先下载:https://sourceforge.net/projects/pywin32/files/pywin32/Build 221/
找到对应的版本,我的是:
下载后安装pywin32:一直点next就行
4.安装scrapy
cmd中输入:pip install scrapy
检验是否安装成功:在cmd中输入scrapy,显示如下则成功:
到这里scrapy框架就安装结束了,关于如何进行爬取数据存入数据库中,等过几天再写一下。
这篇文章主要是为了毕设做的小日志吧,我也是初学者,如果大家发现错误的话,一定要指出来哦,希望和大家一起进步学习,O(∩_∩)O谢谢!