Python+windows系统 虚拟环境的独立搭建 框架scrapy 工具PyCharm
首先我们需要安装python,virtualenv和virtualenvwrapper-win32
我的镜像为清华pip,均为pip install ...
这里我已经安装了,所以提示已经存在,现在我们开始搭建独立的虚拟环境
在安装好virtualenvwrapper-win后 我们可以使用命令workon
查看当前的虚拟环境有哪些
环境如下:
虚拟环境的路径是可以修改的,默认为administrator下的环境,修改路径在系统变量中给WORKON_HOME自定义配置路径
我的配置如下:
配置好自定的路径后
我们开始新建虚拟环境
使用命令 mkvirtualenv 虚拟环境名
新建Dpro 虚拟环境
使用 环境
命令: workon 环境名
显示已经进入当前env环境
然后我们在当前环境下新建项目,注意:这里的项目路径,就是当前指令的路径,比如当前是C:\User\Admin\Administrator,
那我们的项目就是在这里,这里我用的是大家都在用的scrapy框架
为了方便大家看的清楚 我这里在新建的Blog环境中演示一遍
这里发现Twisted模块下载失败
所以我们需要手动的下载模块下来
因此我们进入网站https://www.lfd.uci.edu/~gohlke/pythonlibs/
查看我的python版本
找到Twisted
下载下来,然后在下载的文件目录下手动执行下载命令
我将下载的文件放在我们的Administrator文件夹下,然后执行命令安装
好了,最后提示安装成功
然后我们可以用scrapy安装对应的虚拟环境下的项目了
首先我们找一个方便自己找的路径进行安装
我这里选择的是D:\Python\New\Blog
在当前路径下 我们执行新建项目的命令
scrapy startproject 项目名
这时如果要退出环境 输入命令
deactivate
这里我用的工具为 PyCharm
我们打开刚刚新建的项目
我们最初运行时 如果报错
No module named win32api
其实是没有安装pypiwin32
安装方式和上面一样 自行安装
现在我们爬取一个网页文章的标题
再在项目根目录新建main.py文件
main.py代码
from scrapy.cmdline import execute import sys import os sys.path.append(os.path.dirname(os.path.abspath(__file__))) execute(["scrapy","crawl","blogSpider"])
这样写的目的是为了方便调试,不用再命令行输入 scrapy crawl blogSpider
blogSpider代码
上面有清晰注释,praise_nums这个变量放的是xpath的节点位置
将所得值存入response.xpath("")中
断点pass所在代码行
在main.py文件中
execute运行的第三个参数 应当是我们的blogSpider中的声明的name值
最终debug main.py文件
结果如下