在pycharm中调试运行scrapy

在各种试，试各种后，只有这种方法，我做到了遭pycharm下运行调试scrapy：过程有点复杂

边看视频边写：

一、首先：搭建虚拟环境

1、安装：在需要安装虚拟环境的目录下的cmd中输入：pip install virtualenv（安装目录什么目录都可以一般是默认，，建议使用镜像安装大多数程序员都会选择豆瓣源： pip install -i https://pypi.douban.com/simple virtualenv）

2. 新建并运行虚拟环境：

在pycharm中调试运行scrapy

其中第一步可以不选择版本（其实选择版本我不太会所以不敢写出来），条件是你的系统中也只有一个版本的python，我就只有一个所以下面是我的电脑上搭建并运行虚拟环境的代码：

首先打开cmd再选择要新建虚拟环境的目录

1、virtualenv scrapytext (scrapytext是我的虚拟环境的名字，自己命名）

2、cd scrapytext

3、cd Scrapts (Scrapts 是虚拟环境下自动创建好的一个目录）

4、（运行虚拟环境）：activate.bat

在pycharm中调试运行scrapy

做完第四步，你们的cmd前面就会长得不一样了，想上面红圈中一样就意味着已经进到虚拟环境中了

二、在虚拟环境中安装scrapy

这个相对简单，如果我写的不详细可以自行百度我就不再赘述

1、pip install -i https://pypi.douban.com/simple scrapy

2、然后一般情况下都会报错，因为还差一个插件

在pycharm中调试运行scrapy

http://blog.csdn.net/zhouyequ/article/details/73883050这篇博文告诉了解决方法，不过在下载完成安装前要将下载好的文件先放到新建的虚拟环境中再进行安装！！！

3、再新建虚拟环境scrapy安装完成后，再新建scrapy项目，新建方法和普通的scrapy新建方法一样不再介绍

scrapy startproject projectname

cd projectname

scrapy genspider scrapyname scrapy_start_url

4、在pycharm中导入scrapy

打开pycharm 选择file->open->选择到你刚刚新建的爬虫目录即projectname

5、导入虚拟环境：

file->setting->搜索interpreter

在pycharm中调试运行scrapy

我的Projectname叫做ArticalSpider然后选中，再然后选择右边的project interpreter，点击进行虚拟环境选择，这个路径就是刚刚新建的虚拟环境的目录下面的python.exe。路径大家都是不一样的但是最后两个路径一定是一样的。最后选择apply 选择ok

在pycharm中调试运行scrapy

6，运行爬虫：

a.在刚刚新建号的爬虫文件下即projectname中新建一个run.py文件，名字大家自定义。这个文件一定要和scrapy.cfg在同级目录就可以了

b. 编写run.py

在pycharm中调试运行scrapy

from scrapy.cmdline import execute

import sys
import os

sys.path.append(os.path.dirname(os.path.abspath(__file__)))
print(os.path.dirname(os.path.abspath(__file__)))
#execute(["scrapy", "crawl", "Douban"])#这个Douban是你自己爬虫的名字，就是上面所讲的scrapyname

c.直接点击debug或者debug运行就可以了

d.然后。。。。。。。。。。。。what搞了半天又出错！！！！表捉急，这个很好解决的，出错时候提示差一个win32 没装，那就装上就是了，cmd转到新建的虚拟环境下 pip install pypiwin32 就可以了，这样就可以愉快的在自定义的spider中打断点调试运行了

不对之处还请指教，希望大家多发言，我也才开始写多交流交流

感谢各位大神大爷对我的支持和提点，待我努力成为程序媛

在pycharm中调试运行scrapy

相关推荐