Win7 安装Anaconda及conda install selenium/Scrapy
一、本机为win7 64位,故下载最新版的Anaconda:Anaconda3-5.2.0-Windows-x86_64.exe
二、双击安装,目标位置为C:\ProgramData\Anaconda3。“添加到环境变量”的选项可以先不选。等待安装完成。
三、进入Anaconda prompt -> python,发现安装的是python3.6.5
四、安装pip:conda install pip
五、进入C:\ProgramData\Anaconda3,复制python.exe,并粘贴重命名为python3.exe
进入C:\ProgramData\Anaconda3\Scripts,复制pip.exe粘贴重命名为pip3.exe,复制pip-script.py粘贴重命名为pip3-script.py
六、将C:\ProgramData\Anaconda3添加进环境变量中系统变量的path,注意英文“;”
七、管理员cmd打开,测试一下,发现成功
八、以后安装可以选择在Anaconda prompt中使用conda install ***,也可以选择在cmd中使用pip3 install ***。有些conda可能找不到资源可以尝试pip3或其他办法,如you-get:
九:试试用conda安装爬虫相关包
conda install selenium
conda install Scrapy
这样就能方便地安装Scrapy对接Splash的API——scrapy-splash了(顺便解决了msgpack问题)
安装docker后 ,通过docker run -p 8050:8050 scrapinghub/splash安装Splash
下载ChromeDriver.exe直接拖到C:\ProgramData\Anaconda3\Scripts下(也就是python的Scripts目录),爬虫爬起来!