python scrapy mongodb的安装和使用
1 首先在网上搜索mongodb进行安装：安装64位的
2 安装mongodb的可视化操作工具：Robo 3T 1.1.1
3 安装完之后要进行配置：
先在monodb里面添加一个文件：路径（C:\Program Files\MongoDB），添加
mongo.cfg
在这个文件下面加入下面几个字段：
logpath= C:\data\log\mongod.log
dbpath=C:\data\db
在根目录下添加data
在data里建两个文件：
log下面再建一个文件：
4 在终端开启服务，（具体操作和redis类似）
开启服务（进入bin目录文件先）
（shift+右键）在此打开命令窗口，输入如下命令：开启服务
mongod --dbpath C:\data\db
settings的配置：
在pipelines中的代码：
from
scrapy.conf
import
settings
import
pymongo
class
JobMongoPipeline(object):
# def process_item(self, item, spider):
# return item
def
__init__(self):
port = settings['MONGODB_PORT']
host = settings['MONGODB_HOST']
dbName = settings['MONGODB_DBNAME']
client = pymongo.MongoClient(host=host,
port=port)
tdb = client[dbName]
self.post = tdb[settings['MONGODB_DOCNAME']]
def
process_item(self, item,
spider):
work =
dict(item)
self.post.insert(work)
return
item