使用PyMongo访问需要认证的MongoDB

Windows 10家庭中文版，Python 3.6.4，PyMongo 3.7.0，MongoDB 3.6.3，Scrapy 1.5.0，

前言

在Python中，使用PyMongo访问MongodB，作者Mike Dirolf，维护人员Bernie Hackett <bernie@mongodb.com>，相关链接如下：

-PyPI官网

-GitHub官网

-最新版本3.7.0文档

说明，关于文档，可以从GitHub下载PyMongo（需要安装sphinx先），然后自行编译文档。

说明，PyMongo还有一些附属包，以提供与MongoDB服务器匹配的功能，比如TLS / SSL、GSSAPI、srv、wire protocol compression with snappy等，大家可以根据需要安装。

本文介绍使用PyMongo访问需要认证的MongoDB，包括从IDLE、Scrapy爬虫程序来访问。

参考官文：PyMongo Authentication Examples（可以直接阅读官文，忽略本文剩余部分，）

本地MongoDB服务器介绍

打开MongoDB服务器：

mongod --dbpath d:\p\mdb2dir --logpath d:\p\mdb2dir\log --logappend --auth --directoryperdb

目前存在数据库globalnews，里面有集合news，news里面的每条文档包含title、url两个属性，目前集合news中有33条文档，存在用户reporter，密码为222222。

使用IDLE访问

使用Scrapy爬虫程序

在Scrapy项目的settings.py中配置MongoDB配置项，并启用相关Item Pipelines：

MongoDBPipeline源码如下：

 1 import pymongo
 2 
 3 class MongoDBPipeline(object):
 4     '''
 5     将项目抓取到的数据（title、url、response.body）保存到MongoDB中。
 6     目标数据库：配置文件中又MDB_URI、MDB_NAME定义
 7     目标数据集：news，由本类定义
 8     '''
 9     
10     # 目标数据集
11     coll_name = 'news'
12     
13     def __init__(self, mongo_uri, mongo_db):
14         self.mongo_uri = mongo_uri
15         self.mongo_db = mongo_db
16         
17         # debug
18         print('mongo_uri = ', self.mongo_uri)
19         print('mongo_db = ', self.mongo_db)
20     
21     # 获取配置文件中的MDB_URI、MDB_NAME两个属性
22     @classmethod
23     def from_crawler(cls, crawler):
24         return cls(
25             mongo_uri = crawler.settings.get('MDB_URI'),
26             mongo_db = crawler.settings.get('MDB_NAME', 'news') # 没有就返回news
27         )
28     
29     # 启动spider时，建立数据库连接
30     def open_spider(self, spider): # 没有指定监控哪个spider？
31         self.client = pymongo.MongoClient(self.mongo_uri)
32         self.db = self.client[self.mongo_db]
33     
34     # 关闭spider时，关闭数据库连接
35     def close_spider(self, spider):
36         self.client.close()
37     
38     # 将抓取到的Item存储到MongoDB中
39     def process_item(self, item, spider):
40         
41         self.db[self.coll_name].insert_one(dict(item)) # 
42         return item