mongo

一、介绍 1. TTL是mongo中一种特殊的索引 2. 只能在单字段上建立 3. 字段只能是日期类型 二、原理 1. mongo后台会有一个单线程，定时轮询 2. mongo复制集中只删除主mongo的数据 三、使用 db.log_events.createIndex( { "createTime" : 1 }, ---字段名称 { expireAfterSeconds: 60*60 } ) ---过期时间（单位秒） 四、和redis过期时间比较 mongo数据存储在磁盘，redis在内存 参考： https://www.jb51.net/article/150243.htm 来源：博客园 作者： 牧云文仔 链接：https://www.cnblogs.com/june0816/p/11463062.html

配置文件：/etc/mongod.conf.orig sudo docker run -itd --restart unless-stopped -p27017:27017 mongo 来源：博客园 作者： lshan 链接：https://www.cnblogs.com/lshan/p/11497359.html

获取机器的数据 import timeimport socketimport datetimeimport psutilfrom common import send_emailfrom common.mongo import Mongoclass Agent(object): def __init__(self): super(Agent).__init__() self.mongo = Mongo() def get_ip(self): """ 通过socket库可以获取机器名，通过机器名可以获取ip地址。 """ hostname = socket.gethostname() return socket.gethostbyname(hostname) def get_cpu(self): """ cpu相关，interval代表获取数据的时间间隔，percpu为True时，如果机器多核，则返回多个核数据。 """ result = {} data = psutil.cpu_percent(interval=1, percpu=True) # cpu使用率 result['avg'] = sum(data) / psutil.cpu_count() # 平均使用率 result['idle'] = 100 - result['avg'] # cpu空闲率 result[

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/stalin_/article/details/84791213 前两节我们介绍了MongoDB的一些特性以及基本操作。接下来我们来学习一些如何使用jdbc连接MongoDB集群。 为什么不先讲连接单个MongoDB而是直接连接集群呢。其实是因为MongoDB通常存储的数据量较大。所以一般都是以集群的形式搭建的。所以我们在这里直接就演示如何连接MongoDB集群。 这里我直接提供一个创建Mongo连接池的工具类。当你需要操作MongoDB进行增删改查时直接调用即可返回一个mongoClient对象。 public class MongoUtils { public static MongoClient mongoClient = null; private static String USERNAME;// 用户名 private static String PASSWORD;// 密码 private static String DBNAME;// mongo库名 private static int connectsNum = 30;// 每台服务器连接的最大连接数 private static int

第一天 MongoDB （芒果数据库） 数据存储阶段 优点 ： 数据可以长期保存 缺点 ：数据一致性差 数据库管理阶段 优点 ： 数据组织结构化，降低了冗余 缺点 ： 数据库的使用专业性较强，相对比较复杂 几个概念 数据 ： 能够输入到计算机中并被识别处理的信息的集合 数据结构 ：研究组成数据集合中数据之间关系的学科 数据库 ： 按照数据结构，存储管理数据的仓库。 数据管理系统 ： 数据管理软件，用于维护管理数据库 关系型数据库 采用关系模型来组织数据结构的数据库 （二维表） 优点 ： 容易理解，逻辑类似常见的表格 缺点 ： 每次操作都需要SQL语句解析，消耗较大 优点 ： 高并发，读写能力强 缺点 ： 通用性差，没有sql那样统一的操作语句 Nosql的使用情况 1. 数据的一致性要求低 2. 处理数据的海量并发 3. 数据库大小不容易确定，需要分布扩展 4. 给定的数据结构建立非关系模型更加容易 列存储数据库 图形数据库 MongoDB数据库 （非关系型数据库 ---》 文档型数据库） 1. 由c++编写的数据库管理系统 2. 支持丰富的增删改查功能 3. 支持丰富的数据类型 5. 在NoSql 中技术相对比较成熟 Mongodb 安装 自动安装 sudo apt-get install mongodb 手动安装 1. 下载合适版本的mongodb 3.

db.help() help on db methods db.mycoll.help() help on collection methods sh.help() sharding helpers rs.help() replica set helpers help admin administrative help help connect connecting to a db help help keys key shortcuts help misc misc things to know help mr mapreduce ======================================================================================================== show dbs show database names show collections show collections in current database show users show users in current database show profile show most recent system.profile entries with time >= 1ms show logs show the accessible

MongoDB属于 NoSql 中的基于分布式文件存储的文档型数据库，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似 json 的 bson 格式，因此可以存储比较复杂的数据类型。Mongo 最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，但是写起来并不简单。若能集算器 SPL 语言结合，处理起来就相对容易多了。 1. 单表内嵌数组结构的统计............................................... 1 2. 单表内嵌文档求和......................................................... 3 3. 分段分组结构................................................................ 5 4. 同构表合并................................................................... 6 5. 关联嵌套结构情况 1...................................................... 8 6. 关联嵌套结构情况 2...............

Python模拟爬虫抓取知乎用户信息以及人际拓扑关系，使用scrapy爬虫框架，数据存储使用mongo数据库。 既然需要用到scrapy爬虫框架，那就来科普一下scrapy爬虫框架吧~ Scrapy：1、Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取 web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 2、Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。 （科普完啦~咱回归正题~） 爬虫项目部署： 　　进入zhihu_spider后执行```docker-compose up``` ，进入container后和本地运行方法相同，依次启动mongo、rabbitmq、异步任务、爬虫进程即可。 其它需要说明的问题： 　　爬虫框架从start\_requests开始执行，此部分会提交知乎主页的访问请求给引擎，并设置回调函数为post_login. 　　post\_login解析主页获取\_xsrf保存为成员变量中，并提交登陆的POST请求，设置回调函数为after\_login. 　　after\_login拿到登陆后的cookie，提交一个start\

命令使用mongo shell 执行 1.mongo中增加新字段 mongo shell 进入后执行use table选中要添加字段的库 db.getCollection('表名').update({}, {$set: {filed1:"",filed2:0}}) 　　 来源： https://www.cnblogs.com/luqiang213917/p/11764330.html

原文： https://www.cnblogs.com/liuzhen1995/p/8107905.html 目录 前言 1 准备工作 2 具体实现 前言 最近在捣鼓如何使用阿里云服务器搭建一个简单的基于Flask框架的后端接口，刚开始为了图方便，就直接买了一个Windows Server 2008系统服务器，这也埋下了不小的坑。 服务买下来后，会给你一个公网IP和内网IP，由于是第一次学习搭建后端接口，对于如何正确使用阿里云服务器，来处理好公网IP和内网IP之间的关系埋下了不小的坑，真是对应的一句话：技术的成长往往是一步一个坑。 下面简单说一下搭建Flask服务器端遇到的问题： 首先，Flask自带了一个服务器，直接使用很方便，不过这个服务器的性能太低，但是对于调试和学习还是绰绰有余。刚开始把代码放到阿里云服务器上，并跑通后，测试接口时公网IP无法访问，那时我以为是Flask自带服务器的问题，即因为Flask自带服务器原因导致无法使用公网IP访问。 那么，问题出现了，就要寻找解决办法吧，网上查找资料给出参照意见：使用nginx +gunicorn来部署Flask相关服务，可以避免公网IP无法访问问题。然后，我就去找资料，安装gunicorn，结果运行测试时一直报错，最后发现gunicorn不支持Windows系统，这也太坑了，早知道我当时买服务器时就不该图方便