mongo

Docker学习笔记06_部署appache+tomcat+redis+mongo+python

微笑、不失礼 提交于 2019-11-30 00:17:55
有了前些天部署nginx+php+mysql+phpmyadmin的经历,apache,tomcat,redis,mongo,python就简单记录一下启动指令吧,大同小异。 启动apache docker run -d -p 80:80 --name xj_apache -v /opt/apache/www:/usr/local/apache2/htdocs -v /opt/apache/conf/httpd.conf:/usr/local/apache2/conf/httpd.conf -v /opt/apache/logs:/usr/local/apache2/logs httpd 宿主机上的httpd.conf我是从无路径映射的apache容器里使用docker cp命令获取来的,/opt/apache/www里面我没放文件,浏览器访问http://IP:80,看到的测试结果是这样的。 启动tomcat docker run --name xj_tomcat -p 8083:8080 -d -v /opt/tomcat/webapps/test:/usr/local/tomcat/webapps/test tomcat 浏览器访问http://IP:8083,测试验证部署成功 启动redis docker run -p 6379:6379 --name xj_redis

mongo DB分页

我怕爱的太早我们不能终老 提交于 2019-11-29 21:17:51
参考: https://blog.csdn.net/qq_40715775/article/details/83153808 来源: https://www.cnblogs.com/lshan/p/11532941.html

mongo过期索引

蓝咒 提交于 2019-11-29 16:55:20
一、介绍 1. TTL是mongo中一种特殊的索引 2. 只能在单字段上建立 3. 字段只能是日期类型 二、原理 1. mongo后台会有一个单线程,定时轮询 2. mongo复制集中只删除主mongo的数据 三、使用 1. 创建 db.log_events.createIndex( { "createTime" : 1 }, ---字段名称 { expireAfterSeconds: 60*60 } ) ---过期时间(单位秒) 四、和redis过期时间比较 mongo数据存储在磁盘,redis在内存 参考: https://www.jb51.net/article/150243.htm 来源: https://www.cnblogs.com/june0816/p/11463062.html

mongo启动报错解决办法

ぃ、小莉子 提交于 2019-11-28 20:16:05
mongo启动报错,类似错误码是48之类的,具体原因不是很清楚,查其他资料说是没有正确关闭。但是我回想都是在客户端关闭的,应该是没有问题的。 先上解决办法: 确实是需要找到,你指定的存放数据的目录,里面有mongod.lock文件,这个需要删除。 然后日志文件好像也需要删,我不知道是不是和这有关。 然后关键的地方在于修复: ./mongod --repair --dbpath=/data01/software/mongo/mongodb/data/db/ dbpath是我指定的存放数据的目录。 运行结果:(日志太长,我就截了最后一部分) 可以看到这里是成功了。 注意:需要再以修复模式启动一次:直接启动是启动不了的。 再进入客户端关闭服务,然后重新打开就可以了: 来源: https://blog.csdn.net/qq_39314099/article/details/100125188

【Python pymongo】

依然范特西╮ 提交于 2019-11-28 17:42:50
原文: http://blog.gqylpy.com/gqy/353 pip install pymongo import pymongo # pip install pymongo # 先连接MongoDB mongo_client = pymongo.MongoClient(host='192.168.12.32', port=27017) # 再指定要操作的库 MONGO = mongo_client['blog'] # 下面将做一些简单的示例 """---------增---------""" MONGO.ui.insert_one({'name': '张三', 'age': 30}) # 新增一条数据 # inserted_id属性可返回ObjectId MONGO.ui.insert_many([{'name': '李四', 'age': 40}, {'name': '王五', 'age': 50}]) # 新增多条数据 # inserted_ids属性可返回ObjectId列表 """---------删---------""" MONGO.ui.delete_one({'name': '张三'}) # 单条删除,删除"name"为"张三"的数据 MONGO.ui.delete_many({'name': '李四'}) # 多条删除,删除所有"name"为"李四

教你用Python爬虫爬取知乎妹子信息,还愁找不到女朋友吗?

旧街凉风 提交于 2019-11-28 16:09:16
Python模拟爬虫抓取知乎用户信息以及人际拓扑关系,使用scrapy爬虫框架,数据存储使用mongo数据库。 既然需要用到scrapy爬虫框架,那就来科普一下scrapy爬虫框架吧~ Scrapy:1、Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取 web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。 2、Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。 (科普完啦~咱回归正题~) 爬虫项目部署:   进入zhihu_spider后执行```docker-compose up``` ,进入container后和本地运行方法相同,依次启动mongo、rabbitmq、异步任务、爬虫进程即可。 其它需要说明的问题:   爬虫框架从start\_requests开始执行,此部分会提交知乎主页的访问请求给引擎,并设置回调函数为post_login.   post\_login解析主页获取\_xsrf保存为成员变量中,并提交登陆的POST请求,设置回调函数为after\_login.   after\_login拿到登陆后的cookie,提交一个start\

【Python pymongo】

夙愿已清 提交于 2019-11-28 10:21:25
原文: http://blog.gqylpy.com/gqy/353 pip install pymongo import pymongo # pip install pymongo # 先连接MongoDB mongo_client = pymongo.MongoClient(host='192.168.12.32', port=27017) # 再指定要操作的库 MONGO = mongo_client['blog'] # 下面将做一些简单的示例 """---------增---------""" MONGO.ui.insert_one({'name': '张三', 'age': 30}) # 新增一条数据 # inserted_id属性可返回ObjectId MONGO.ui.insert_many([{'name': '李四', 'age': 40}, {'name': '王五', 'age': 50}]) # 新增多条数据 # inserted_ids属性可返回ObjectId列表 """---------删---------""" MONGO.ui.delete_one({'name': '张三'}) # 单条删除,删除"name"为"张三"的数据 MONGO.ui.delete_many({'name': '李四'}) # 多条删除,删除所有"name"为"李四

mongo 分片机如何建立库和实例(数据表)

爱⌒轻易说出口 提交于 2019-11-28 05:16:01
mongo分片创建表和实例 第一步:首先在admin账户下: mongo 'mongodb://root:abcccSRP@s-2ze333323gggg.mongodb.rds.aliyuncs.com:3717/admin' 第二步:查看是否有数据库 show dbs 第三步:没有库则创建 , 注意:需要使用createUser()创建 新库的权限即 readWrite读写权限 示例: 第一需要 数据库分片activity为库名 sh.enableSharding("activity") 第二: use activity db.createUser({user:"li2222id",pwd:"n3t111",roles:[{role:"readWrite",db:"activity"}]}) 出现: Successfully added user 即可 第四步:创建以user_id为片键的集合 sh.shardCollection('activity.activityGameUser', {user_id:'hashed'}) sh.shardCollection('activity.garveUpActivity',{_id:'hashed'}) sh.status() 出现: "_id" : "activity", "primary" : "d-2z33335a27bd14

Mongo 导出为csv文件

試著忘記壹切 提交于 2019-11-28 04:09:01
遇到需要从Mongo库导出到csv的情况,特此记录。 先贴上在mongo目录下命令行的语句: ./mongoexport -h 10.175.54.77 -u userName -p password --port 27017 -d NewDb -c collectionName --query '{"createDate":{"$gt":1558160048000}}' --fields="-sYteWnZHKjVwUhAYev,eXwhwxnaKAXCEsGeMOx" --type=csv -o /data/download/sampleExport0816.csv 详细参数如下: -h:mongo地址 -u:用户名 -p:密码 --port:端口号 -d:数据库 -c:collection --query:查询条件 --fields:需要的字段 --type:导出类型 -o:输出位置 来源: https://www.cnblogs.com/catMann/p/11391282.html