mongo

db.数据库名字.aggregate([{"$sort": {"_id": 1}}]) 意思是 在这个数据库中按_id字段升序排序查找 来源： https://www.cnblogs.com/lyt-666/p/11972220.html

在终端输入 export LC_ALL=C 即可解决 或者在文件 /etc/profile中添加 export LC_ALL=C 来源： https://www.cnblogs.com/lyt-666/p/11972204.html

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 Scrapy官方架构图 各部件职能 Scrapy Engine 控制数据流在系统组件中的流动，并回调相关动作事件 Scheduler 从引擎接受request并入队，当引擎请求他们时返回request Downloader 获取页面数据并提供给引擎，而后提供给spider Spiders 用户定义的爬虫模块 Item Pipeline 处理被spider提取出来的item，包括丢弃、验证和持久化等等 Downloader middlewares 引擎及下载器之间的hook，处理Downloader传递给引擎的response，同时支持用户挂载自定义逻辑 Spider middlewares 引擎及Spider之间的hook，处理spider的输入(response)和输出(items及requests)，同时支持用户挂载自定义逻辑 数据流转 核心引擎从爬虫获取初始url，并生成一个Request任务投入Scheduler调度计划里 引擎向调度器请求一个新的Request爬取任务并转发给downloader下载器 下载器载入页面并返回一个Response响应给引擎 引擎将Response转发给Spider爬虫做 数据提取 和 搜索新的跟进地址

Docker作为一种流行的容器技术，笔者也来玩玩，正好最近在开发一个可视化爬虫系统，Alpha版完成需要部署到服务器上，但是这个系统设计到的组建有点多，包括了Python3、Django、Pyspider、MySQL、MongoDB、Redis，好吧，涉及的框架确实有点多，Docker走起~ 为什么这么多呢~~因为 用户数据库采用mysql、消息队列采用redis、存储数据采用mongodb、web框架采用Django、爬虫框架采用pyspider，不要问我为什么不用一种数据库就好，我也不知道~~，好吧，开始搭建docker。 环境：Centos7 1、 安装docker sudo yum install docker 2、 启动docker服务,设置开机启动 systemctl start docker.service systemctl enable docker.service 3、 安装基础镜像 docker pull docker.io/mysql docker pull docker.io/redis docker pull docker.io/mongo docker pull pyspider 4、启动mysql服务 docker run --name 容器名称 -v 本地数据存储绝对目录路径:/var/lib/mysql -e MYSQL_ROOT

flask项目连接Mongo数据库 先决条件，flask项目已部署至服务器，pycharm已连接远程服务器，pycharm已可以远程调试 1.安装Flask_PyMongo 如图：在settings中搜索并install Package 在你想要连接mongo的地方： from flask_pymongo import PyMongo 连接： # 连接mongo app.config["MONGO_URI"] = "mongodb://127.0.0.1:27017/mongo对应的库名" mongo = PyMongo(app) 若需连接远程mongo则把127.0.0.1换成对应的ip 查询： data = mongo.db.对应库下的表名.find({}) 来源： https://www.cnblogs.com/Strangers/p/11924840.html

要想列出已经下载下来的镜像，可以使用 docker image ls 命令。 $ docker image ls REPOSITORY TAG IMAGE ID CREATED SIZE redis latest 5f515359c7f8 5 days ago 183 MB nginx latest 05a60462f8ba 5 days ago 181 MB mongo 3.2 fe9198c04d62 5 days ago 342 MB <none> <none> 00285df0df87 5 days ago 342 MB ubuntu 16.04 f753707788c5 4 weeks ago 127 MB ubuntu latest f753707788c5 4 weeks ago 127 MB ubuntu 14.04 1e0c3dd64ccd 4 weeks ago 188 MB 列表包含了 仓库名 、 标签 、 镜像 ID 、 创建时间 以及 所占用的空间 。 其中仓库名、标签在之前的基础概念章节已经介绍过了。 镜像 ID 则是镜像的唯一标识，一个镜像可以对应多个 标签 。因此，在上面的例子中，我们可以看到 ubuntu:16.04 和 ubuntu:latest 拥有相同的 ID，因为它们对应的是同一个镜像。 # 镜像体积 如果仔细观察，会注意到

一.安装Docker 第一步：yum 包更新到最新 sudo yum update 第二步：安装需要的软件包 yum-util 提供yum-config-manager功能，另外两个是devicemapper驱动依赖的 sudo yum install -y yum-utils device-mapper-persistent-data lvm2 第三步：设置yum源为阿里云(可以不配置) sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 第四步：安装docker sudo yum install docker-ce 第五步：安装后查看docker版本 docker -v 二.使用 Docker 构建 Yapi 参考 https://www.jianshu.com/p/a97d2efb23c5 1、启动 MongoDB docker run -d --name mongo-yapi mongo 2、获取 Yapi 镜像，版本信息可在 阿里云镜像仓库 查看 docker pull registry.cn-hangzhou.aliyuncs.com/anoy/yapi 3、初始化 Yapi 数据库索引及管理员账号 docker run

安装 MongoDB 的方法有很多种，可以源代码安装，在 CentOS 也可以用yum源安装的方法。由于MongoDB更新得比较快，我比较喜欢用yum源安装的方法。64位Centos下的安装步骤如下： 1、准备工作 运行yum命令查看MongoDB的包信息 [root@localhost~]# yum info mongo-10gen （提示没有相关匹配的信息，） 说明你的centos系统中的yum源不包含MongoDB的相关资源，所以要在使用yum命令安装MongoDB前需要增加yum源，也就是在 /etc/yum.repos.d/目录中增加 *.repo yum源配置文件 2、vi /etc/yum.repos.d/10gen.repo，输入下面的语句： [ 10gen ] name = 10gen Repository baseurl = http : //downloads-distro.mongodb.org/repo/redhat/os/x86_64 gpgcheck = 0 做好yum源的配置后，如果配置正确执行下面的命令便可以查询MongoDB相关的信息： 查看mongoDB的服务器包的信息 [root @localhost geffzhang]# yum info mongo-10gen-server * base: centos.ustc.edu.cn *

如何设置一个可扩展的 MongoDB 数据库？ MongoDB 是一款 NoSQL 数据库，功能强大，诸如复制和内置分片，你可以通过给服务器分布内容，将数据库扩展至任意多的服务器。 安装与 MongoDB 有关的任何东西之前，我们需要确认选择了正确的硬件，并调试好了软件。 1. 硬盘驱动 如果你可以选择即将用到的硬件驱动，可以将企业级双 SSD 升级为 RAID1 。正如我们之前提到的，它性能卓越，节省费用。 在 Linux 编辑你的 /etc/fstab 文件，并确保在将要和 MongoDB 使用的挂载点禁用“访问时间 logging ”（ access time logging ）。在第 4 栏添加 noatime ： 重新挂接分区： [root@mongodb1 ~]# mount -o remount / 验证新的设置生效： [root@mongodb1 ~]# mount /dev/sda on / type ext4 (rw,noatime) 2. CPU 和内存 在一个虚拟机监视器上，将 MongoDB 作为一个虚拟机进行设置，这样你可以在以后扩展 RAM 和 CPU 内核。应该分配的 CPU 内核和 RAM 的大小取决于你的基础设施的需求以及预算。 3. 优化 最有用的技巧是优化你的数据库查询： · 给常用的搜索查询和分类查询添加索引。 · 使用 MongoDB 的

Linux下启动/关闭Mongo服务 　　service mongod start 　　service mongod stop 连接Mongo 　　service mongod start 　　mongo 　　 来源： https://www.cnblogs.com/yanweichen/p/11790844.html