nosql

作者简介：李智慧，拉勾教育专栏作者。曾任 阿里巴巴技术专家 ，Intel大数据架构师，拥有 20多年编程与架构经验 ；设计开发过阿里巴巴的分布式存储系统Doris、阿里巴巴印度站等，著有 畅销科技书 《大型技术网站架构》。 你好，我是你的架构老师李智慧，下面我们进入第1课时。 这节课的主题是大型互联网系统架构的演进之路，主要包含了三部分内容： 第一部分是 大型互联网系统的特点 ，分析大型互联网有哪些特点和挑战，才产生了现在这样的一些技术和架构方案。 第二部分是 系统处理能力提升的两种途径 ，面对挑战的解决思路是什么。 第三部分是 大型互联网系统架构演化过程 ，这个过程实际上包含了所有的现在主要的互联网架构的考量点、技术方案、要解决的问题等，是整个互联网系统架构的一个综述，可以了解互联网架构的全貌。 本文节选自李智慧老师专栏： 《架构师的36项修炼》 首先我们来看下，大型互联网系统的特点有哪些呢？ 第一个特点就是 高并发和大流量 。大型互联网需要面对高并发的访问用户，比如说在天猫双11的时候，一分钟之内，有超过一千万的独立用户访问整个天猫系统，大规模的并发用户会对系统的访问压力造成巨大的冲击，系统必须要有足够强的处理能力才能够满足。同时有这么多用户来访问，产生了巨大的访问流量，对系统抗压能力进行考验。 第二个是系统要 高可用 。大型互联网系统必须要7×24小时不间断的提供服务

一、基本概念 MongoDB 是一个高性能，开源，无模式的文档型数据库，是当前NoSQL 数据库产品中最热门的一种。它在许多场景下可用于替代传统的关系型数据库或键/值存储方式，MongoDB 使用C++开发。MongoDB 的官方网站地址是： http://www.mongodb.org/ ，大家可以在此获得更详细的信息。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json 的bjson 格式，因此可以存储比较复杂的数据类型。MongoDB 最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立 索引。它是一个面向集合的,模式自由的文档型数据库。 二、对比 MongoDB 关系型数据库 数据存储 面向集合 面向关系表 数据结构 模式自由 二维表关系模式 事务 不支持 支持 大型数据（视频） 很好 一般 大数据量查询（千万条以上） 很好 较差 数据库维护 相对简单 相对复杂 数据及表关系、结构浏览 困难 简单 数据安全性 较差 很好 分布式 很好 一般 查询 非常灵活 非常强大 主外键关联 不支持 支持 索引 支持 支持 存储过程 支持 支持 三、对比说明 1. 数据存储 MongoDB是面向集合

下载地址1：https://www.mongodb.org/dl/linux 下载地址2：https://www.mongodb.com/download-center/community 关于MongoDB教程：https://docs.mongodb.com/manual/ 安装教程：https://docs.mongodb.com/manual/installation/ [root@node1 ~]# cat /etc/centos-release 　　CentOS Linux release 7.4.1708 (Core) [root@node1 ~]# uname -r 　　3.10.0-693.el7.x86_64 开始安装： cat << EOF >/etc/yum.repos.d/mongodb-org-4.0.repo [mongodb-org-4.0] name = MongoDB Repository baseurl = https://repo.mongodb.org/yum/redhat/7/mongodb-org/4.0/x86_64/ enabled = 1 #gpgcheck = 1 #gpgkey = https://www.mongodb.org/static/pgp/server-4.0.asc #exclude = mongodb-org

Mongodb MongoDB 是一个基于分布式文件存储的数据库。由C++ 语言编写。旨在为WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。 关系型数据库：原子性、一致性、独立性、持久性。 分布式计算：可靠性（容错）、可扩展性、资源共享、灵活性、更快的速度、开放系统、更高的性能。 CAP定理：对于一个分布式计算系统来说，不可能同时满足以下三点: 一致性(Consistency) (所有节点在同一时间具有相同的数据) 可用性(Availability) (保证每个请求不管成功或者失败都有响应) 分隔容忍(Partition tolerance) (系统中任意信息的丢失或失败不会影响系统的继续运作) CAP理论的核心是：一个分布式系统不可能同时很好的满足一致性，可用性和分区容错性这三个需求，最多只能同时较好的满足两个。 因此，根据CAP 原理将NoSQL 数据库分成了满足CA 原则、满足CP 原则和满足AP 原则三 大类： CA - 单点集群，满足一致性，可用性的系统，通常在可扩展性上不太强大。 CP - 满足一致性，分区容忍性的系统，通常性能不是特别高。 AP - 满足可用性，分区容忍性的系统，通常可能对一致性要求低一些。 数据库分类： 1、列存储：hbase

1.1 MongoDB简介 　　1、特点 　　　　　　1. MongoDB的提供了一个面向文档存储，操作起来比较简单和容易。 　　　　　　2. 你可以在MongoDB记录中设置任何属性的索引 (如：FirstName="Ning",Address="Beijing")来实现更快的排序。 　　　　　　3. 你可以通过本地或者网络创建数据镜像，这使得MongoDB有更强的扩展性。 　　　　　　4. 如果负载的增加（需要更多的存储空间和更强的处理能力） ，它可以分布在计算机网络中的其他节点上这就是所谓的分片。 　　　　　　5. Mongo支持丰富的查询表达式。查询指令使用JSON形式的标记，可轻易查询文档中内嵌的对象及数组。 　　　　　　6. MongoDb 使用update()命令可以实现替换完成的文档（数据）或者一些指定的数据字段 。 　　　　　　7. Mongodb中的Map/reduce主要是用来对数据进行批量处理和聚合操作。 　　　　　　8. Map和Reduce。Map函数调用emit(key,value)遍历集合中所有的记录，将key与value传给Reduce函数进行处理。 　　　　　　9. Map函数和Reduce函数是使用Javascript编写的，并可以通过db.runCommand或mapreduce命令来执行MapReduce操作。 　　　　　　10.

NoSQL数据库 什么是NoSQL数据库？ 非关系型数据库就是NoSQL，关系型数据库代表MySQL； 关系型数据库，是需要吧数据存储到库、表、行、字段中，查询需要根据条件一行行的匹配，需要从磁盘中检索，耗费时间和资源； NoSQL数据库，存储原理简单（数据类型为K-V），数据可以存储在内存里，查询速度非常快；扩展非常容易，支持分布式； 常见的NoSQL数据库 k-v形式：memcached、redis适合存储用户信息，比如回话、配置文件、参数、购物车等等。这些信息一般与ID（键）挂钩，这种情景下键值数据库是很好的选择； 文档数据库：mongodb将数据以文档的形式存储； 列存储：Hbase 图：Neo4j、Infinite Graph、OrientDB memcached介绍 特点：缓存数据库查询结果，减少数据库访问次数，恻然提高动态web站点性能； 官网：www.memcached.org 数据结构简单（k-v），数据存放在内存中；重启数据会丢失，重启前必须将数据保存到硬盘中； 多线程； 基于c/s架构，协议简单； 基于libevent的时间处理； 自主内存存储处理（slab allowcation） 数据过期方式：Lazy Expiration 和LRU ~~ 安装memcached 源码包 yum install -y libmemcached libevent yum

一、基本概念 MongoDB 是一个高性能，开源，无模式的文档型数据库，是当前NoSQL 数据库产品中最热门的一种。它在许多场景下可用于替代传统的关系型数据库或键/值存储方式，MongoDB 使用C++开发。MongoDB 的官方网站地址是： http://www.mongodb.org/ ，大家可以在此获得更详细的信息。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json 的bjson 格式，因此可以存储比较复杂的数据类型。MongoDB 最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立 索引。它是一个面向集合的,模式自由的文档型数据库。 二、对比 MongoDB 关系型数据库 数据存储 面向集合 面向关系表 数据结构 模式自由 二维表关系模式 事务 不支持 支持 大型数据（视频） 很好 一般 大数据量查询（千万条以上） 很好 较差 数据库维护 相对简单 相对复杂 数据及表关系、结构浏览 困难 简单 数据安全性 较差 很好 分布式 很好 一般 查询 非常灵活 非常强大 主外键关联 不支持 支持 索引 支持 支持 存储过程 支持 支持 三、对比说明 1. 数据存储 MongoDB是面向集合

redis数据库 是一种高性能的Key-Value数据库 NoSQL数据库 缓存型数据库 key-value型数据库 错误的说法非关系型数据库 1.redis介绍 1.1NoSQL：一类新出现的数据库(not only sql) 泛指缓存型的数据库 不支持SQL语法 存储结构跟传统关系型数据库中的那种关系表完全不同，nosql中存储的数据都是KV形式 NoSQL的世界中没有一种通用的语言，每种nosql数据库都有自己的api和语法，以及擅长的业务场景 NoSQL中的产品种类相当多： Redis Mongodb Hbase hadoop Cassandra hadoop 1.2 NoSQL和SQL数据库的比较： 适用场景不同：sql数据库适合用于关系特别复杂的数据查询场景，nosql反之 事务 特性的支持：sql对事务的支持非常完善，而nosql基本不支持事务 两者在不断地取长补短，呈现融合趋势 1.3 Redis简介 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。从2013年5月开始，Redis的开发由Pivotal赞助。 Redis是 NoSQL技术阵营中的一员，它通过多种键值数据类型来适应不同场景下的存储需求

3 月，跳不动了？>>> 传统MySQL+ Memcached架构遇到的问题 　　实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题： 　　1.MySQL需要不断进行拆库拆表，Memcached也需不断跟着扩容，扩容和维护工作占据大量开发时间。 　　2.Memcached与MySQL数据库数据一致性问题。 　　3.Memcached数据命中率低或down机，大量访问直接穿透到DB，MySQL无法支撑。 　　4.跨机房cache同步问题。 　　众多NoSQL百花齐放，如何选择 　 　最近几年，业界不断涌现出很多各种各样的NoSQL产品，那么如何才能正确地使用好这些产品，最大化地发挥其长处，是我们需要深入研究和思考的问题，实 际归根结底最重要的是了解这些产品的定位，并且了解到每款产品的tradeoffs，在实际应用中做到扬长避短，总体上这些NoSQL主要用于解决以下几 种问题 　　1.少量数据存储，高速读写访问。此类产品通过数据全部in-momery 的方式来保证高速访问，同时提供数据落地的功能，实际这正是Redis最主要的适用场景。 　　2.海量数据存储，分布式系统支持，数据一致性保证，方便的集群节点添加/删除。 　　3

第一类：云产品或云项目或电子商务类互联网产品或大数据处理与项目如下所示： 1. 山东省软件园云计算平台 (C#,Asp.net ,Moss2013,SystemCenter,MsSql https://www.sdcloud.net/ ) 2. 云监控系统 (Java,Jsp,Tomcat,Spring,Eclipse,MySql,Node.js) 3.o2o 数字校园教育云平台 (C#,Asp.net mvc3.0,MySQL,NoSql,Node.js http://www.szxypt.com ) 4. 优优祝福网的电商化云平台二次改版项目 (O2O,C#,Asp.net MVC4.0,MsSql, http://uuzhufu.com ,Node.js,NoSql ))( 此电商化平台类似京东商城 ) 5. 金银电商化云平台网站（ O2O)(C#,Asp.net MVC4.0 http://jsxgold.com,MSSql,NoSql,Node.js ) 6. 优优祝福 - 金仕祥云平台电商化系统（ C# MVC4.0,MSSql,NoSql,Node.js) 7. 某国有企业电商化云平台（ O2O,java,Jsp,Servlet,Spring,Eclipse,MySql,NoSql,Node.js) 8. 某家装行业 O2O 电商化平台 (O2O,Java,SS2H