mysql集群

目录 一、数据库 1.什么是数据库** 2.数据库介绍 3.数据库基本概念（组成） 4.数据库分类** 5.数据库安装 6.数据库卸载 7.数据库启动与连接** 8.用户信息查看 9.用户操作与管理（重点）（新创建用户）*** 10.数据库的密码操作 11.数据库的配置（统一字符编码） 11.数据库修改(字符编码)信息 12.库的基本操作 13.数据库模式(安全模式和非安全模式) 14.库的远程连接 15.查看库的文件以及结束进程 16.表的基本操作 17.创建表的完整语法 18.表的详细操作 19.表的修改(表名，字段名，字段属性) 20.记录（字段）的基本操作 21.记录(字段)的详细操作 22.约束条件 22.1约束例题 23.数据库表的引擎：驱动数据的方式-数据库优化 二、mysql支持的数据类型 24.整形 25.浮点型 26.字符串：数据库优化-char效率要高于varchar 27.时间类型 28.枚举与集合 三、多表关系 29.约束条件中的外键 30.一对一：无级联关系 31.一对一：有级联关系 32.一对多 33.多对多 多表关系小练习 四、查询 34.查询语法 35.单表查询 38.连表查询 表查询练习 39.联合分组 40.子查询 41.all与any：区间修饰条件 42.视图：view 43.视图的增删改 44.事务 五、pymysql

1.单机架构模式，多用于测试，实际生产中需优化； 2.一主多从，主数据库读和写，从数据库从主数据库同步，仅负责读，可解决一定访问量的需求； 3.MHA（Master High Availability）方案，主要有管理节点和数据节点，管理节点主要起到监控作用，如果发现主节点不可用，就发起主从切换和故障转移，前MHA主要支持是一主多从的架构，要求至少要3个节点，一主二从。 4.PXC方案，基于Galera协议的高可用集群方案，PXC的原理其实在提交事务时，确保所有的节点事务都要成功提交，才返回成功；如果其中有一个不成功，就回滚数据，返回不成功 https://zhuanlan.zhihu.com/p/84040769?utm_source=qq&utm_medium=social 来源： https://www.cnblogs.com/qq1069284034/p/11587440.html

MySQL Proxy最强大的一项功能是实现“读写分离(Read/Write Splitting)”。基本的原理是让主数据库处理事务性查询，而从数据库处理SELECT查询。数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库。 　　Jan Kneschke在《MySQL Proxy learns R/W Splitting》中详细的介绍了这种技巧以及连接池问题： 　　为了实现读写分离我们需要连接池。我们仅在已打开了到一个后端的一条经过认证的连接的情况下，才切换到该后端。MySQL协议首先进行握手。当进入到查询/返回结果的阶段再认证新连接就太晚了。我们必须保证拥有足够的打开的连接才能保持运作正常。 　　实现读写分离的LUA脚本： 　　 复制代码 代码如下: -- 读写分离 　　-- 　　-- 发送所有的非事务性Select到一个从数据库 　　if is_in_transaction == 0 and 　　packet:byte() == proxy.COM_QUERY and 　　packet:sub(2, 7) == "SELECT" then 　　local max_conns = -1 　　local max_conns_ndx = 0 　　for i = 1, #proxy.servers do 　　local s = proxy.servers[i] 　　--

本文主要分析网站后台架构中的负载均衡器，企业常用的硬件负载均衡器软件负载均衡器、数据库代理服务器和数据库。 1.1 负载均衡 在大型网站部署中，负载均衡至少有三层部署。第一层为web server或者缓存代理之上的负载均衡，第二层为数据库之上的负载均衡，第三层为存储设备之上的负载均衡。 在第一层部署中，最常使用的是硬件负载均衡器有F5 BIG-IP、Citrix NetScaler、Radware、Cisco CSS、Foundry等产品。这些产品价格不菲，高达几十万人民币。在中国大陆，采用F5Network公司的BIG-IP负载均衡交换机的网站有新浪网、雅虎、百度、搜狐、凤凰网、央视国际、中华英才网、猫扑、畅游等。之前淘宝采用 NetScaler作为其硬件负载均衡器。后来用软件负载均衡器LVS和HAproxy混合使用来代替硬件负载均衡器。硬件负载均衡器可以提供OSI参考模型的第四/七层进行负载均衡。在第七层实现负载均衡的原理是，通过检查流经的HTTP报头，根据报头内的信息来执行负载均衡任务。在第四层(网络层)实现负载均衡的DR模式的原理是，通过更改请求包的目的MAC地址来进行负载均衡。 在第一层部署中，最常用的软件负载均衡器为LVS(LinuxVirtual Server)和HAproxy。其中LVS采用基于IP负载均衡技术和基于内容请求分发技术

有时候我们在项目中会遇到输入结果集很大，但是输出结果很小，比如一些 pv、uv 数据，然后为了实时查询的需求，或者一些 OLAP 的需求，我们需要 mapreduce 与 mysql 进行数据的交互，而这些特性正是 hbase 或者 hive 目前亟待改进的地方。 好了言归正传，简单的说说背景、原理以及需要注意的地方： 1、为了方便 MapReduce 直接访问关系型数据库（Mysql,Oracle），Hadoop提供了DBInputFormat和DBOutputFormat两个类。通过DBInputFormat类把数据库表数据读入到HDFS，根据DBOutputFormat类把MapReduce产生的结果集导入到数据库表中。 2、 由于0.20版本对DBInputFormat和DBOutputFormat支持不是很好，该例用了0.19版本来说明这两个类的用法。 至少在我的 0.20.203 中的 org.apache.hadoop.mapreduce.lib 下是没见到 db 包，所以本文也是以老版的 API 来为例说明的。 3、 运行MapReduce时候报错：java.io.IOException: com.mysql.jdbc.Driver，一般是由于程序找不到mysql驱动包。解决方法是让每个 tasktracker运行MapReduce程序时都可以找到该驱动包。

准备工作 本文档是在ubuntu14.04下安装 2.2版本的atlas 。 官方文档很重要，请熟读。 wiki地址： https://github.com/Qihoo360/Atlas/wiki QQ 群：326544838(可以加此群进行咨询) 1. 所用软件： Ubuntu14.04 LTS版 2. 使用服务器地址：192.168.1.244 3. ubuntu14.04 对应的 安装 文件选择 Atlas-2.2-debian7.0-x86_64.deb 4. 主库为192.168.1.160，从库为192.168.1.116,192.168.1.149,192.168.236 2 Atlas 的整体架构 Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用Atlas运行的mysql业务，每天承载的读写请求数达几十亿条。 Atlas 是一个位于应用程序与MySQL之间中间件。在后端DB看来，Atlas相当于连接它的客户端，在前端应用看来，Atlas相当于一个DB。Atlas作为服务端与应用程序通讯，它实现了MySQL的客户端和服务端协议，同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节

新兵训练营系列课程——海量数据存储基础 2015年8月12日 09:24 阅读 16831 微博平台研发作为微博的底层数据及业务支撑部门，已经经历了 5 年的发展历程。伴随着从数据及业务暴发式增长，我们在海量数据存储方面遭遇了诸多挑战，与此同时也伴随着丰富经验的积累。 本次新兵训练营，受众在于应届毕业生，目的在于让新同学系统化并且有针对性的了解平台的核心技术及核心业务，以使新同学在新兵训练营结束后，能够对平台的底层架构与业务有一定的了解。 本文主要面向新同学介绍平台的核心技术之一——海量数据存储，主要介绍在海量数据存储在大规模分布式系统下的架构变迁与设计。 课程大纲： 1. 课程目标 2. 存储服务概述 3. MySQL 与 MySQL 分布式架构设计 4. Redis 与 Redis 分布式架构设计 5. 思考与讨论 一、课程目标 1. 了解存储服务概况，以及RDBMS及NoSQL的差异 2. 理解MySQL、Redis、HBase基本实现机制、特性、适用场景 3. 理解几种存储产品的大规模分布式服务方案 4. 学会使用平台的MySQL、 Redis client组件 5. 理解对于MySQL、Redis分布式系统设计想要注意的问题 6. 了解平台几种典型案例 7. 理解几种存储产品在平台的定制修改与名词术语 二、存储服务概述 1. 关系型数据库是基于 实体关系模型（Entity

写在前面的话 在学习的索引的时候，有提到，当数据表数据达到 800W 的时候，索引的性能就开始逐步下降。对于一个公司而言，主要业务数据表达到 1000W 都很容易。同时这张表一般都是业务常用的表，操作还比较频繁。所以为了提升用户体验，需要采用另外的方式对数据库进行优化，那就是分库分表。而 MyCAT 就是能够帮助我们管理分库分表的这样一个中间件。 MyCAT 环境基础架构准备 架构图 1： 架构图 2： 【1】搭建基础环境： 1. 在 db01 ：192.168.100.111 上面安装数据库多实例： # 创建基础目录 mkdir -p /data/{data,logs,backup,conf}/mysql-33{07,08,09,10} mkdir -p /data/logs/mysql-33{07,08,09,10}/{bin-log,slow-log,error-log,relay-log} mkdir -p /data/packages/mysql mkdir -p /data/services # 添加用户 useradd -s /sbin/nologin mysql # 修改目录权限 chown -R mysql.mysql /data/logs/mysql-33* chown -R mysql.mysql /data/data/mysql-33* # 清理默认配置文件

一 配置读写分离表 1 mysql_user 列表配置 1 username && password 账号密码 2 default_hostgroup 写hostgroup_id 3 transaction_persistent 保证了同一个事务中所有的语句都会路由到同一组示例 2 mysql_servers DB列表配置 该表的主键是hostgroup_id+hostname+port 1 hostgroup_id 1 不同功能不同hostgroup_id(写hostgroup_id,读hostgroup_id) 2 status 集群健康情况 ONLINE：当前后端实例状态正常。 SHUNNED：临时被剔除，可能因为后端too many connection error，或者超过了max_replication_lag。 OFFLINE_SOFT：软离线状态，不再接受新的连接，但已建立的连接会等待活跃事务完成。 OFFLINE_HARD：硬离线状态，不再接受新的连接，已建立的连接或被强制中断，当后端实例宕机或网络不可达，会出现。 3 max_replication_lag 设置延迟判断 4 weight 权重比,默认为1,权重越大优先级越高 5 max_connections 最大连接数(不要大于mysql的max_connections) 3 mysql_query

1 数据库拆分过程及挑战 互联网当下的数据库拆分过程基本遵循的顺序是：垂直拆分、读写分离、分库分表(水平拆分)。每个拆分过程都能解决业务上的一些问题，但同时也面临了一些挑战。 1.1 垂直拆分 对于一个刚上线的互联网项目来说，由于前期活跃用户数量并不多，并发量也相对较小，所以此时企业一般都会选择将所有数据存放在一个数据库 中进行访问操作。举例来说，对于一个电商系统，其用户模块和产品模块的表刚开始都是位于一个库中。 其中：user、user_account表属于用户模块，product_category、product表属于产品模块。 刚开始，可能公司的技术团队规模比较小，所有的数据都位于一个库中。随着公司业务的发展，技术团队人员也得到了扩张，划分为不同的技术小组，不同的小组负责不同的业务模块。例如A小组负责用户模块，B小组负责产品模块。此时数据库也迎来了第一次拆分：垂直拆分。 这里的垂直拆分，指的是将一个包含了很多表的数据库，根据表的功能的不同，拆分为多个小的数据库，每个库包含部分表。下图演示将上面提到的db_eshop库，拆分为db_user库和db_product库。 通常来说，垂直拆分，都是根据业务来对一个库中的表进行拆分的。关于垂直拆分，还有另一种说法，将一个包含了很多字段的大表拆分为多个小表，每个表包含部分字段，这种情况在实际开发中基本很少遇到。