mysql集群

驱动拷贝 1．在/opt/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包 [root@hadoop102 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz 2．拷贝/opt/software/mysql-libs/mysql-connector-java-5.1.27目录下的mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/ [root@hadoop102 mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/ 配置Metastore到MySql 1．在/opt/module/hive/conf目录下创建一个hive-site.xml [atguigu@hadoop102 conf]$ touch hive-site.xml [atguigu@hadoop102 conf]$ vi hive-site.xml 2．根据官方文档配置参数，拷贝数据到hive-site.xml文件中 https://cwiki.apache.org/confluence

一.MySQL5.6与MySQL5.7安装的区别 1、cmake的时候加入了boost 下载boost.org 2、初始化时 cd /application/mysql/bin/mysql 使用mysqld --initialize 替代mysql_install_db，其它参数没有变化：--user= --basedir= --datadir= 3、--initialize会生成一个临时密码 4、还可以用另外一个参数--initialize-insecure （加上生不成密码） mysql 5.7使用弱密码 validate_password_length 8 # 密码的最小长度，此处为8。 validate_password_mixed_case_count 1 # 至少要包含小写或大写字母的个数，此处为1。 validate_password_number_count 1 # 至少要包含的数字的个数，此处为1。 validate_password_policy MEDIUM # 强度等级，其中其值可设置为0、1、2。分别对应： 【0/LOW】：只检查长度。 【1/MEDIUM】：在0等级的基础上多检查数字、大小写、特殊字符。 【2/STRONG】：在1等级的基础上多检查特殊字符字典文件，此处为1。 validate_password_special_char_count 1

MHA 简介 MHA（Master High Availability） 目前在 MySQL 高可用方面是一个相对成熟的解决方案， 它由日本 DeNA 公司的 youshimaton 员工（现就职于 Facebook 公司）开发，是一套优秀的作 为 MySQL 高可用性环境下 故障切换和主从角色提升 的高可用软件。在 MySQL 故障切换过程 中，MHA 能做到在 0~30 秒之内自动完成数据库的主从故障切换操作，并且在进行故障切换 的过程中，MHA 能在最大程度上保证数据的一致性，以达到真正意义上的高可用。 MHA 由两部分组成：MHA Manager（管理节点）和 MHA Node（数据节点） 。MHA Manager 可以单独部署在一台独立的机器上管理多个 master-slave 集群，也可以部署在一台 slave 节 点上。MHA Node 运行在每台 MySQL 服务器及 Manager 服务器上，MHA Manager 会定时探 测集群中的 master 节点，当 master 出现故障时，它可以自动将拥有最新数据的 slave 提升 为新的 master，然后将所有其他的 slave 重新指向新提升的 master。整个故障转移过程对应 用程序层面完全透明。 在 MHA 自动故障切换过程中，MHA 会试图从宕机的主服务器上保存二进制日志，最大 程度的保证数据不丢失

MYSQL(mariadb) MariaDB数据库管理系统是MySQL的一个分支，主要由开源社区在维护，采用GPL授权许可。开发这个分支的原因之一是：甲骨文公司收购了MySQL后，有将MySQL闭源的潜在风险，因此社区采用分支的方式来避开这个风险。MariaDB的目的是完全兼容MySQL，包括API和命令行，使之能轻松成为MySQL的代替品。 方法1：yum安装mariadb Red Hat Enterprise Linux/CentOS 7.0 发行版已将默认的数据库从 MySQL 切换到 MariaDB。 第一步：添加 MariaDB yum 仓库 1、首先在 RHEL/CentOS 和 Fedora 操作系统中添加 MariaDB 的 YUM 配置文件 MariaDB.repo 文件。 #编辑创建mariadb.repo仓库文件 vi /etc/yum.repos.d/MariaDB.repo 2、添加repo仓库配置 [mariadb] name = MariaDB baseurl = http://yum.mariadb.org/10.1/centos7-amd64 gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB gpgcheck=1 第二步：在 CentOS 7 中安装 MariaDB 2、当 MariaDB

Hive安装配置及基本操作 1. Hive安装及配置 (1). 上传文件到Hadoop102节点，解压到 /opt/moudle (2). 修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh [simon@hadoop102 conf]$ cp hive-env.sh.template hive-env.sh (3). 配置hive-env.sh文件 ​ (a). 配置HADOOP_HOME路径 : export HADOOP_HOME=/opt/module/hadoop-2.7.2 ​ (b).配置HIVE_CONF_DIR路径 : export HIVE_CONF_DIR=/opt/module/hive/conf 2. Hadoop集群的配置 （1）必须启动HDFS和YARN [simon@hadoop102 conf]$ start-dfs.sh [simon@hadoop103 module]$ start-yarn.sh [simon@hadoop104 hadoop-2.7.2]$ mr-jobhistory-daemon.sh start historyserver （2）在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写 [simon

MySQL各版本的区别 第一个 MySQL Community Server，这个不要钱！ 第二个 MySQL Enterprise 这个要掏钱，不过可以打电话咨询问题，也就是电话技术支持。 第三个 MySQL Cluster，这个单独是没法用的，要在1或2的基础上用。当然用来平衡多台数据库的。 第四个 MySQL Workbench，这是个好东西，用来设计数据库的。erwin知道吗？他就是这个作用。 MySQL Community Server 社区版本 应该不提供官方技术支持 MySQL Enterprise Server MySQL企业版服务器 软件是最可靠、最安全、更新版本的MySQL企业级服务器数据库，它能够高性价比地提供电子商务、联机事务处理(OLTP)、千兆规模的数据仓库应用等。它支持ACID事务处理，能提供完整的提交、回滚、崩溃恢复和行级锁定功能。MySQL数据库因其易用性、可扩展性和高性能等特点，成为全球最流行的开源数据库。 MySQL Cluster 2台以上 mysql集群服务器 MySQL Workbench有两个版本： MySQL Workbench Community Edition（又叫MySQL Workbench OSS，社区版）和MySQL Workbench Standard Edition（又叫MySQL Workbench SE，商业版）

一、为了解决数据同步汇聚，数据分发，数据转换，数据维护需求，TreeSoft推出了数据同步，数据处理等丰富功能 。 TreeSoft作为中间传输载体负责连接各种数据源，为各种异构数据库之间架起沟通的桥梁，可实现一对多，多对多， 多对一等 复杂场景的数据同步。 支持多字段合并，字段截取，字段脱敏，数据转换，自定义函数等个性化操作。 TreeSoft已被广泛应用，每日处理大量大数据的数据维护、数据同步、数据汇聚、数据转换业务。 支持MySQL, MariaDB, Oracle, PostgreSQL, SQL Server, DB2, MongoDB, Hive, SAP HANA, Sybase, Caché, Informix, 达梦DM, 金仓Kinbase, 神通, 南大GBase等数据库。 二、兼具数据同步与数据维护管理功能，具备适应性广，灵活性强等特点。 1、支持主流RDBMS、NOSQL数据库间同步交换数据。 2、支持单节点或集群布署,可应对庞杂的业务环境。 3、支持百万级以上数据量同步。 4、企业级定时任务框架，稳定高效。 5、支持多数据源向多目标数据汇聚或数据分发。 6、支持定时数据清洗转换等后处理。 7、支持window, Linux，mac等操作系统。 8、基于JAVA开发，WEB网页管理，快速布署，到处使用。 9、基于网页灵活配置及管理，详细记录同步日志。 10

测试start backup ############################################# //备份概念 1.备份时当前数据库的一个快照，备份包含下面三部分 A.metadata:数据库的定义和结构 B.table records:存储在表中到数据 C.transaction log: 记录数据存储的时间 2.每个备份存储在所有的节点上，备份文件由三个文件组成： BACKUP-backup_id.node_id.ctl BACKUP-backup_id-0.node_id.data BACKUP-backup_id.node_id.log 3.backup_id标识每一次备份，node_id表示创建备份文件的节点 //start backup语法 START BACKUP [backup_id] [wait_option] [snapshot_option] backup_id:大于等于1的整数，不能重复 wait_option:WAIT {STARTED | COMPLETED} wait started:等待直到备份启动 默认 wait completed ：等待备份完成 snapshot_option: SNAPSHOTSTART | SNAPSHOTEND SNAPSHOTSTART:匹配备份开始时集群的状态 SNAPSHOTEND:

Mysql各版本介绍及下载 http://blog.itpub.net/12679300/viewspace-1251661/ 原创 MySQL 作者： wzq609 时间：2014-08-15 10:35:01 14250 0 一、版本说明： MYSQL自从被ORCLE收购后，软件的版本也ORACLE化，整体的感觉就是服务的费用提高了很多，整体的软件的Supports也有相应的提高；MYSQL根据软件的功能可以分成三个版本：社区版、企业版、集群版。 社区版：1、 社区版是企业版的测试版，免费的，包含所有Mysql的最新功能，社区版的功能比企业版的多； 2、官方的支持服务只针对企业版，用户在使用社区版时出现任何问题，Mysql官方概不负责； 企业版和集群版：经过测试之后稳定版本，需要购买oracle相应的服务费用，用户可以直接从官网下载相应的软件，但是不能用于商业的模式，被发现后需要缴费； 企业版和集群版最大的区别就是软件的功能会有所不一样，以下是国内一家mysql代理提供的报价单，及企业版和集群版收费的区别； MySQL标准版 MySQL企业版 MMySQL Cluster集群版 购买模式：年度订购计量单位：每服务器每年(具有1-4个物理CPU)参考备注：2、3、4、5 人民币 13,644 （未含增值税） 人民币 34,116 （未含增值税） 人民币 68,220 （未含增值税

【编者按】NoSQL在2010年风生水起，大大小小的Web站点在追求高性能高可靠性方面，不由自主都选择了NoSQL技术作为优先考虑的方面。今年伊始，InfoQ中文站有幸邀请到凤凰网的孙立先生，为大家分享他之于NoSQL方面的经验和体会。 非常荣幸能受邀在InfoQ开辟这样一个关于NoSQL的专栏，InfoQ是我非常尊重的一家技术媒体，同时我也希望借助InfoQ，在国内推动NoSQL的发展，希望跟我一样有兴趣的朋友加入进来。这次的NoSQL专栏系列将先整体介绍NoSQL，然后介绍如何把NoSQL运用到自己的项目中合适的场景中，还会适当地分析一些成功案例，希望有成功使用NoSQL经验的朋友给我提供一些线索和信息。 NoSQL概念 随着web2.0的快速发展，非关系型、分布式数据存储得到了快速的发展，它们不保证关系数据的ACID特性。 NoSQL 概念在2009年被提了出来。NoSQL最常见的解释是“non-relational”，“Not Only SQL”也被很多人接受。（“NoSQL”一词最早于1998年被用于一个轻量级的关系数据库的名字。） NoSQL被我们用得最多的当数key-value存储，当然还有其他的文档型的、列存储、图型数据库、xml数据库等。在NoSQL概念提出之前，这些数据库就被用于各种系统当中，但是却很少用于web互联网应用。比如cdb、qdbm、bdb数据库。