mysql导入sql文件

首先保证HDFS和HiveServer2正常运行，集群运行在debugo01,debugo02,debugo03三台主机上。 1. 准备mysql数据 在debugo03的MySQL中新建一个测试数据库，并建测试表employee_salary。 mysql -uroot -p mysql> create database test_sqoop; Query OK, 1 row affected (0.00 sec) mysql> use test_sqoop; SET FOREIGN_KEY_CHECKS=0; DROP TABLE IF EXISTS `employee_salary`; CREATE TABLE `employee_salary` ( `name` text, `id` int(8) NOT NULL AUTO_INCREMENT, `salary` int(8) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=MyISAM AUTO_INCREMENT=3 DEFAULT CHARSET=latin1; INSERT INTO `employee_salary` VALUES ('zhangsan', '1', '5000'); INSERT INTO `employee_salary` VALUES ('lisi',

背景 公司内部 MySQL 只有一部，现在需要添加一个从库。办法把现有的 MySQL变成主库，新搭建一台 MySQL从库，组成一主一从让开发配置读写分离。 操作系统 CentOS 7.4 64bit MySQL主库 192.168.0.237 MySQL从库 192.168.0.227 MySQL 主从复制图解 1. 从库执行 change master to ，ip pot user password binlog position 信息写入到 master.info 2. 从库执行 start slave 时，从库会启动 IO 线程 和 SQL 线程 3. IO_T 会读取 master.info 信息，获取主库信息连接主库 4. 主库会生成一个准备 binlog 的 DUMP 线程，来响应从库 5. IO_T 根据 master.info 记录的 binlog 文件名和 position 号，请求主库 DUMP 线程最新的日志 6. DUMP 线程检查主库的 binlog 日志，如果有新的，TP(传送)给从从库的 IO_T 7. IO_T 将收到的日志存储到了 TCP/IP 缓存，立即返回 ACK 给主库，主库工作完成 8. IO_T 将缓存中的数据，存储到 relay-log 日志文件, 更新 master.info 文件 binlog 文件名和 postion，IO_T

一、 mariadb 安装 1、配置mariadb源： [root@bi7 ~]# vim /etc/yum.repos.d/mariadb.repo [mariadb] name = MariaDB baseurl = http://mirrors.ustc.edu.cn/mariadb/yum/10.2/centos7-amd64/ gpgkey=http://mirrors.ustc.edu.cn/mariadb/yum/RPM-GPG-KEY-MariaDB gpgcheck=1 2、yum安装（下载时该大写的必须大写）： [root@bi7 ~]# yum -y install MariaDB 3、安装完成后需要重启mariadb： [root@bi7 ~]# systemctl restart mariadb 4、初始化数据库（ 安全配置向导 ）： [root@bi7 ~]# mysql_secure_installation 运行mysql_secure_installation会执行几个设置： --为root用户设置密码 --删除匿名账号 --取消root用户远程登录 --删除test库和对test库的访问权限 --刷新授权表使修改生效 5 、客户端程序： mysql---交互式的client工具 mysqldump---备份工具

在 CentOS7上搭建MySQL主从复制与读写分离 MySQL主从复制原理 MySQL的主从复制和MySQL的读写分离两者有着紧密联系，首先要部署主从复制，只有主从复制完成了，才能在此基础上进行数据的读写分离。 （ 1）MySQL支持复制的类型。 1)基于语句的复制。MySQL默认采用基于语句的复制，效率比较高。 2)基于行的复制。把改变的内容复制过去，而不是把命令在从服务器上执行一遍。 3）混合类型的复制。默认采用基于语句的复制，一旦发现基于语句无法精确复制时，就会采用基于行的复制。 （ 2）MySQL复制的工作过程如图所示。 1）在每个事务更新数据完成之前，Master在二进制日志记录这些改变。写入二进制日志完成后，Master通知存储引擎提交事务。 2）Slave将Master的Binary log复制到其中继日志。首先，Slave开始一个工作线程——I/O线程，I/O线程在Master上打开一个普通的链接，然后开始Binlog dump process。Binlog dump process从Master的二进制日志中读取事件，如果已经跟上Master，它会睡眠并等待Master产生新的事件。I/O线程将这些事件写入中继日志。 3）SQL slave thred（SQL从线程）处理该过程的最后一步。SQL线程从中继日志读取事件，并重放其中的事件而更新Slave的数据

MySQL数据库--基础简述 1.15.1 MySQL简介 Mysql是最流行的RDBMS(Relational Database Management System：关系数据库管理系统)，特别是在WEB应用方面。 数据库（Database）是按照数据结构来组织、存储和管理数据的仓库， 每个数据库都有一个或多个不同的API用于创建，访问，管理，搜索和复制所保存的数据。 所谓的关系型数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。 RDBMS即关系数据库管理系统(Relational Database Management System)的特点： 1.数据以表格的形式出现 2.每行为各种记录名称 3.每列为记录名称所对应的数据域 4.许多的行和列组成一张表单 5.若干的表单组成database 在我们开始学习MySQL 数据库前，让我们先了解下RDBMS的一些术语： 数据库: 数据库是一些关联表的集合。. 数据表: 表是数据的矩阵。在一个数据库中的表看起来像一个简单的电子表格。 列: 一列(数据元素) 包含了相同的数据, 例如邮政编码的数据。 行：一行（=元组，或记录）是一组相关的数据，例如一条用户订阅的数据。 冗余：存储两倍数据，冗余降低了性能，但提高了数据的安全性。 主键：主键是唯一的。一个数据表中只能包含一个主键

一、连接MySQL 格式： mysql -h 主机地址 -u 用户名 -p 用户密码 1、例1：连接到本机上的MYSQL。 首先在打开DOS窗口，然后进入目录 mysql bin，再键入命令mysql -uroot -p，回车后提示你输密码，如果刚安装好MYSQL，超级用户root是没有密码的，故直接回车即可进入到MYSQL中了，MYSQL的提示符是： mysql>。 2、例2：连接到远程主机上的MYSQL。假设远程主机的IP为：110.110.110.110，用户名为root,密码为abcd123。则键入以下命令： mysql -h 110.110.110.110 -uroot -p abcd123 （注:u与root可以不用加空格，其它也一样） 3、退出MYSQL命令： exit （回车）。 二、修改密码 格式：mysqladmin -u用户名 -p旧密码 password 新密码 1、例1：给root加个密码ab12。首先在DOS下进入目录mysql bin，然后键入以下命令： mysqladmin -uroot -password ab12 注：因为开始时root没有密码，所以-p旧密码一项就可以省略了。 2、例2：再将root的密码改为djg345。 mysqladmin -uroot -pab12 password djg345 三、增加新用户。 （注意：和上面不同

在企业中，数据库高可用一直是企业的重中之重，中小企业很多都是使用 mysql 主 主 方案，一主多从，读写分离等，但是单主存在单点故障，从库切换成主库需要作改动。因此，如果是双主或者多主，就会增加 mysql 入口，增加高可用。 不过多主需要考虑自增长 ID 问题，这个需要特别设置配置文件，比如双主，可以使用奇偶 ， 总之，主之间设置自增长 ID 相互不冲突就能完美解决自增长 ID 冲突问题 主主方案实现思路 1、 两台 mysql 都可读写，互为主备 。 默认只使用一台 masterA 负责数据的写入，另一台 masterB 备用 处于备用状态 ； 2、 masterA 是 masterB 的主库， masterB 又是 masterA 的主库，它们互为主从； 3、 两台主库之间做高可用 , 可以采用 keepalived 等方案 ， 使用 VIP 对外提供服务； 4 、 所有提供服务的从服务器与 masterB 进行主从同步（双主多从） ; 5 、 建议采用高可用策略的时候， masterA 或 masterB 均不因宕机恢复后而抢占 VIP （非抢占模式）； 这样做可以在一定程度上保证主库的高可用 , 在一台主库 down 掉之后 , 可以在极短的时间内切换到另一台主库上 ， 尽可能减少主库宕机对业务造成的影响，减少了主从同步给 生产 主库带来的压力； 实验步骤：

​ 可以实现数据自动同步的服务结构，大大提升了数据的安全可靠性，当正在提供服务的数据库实例宕机时，另外一台数据库实例也可以提供完整的可靠的数据。 主从前提：master必须启用binlog日志，设置server-id。 实现原理： ​ 在开启主从后，slave会开启两个进程，分别是Slave_IO、Slave_SQL。 Slave_IO： ​ 在master节点上添加一个角色并赋予replication slave权限，Slave_IO从节点slave会使用这个master授权账户去master主节点拷贝binlog日志SQL命令到slave的relay-log（中继日志）文件。会在该mysql的默认data目录生成 relay-log.info 记录了当前使用的中继日志文件名、偏移量、master的binlog文件名、偏移量等信息， 主机名-relay-bin.index ,中继日志文件索引文件 记录了当前使用的中继文件名。 主机名-relay-bin.XXXXXX 中继日志文件 记录了Slave_IO从master上拷过来的SQL语句。 Slave_SQL: ​ 执行本机relay-log文件里的SQL语句，实现与Master数据一致。 主从同步有三种结构：主从、链式复制（主从从）、一主多从、互为主从。 主从：至少两个数据库实例组成。A是主实例（master节点），B是从实例

MySQL Replication 概述 mysql在互联网领域用的如此广泛很大一部分原因是是源于它的replication机制，简单实用，几台PC机子，很容易提高性能，乃中小网站必备良方。 首先什么情况下要扩展数据库，建个网站，建个数据库，某一天网站火了，访问量暴增，意味着从你服务器上读网页的连接多了，IO瓶颈来了，自然想多加几台机子来分担压力，但是数据还要跟源主机上的数据库内数据保持一致，这时候就是开始扩展数据库的时候，replication就开始派上用场了。 MySQL Replication 俗称MySQL AB复制或主从复制，是MySQL官方推荐的数据同步技术。数据同步基本过程为从数据库会实时去读取主数据库的二进制日志文件，按照日志中记录对从库进行同样的操作，以达到数据同步效果。 MySQL Replication优点： 通过增加从服务器来提高数据库平台的可靠性能。在主服务器上执行写入和更新，在从服务器上向外提供读功能，可以动态地调整从服务器的数量，从而调整数据库平台的高性能。 提高数据安全性，因为数据已复制到从服务器，主数据库数据异常时，可以将从服务器复制进程终止来达到保护数据完整性的特点。 在主服务器上生成实时数据，而在从服务器上分析这些数据，从而缓解主服务器的性能。 MySQL复制类型 异步复制（Asynchronous replication ）

mysql常用的函数： select user(); --当前用户 version(); select @@version select @@basedir;数据库服务所在的位置 select @@datadir；数据存放的位置 数据库文件格式: opt:编码 MYD：存储数据，数据内容 frm：存储表结构 MYI：存储当前数据的配置信息和索引信息 mid（被截取的字符串，开始索引，截取长度） ord（）显示字符ASCII concat()拼接字符串 concat_ws（分隔符,....）使分隔符拼接字符串 group_concat()分组并拼接 sleep（1）让数据库等待1s sql语法： 创建数据库： creat database te;(交互模式) mysqladmin -u root -p root creat pentest 删除数据库 drop database te; mysqladmin -u root -p root drop te 数据库中的数据类型： int 整形 bigint 大整形 float 浮点型 date 日期 time 时间 char 单个字符 varchar 变长字符 text 文本 timestamp 时间戳 bit 比特 tinyint 0/1 创建表：use表； create table 表名（字段名1 数据类型，字段名2，数据类型...