mysql导入sql文件

Sqoop数据迁移工具 准备： 安装好对应版本的mysql 安装好对应版本的hadoop集群 安装好对应版本的hive 1. Sqoop是什么 Sqoop是apache旗下的一款 ” Hadoop和关系数据库之间传输数据 ”的工具 导入数据 import 将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统 导出数据 export 从Hadoop的文件系统中导出数据到关系数据库 2. Sqoop的工作机制 将导入和导出的命令翻译成mapreduce程序实现 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制 3. Sqoop基本架构 sqoop在发展中的过程中演进出来了两种不同的架构. 架构演变史 sqoop1的架构图 版本号为1.4.x0 sqoop2的架构图 版本号为1.99x为sqoop2 在架构上：sqoop2引入了sqoop server，对connector实现了集中的管理 访问方式：REST API、 JAVA API、 WEB UI以及CLI控制台方式进行访问 4. Sqoop安装部署 Sqoop安装很简单，解压好进行简单的修改就可以使用 1、下载安装包 http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.14.2.tar

线上数据是共享表空间，正好因为服务器特性导致不能扩容，索性迁移的时候就把共享表空间改为单独表空间，方便后期拓展。线上数据1.6T,导出的SQL文件约745G。第一次使用官方工具mysqldump导出，导出时间消费5.5小时，再次导入的时候就蛋痛了，因为是单线程的方式，导入时间远远大于预期时间，可能要达到四五天的样子，接受不了，耗时周期长，中间出问题不好续导。 一、线上数据导出 1、下载安装mydumper工具 # yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel # wget https://github.com/maxbube/mydumper/releases/download/v0.9.3/mydumper-0.9.3-41.el6.x86_64.rpm # yum install ./mydumper-0.9.3-41.el6.x86_64.rpm 2、线上数据导出(切记按行数或者文件大小导出) # 为了充分发挥导入多线程的功能，可以按文件大小导出，我是采用512M, 实际导可以设置更小一些 # mydumper -h xxx -u xxx -p xxx --less-locking --threads 8 -F 256 --triggers --events --routines

1.新建lib文件夹，将jar文件导入 2在structure中添加jar文件 3设置url时需要设置时区； import java.sql.Connection;import java.sql.DriverManager;import java.sql.Statement;public class test01 { public static void main(String[] args) throws Exception {// 1导入jar包// 注册驱动 Class.forName("com.mysql.cj.jdbc.Driver");// 获取数据库连接 Connection connection=DriverManager.getConnection("jdbc:mysql://localhost:3306/ab?useUnicode=true&characterEncoding=utf8&serverTimezone=GMT%2B8&useSSL=false","root","");// 4定义SQL语句 String sql="update employ01 set salary=500 where id=1";// 5获取执行SQL对象； Statement statement=connection.createStatement();// 6执行SQL语句

1、解决导出csv中文乱码问题： 将csv用txt打开，另存为，选择utf8编码即可。 解决导入问题： mysql安装目录下的my.ini，增加如下参数： [client] default-character-set=utf8 [mysqld] default-storage-engine=INNODB character-set-server=utf8 collation-server=utf8_general_ci 重启mysql服务。 2.执行脚本文件命令 psql -d nyc_data -U postgres \i D:/devices_small/devices.sql 3 MySQL This function has none of DETERMINISTIC 解决办法也有两种， 第一种是在创建子程序(存储过程、函数、触发器)时，声明为DETERMINISTIC或NO SQL与READS SQL DATA中的一个， 例如: CREATE DEFINER = CURRENT_USER PROCEDURE `NewProc`() DETERMINISTIC BEGIN #Routine body goes here... END;; 第二种是信任子程序的创建者，禁止创建、修改子程序时对SUPER权限的要求，设置log_bin_trust_routine

1.删除： /*!50013 DEFINER=`root`@`localhost` SQL SECURITY DEFINER */ 2.查看增删函数有没有重复 3.删除： set GLOBAL log_bin_trust_function_creators=on; 1. 错误信息 [Err] 1227 - Access denied; you need (at least one of) the SUPER privilege(s) for this operation --常见于 RDS MySQL 5.6 ERROR 1725 (HY000) at line 1936: OPERATION need to be executed set by ADMIN --常见于 RDS MySQL 5.5 2. 错误出现的场景 在创建 存储过程、函数、触发器、事件、视图的时候出现这个错误。 从本地数据库导出 SQL，在 RDS 上应用该 SQL 的时候出现该错误。 从 RDS MySQL 5.6 实例下载逻辑备份，导入到 RDS 或本地数据库中。 3. 错误原因 导入RDS MySQL 实例：SQL 语句中含有需要 Supper 权限才可以执行的语句，而 RDS MySQL不提供 Super 权限，因此需要去除这类语句。 本地 MySQL 实例没有启用 GTID。 4. 解决 4.1 去除

工具： eclipse 　　　 MySQL 　　　 Navicat for MySQL 　　　 MySQL 连接驱动：mysql-connector-java-5.0.4-bin.jar SQL 代码 CREATE TABLE user ( id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(30) NOT NULL, password VARCHAR(32) NOT NULL, age INT NOT NULL, sex VARCHAR(2) DEFAULT'男', birthday DATE ); Java 连接 所需的jar包下载 百度网盘 提取码: 68pv 使用方法： 　　1. 在工程目录中创建lib文件夹，将下载好的JDBC（jar包）放到该文件夹下。 　　2. 右键工程名，选择 Buiding Path | Configure Buiding Path ，在java build path中的Libraries分页中选择Add JARs...，选择刚才添加的JDBC（jar包）。 数据库连接并模糊查询代码 import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql

数据备份的重要性 1、在生产环境中，数据的安全性是至关重要的，任何数据的丢失都可能产生严重的后果 2、造成数据丢失的原因 程序错误 人为错误 计算机失败 磁盘失败 灾难(如地震等)和偷窃 数据库备份的分类 一、从物理与逻辑的角度，备份可分为： 1、物理备份:对数据库操作系统的物理文件(如数据文件、日志文件等)的备份 物理备份又可以分为脱机备份(冷备份)和联机备份(热备份)： -冷备份:是在关闭数据库的时候进行的 -热备份:数据库处于运行状态，这种备份方法依赖于数据库的日志文件 2、逻辑备份:对数据库逻辑组件(如表等数据库对象)的备份 二、从数据库的备份策略角度， 备份可分为： 1、完全备份:每次对数据进行完整的备份 2、差异备份:备份那些自从上次完全备份之后被修改过的文件 3、增量备份:只有那些在.上次完全备份或者增量备份后被修改的文件才会被备份 MySQL完全备份(全量备份) 1、完全备份是对整个数据库的备份、数据库结构和文件结构的备份 2、完全备份保存的是备份完成时刻的数据库 3、完全备份是增量备份的基础 完全备份的优点 备份与恢复操作简单方便 完全备份的缺点 1.数据存在大量的重复 2.占用大量的备份空间 3.备份与恢复时间长 mysqldump备份库 一、MySQL数据库的备份可以采用用多种方式 1.直接打包数据库文件夹，如/usr/local/mysql/data 2

基本步骤 1.Maven包： 2016-08-07 14:48 by GarfieldEr007, 25767 阅读, 0 评论, 收藏 , 编辑 首先要下载Connector/J地址： http://www.mysql.com/downloads/connector/j/ 基本步骤： 这是MySQL官方提供的连接方式： 解压后得到jar库文件，需要在工程中导入该库文件 我是用的是Eclipse： JAVA连接MySQL稍微繁琐，所以先写一个类用来打开或关闭数据库： DBHelper.java package com.hu.demo; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.SQLException; public class DBHelper { public static final String url = "jdbc:mysql://127.0.0.1/student"; public static final String name = "com.mysql.jdbc.Driver"; public static final String user = "root"; public static

安装环境 主机操作系统：windows 10 虚拟机VMware15 虚拟：OSCentOS-7.6 安装步骤： 一、添加Zabbix存储库 1.安装存储库配置包 `#rpm -ivh https://repo.zabbix.com/zabbix/4.2/rhel/7/x86_64/zabbix-release-4.2-1.el7.noarch.rpm ``` 2.在将运行Zabbix前端的系统中启用可选rpms的存储库 #yum-config-manager --enable rhel-7-server-optional-rpms 3.安装支持MySQL的Zabbix服务 #yum install zabbix-server-mysql 4.安装支持MySQL的Zabbix前端 #yum install zabbix-web-mysql 二、安装MySQL5.7数据库（没有特别说明均在root用户下） 1.卸载mariadb包 rpm -qa |grep mariadb #查看当前安装的mariadb的包 rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64 #卸载mariadb的包 2.下载并解压MySQL源码包 wget https://dev.mysql.com/get/archives/mysql-5.7/mysql-5.7

Mysql备份常用方法（ 逻辑备份和物理备份） 逻辑备份mysqldump 　　恢复时通过mysqldump命令备份的sql语句还原到mysql数据库中 　　补充，增量备份备份binlog日志文件即可，恢复增量即通过mysqlbinlog工具截取binlog日志转换成sql语句，通过mysql或source进行语句还原 物理备份备份方法 　　使用cp，rsync，tar，scp等工具，由于在备份期间数据依然在写数据，所以直接复制会引起数据丢失，在恢复数据库时，对新数据库的路径，配置也有要求，一般要和远程保持一致。为了确保数据一致性，可以选择人工停库或者锁库后进行。但是一般生产部允许，除非可以申请停机或锁表 物理备份两部：1、停库或锁表，打包拷贝 2、第三方xtrabackup 企业场景全量和增量的频率 1、中小公司，全量一般每天一次，业务流量低谷进行，备份时锁表 增量：定时，例如每分钟rsync推一次binlog 2、大公司，一般周备，节省备份时间，减小备份压力，缺点是binlog文件副本太多，还原比较麻烦 3、一主错从环境，主从复制本身就是实时远程备份，可以解决物理故障 4、一主多从环境，可以采取一个从库上专门进行备份，通过延时同步解决人为误操作 mysql全量备份与增量备份 按天全备 周一 0 点全量备份 周二 0 点全量备份 01.sql.gz 02.sql.gz