mysql导入sql文件

一、通过Sqoop将Hive表数据导入到Mysql 1、第一种是将hive上某张表的全部数据导入到mysql对应的表中。 2、第二种是将hive上某张表中的部分数据导入到mysql对应的表中。 两种方式的区别在于第二种情况需要指定要导入数据的列名称。两种情况的导入方式分别如下： 1.全部导入 Sqoop export --connect jdbc:mysql://127.0.0.1:3306/dbname?useUnicode=true&characterEncoding=utf-8 --username mysql(mysql用户名) --password 123456(密码) --table student(mysql上的表) --export-dir /user/hive/warehouse/tablename(hive上的表) --input-null-string "\\N" --input-null-non-string "\\N" --fields-terminated-by "," --lines-terminated-by '\n' 说明： dbname ?useUnicode=true&characterEncoding=utf-8：设置数据库的编码格式 --export-dir：指定hive表的存储路径，数据存储在HDFS中 --input-null

大数据技术之Sqoop 一、 Sqoop 简介 Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。 Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。 请注意，1.99.7与1.4.6不兼容，且没有特征不完整，它并不打算用于生产部署。 二、 Sqoop 原理 将导入或导出命令翻译成mapreduce程序来实现。 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。 三、 Sqoop 安装 安装Sqoop的前提是已经具备Java和Hadoop的环境。 3.1、下载并解压 1) 最新版下载地址： http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 2) 上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机中，如我的上传目录是：/opt/software/ 3) 解压sqoop安装包到指定目录，如： $ tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/ 3.2、修改配置文件 Sqoop的配置文件与大多数大数据框架类似，在sqoop根目录下的conf目录中。 1)

一、手动导入 scm 库 /usr/share/cmf/schema/scm_prepare_database.sh mysql -h<mysql-host> -u<mysql-user> -p<mysql-pwd> --scm-host <scm-host> <scm-user> <scm-dbname> <scm-pwd> 其中 <mysql-host>,<mysql-user> <mysql-pwd> 是需要创建的 scm 库所在的 mysql 位置，对应的 mysql 的主机名，用户名和登录密码； <scm-host>,<scm_user>,<scm-dbname>,<scm-pwd>分别对应 cloudera-scm-server 部署在的主机名，scm 库的登录用户，scm 库的库名，scm 库的登录密码。 但是，当在使用云服务器的 rds 实例作为远程 mysql 时，执行以上脚本会报权限不够的错误。而在本地部署的 mysql 实例执行以上脚本则不会报错，主要原因是<mysql-user>是通过 grant all 命令来授权的，而使用 rds 实例时 grant all 命名是无法执行的，也就是使用 rds 时只能 grant 指定权限给用户，这样可能会导致一部分权限丢失，执行上面的自动建库脚本就会报权限错误。 解决方法： 由于 cloudera-scm

原创： 梦想de星空 macrozheng 6月12日 本文主要介绍如何使用Maven插件将SpringBoot应用打包为Docker镜像，并上传到私有镜像仓库Docker Registry的过程。 Docker Registry docker run -d -p 5000:5000 --restart=always --name registry2 registry:2 如果遇到镜像下载不下来的情况，需要修改 /etc/docker/daemon.json 文件并添加上 registry-mirrors 键值，然后重启docker服务： { "registry-mirrors": ["https://registry.docker-cn.com"]} vi /usr/lib/systemd/system/docker.service 需要修改的部分： ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock 修改后的部分： ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix://var/run/docker.sock echo '{ "insecure-registries":["192.168.3.101:5000

一.DBA工作内容及课程体系 数据库管理员： 1.用户管理 用户名 密码 2.权限管理 读 写 #禁止使用 grant all on *.* to root@'%' identified by '123'; 3.数据管理 增 删 改 查 备份\恢复 4.集群管理 主从复制 异步复制 半同步复制 延时复制 过滤复制 读写分离 mycat atlas mysql-proxy 高可用 MMM MHA 双主+keepalived MGR 监控 shell zabbix percona  二.MySQL课程体系介绍  三.DBA的职业素养  四.MySQL简介及安装 01 什么是数据? 数据(data)是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的的原始素材。 数据可以是连续的值，比如声音、图像，称为模拟数据。也可以是离散的，如符号、文字，称为数字数据。 在计算机系统中，数据以二进制信息单元0,1的形式表示。 数据的定义: 数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号。* 为什么不把数据放到 word这些工具里面？ 1.安全性 2.集群 02 什么是数据库管理系统 DBMS（database management system） 1.管理数据 2.存储数据

1.导出整个数据库 mysqldump -u 用户名 -p 数据库名 > 导出的文件名 mysqldump -u dbuser -p dbname > dbname.sql 2.导出一个表 mysqldump -u 用户名 -p 数据库名 表名> 导出的文件名 mysqldump -u dbuser -p dbname users> dbname_users.sql 3.导出一个数据库结构 mysqldump -u dbuser -p -d --add-drop-table dbname >d:/dbname_db.sql -d 没有数据 --add-drop-table 在每个create语句之前增加一个drop table 4.导入数据库 常用source 命令 进入mysql数据库控制台，如 mysql -u root -p mysql>use 数据库 然后使用source命令，后面参数为脚本文件(如这里用到的.sql) mysql>source d:/dbname.sql 1. 导入数据到数据库 mysql -uroot -D数据库名 1. 导入数据到数据库中得某个表 mysql -uroot -D数据库名 表名 D:\APMServ5.2.6\MySQL5.1\bin>mysqldump -u root -p erp lightinthebox_tags > ligh

https://www.cnblogs.com/zgx/archive/2011/09/13/2174823.html 1、准备好3台虚机，一台master，两台slave且都安装好mysql 2、主服务器上登录mysql，创建要同步的库及表 mysql> mysql -uroot -p111111; mysql> CREATE DATABASE NAME; mysql> use NAME; mysql> CREATE TABLE T_NAME(id int,name varchar(20)) 3、主服务器新建用户并赋予“REPLICATION SLAVE”的权限(注：mysql8.0版本分三步执行) mysql> create user 'mslave'@'X.X.X.X' identified by 'password' mysql> grant all privileges on *.* to 'mslave'@'X.X.X.X' with grant option; （ grant 权限列表 on 数据库 to 用户名@访问主机） mysql> flush privileges; 其中：X.X.X.X 为从服务器的ip地址 例如 192.168.50.% 表示该网段下的从服务器 *.* 为当前服务器所有库所有表 with grant option

备份和恢复 备份类型： 完全备份，部分备份 完全备份：整个数据集 1 部分备份：只备份数据子集，如部分库或表 完全备份、增量备份、差异备份 2增量备份：仅备份最近一次完全备份或增量备份（如果存在增量）以来变化的数据，备份较快，还原复杂 3差异备份：仅备份最近一次完全备份以来变化的数据，备份较慢，还原简单 注意：二进制日志文件不应该与数据文件放在同一磁盘 备份和恢复 冷、温、热备份 冷备：读写操作均不可进行 温备：读操作可执行；但写操作不可执行 热备：读写操作均可执行 MyISAM：温备，不支持热备 InnoDB：都支持 物理和逻辑备份 物理备份：直接复制数据文件进行备份，与存储引擎有关，占用较多的空间，速度快 逻辑备份：从数据库中“导出”数据另存而进行的备份，与存储引擎无关，占用空间少，速度慢，可能丢失精度 备份时需要考虑的因素 温备的持锁多久 备份产生的负载 备份过程的时长 恢复过程的时长 备份什么 数据 二进制日志、InnoDB的事务日志 程序代码（存储过程、函数、触发器、事件调度器） 服务器的配置文件 备份工具 cp, tar等复制归档工具：物理备份工具，适用所有存储引擎；只支持冷备；完全和部分备份 LVM的快照：先加锁，做快照后解锁，几乎热备；借助文件系统工具进行备份 mysqldump：逻辑备份工具，适用所有存储引擎，温备；支持完全或部分备份

还原一个数据库:mysql -h localhost -u root -p123456 www<c:/www.sql 备份一个数据库:mysqldump -h localhost -u root -p123456 www > d:/www2008-2-26.sql //以下是在程序中进行测试 //$command = "mysqldump --opt -h $dbhost -u $dbuser -p $dbpass $dbname | gzip > $backupFile"; $command="mysqldump -h localhost -u root -p123456 guestbook > guestbook2-29.sql"; system($command); echo "success"; ************************************************ 备份MySQL数据库的命令 mysqldump -hhostname -uusername -ppassword databasename > backupfile.sql 备份MySQL数据库为带删除表的格式 备份MySQL数据库为带删除表的格式，能够让该备份覆盖已有数据库而不需要手动删除原有数据库。 直接将MySQL数据库压缩备份 mysqldump -hhostname

mysql的备份可以分为冷备份和热备份两种。 冷备份：停止数据库服务进行备份 热备份：不停止数据库服务进行备份 mysql的存储引擎为MyIsam时，只支持冷备份，可以直接复制mysql的data目录下的数据库文件。这种方式需要注意mysql版本兼容性问题，同时，为了保证一致性，必须停机或者锁表进行备份。 在恢复时，首先关闭mysql服务，将备份的数据库文件复制到mysql的data目录下，然后启动mysql服务。 mysql的存储引擎为InnoDB时，支持热备份，因为InnoDB引擎是事务性存储引擎，可以根据日志来进行redo和undo，即将备份的时候没有提交的事务进行回滚，已经提交了的事务进行重做。 mysql提供了mysqldump命令用于存储引擎为InnoDB时的备份。 一、备份 mysqldump的语法和选项可以通过命令行输入mysqldump --help查看。 -- 运行帮助命令，查看语法及完整的选项列表 mysqldeump --help 这里因为安装mysql时配置了环境变量，所以可以直接输入命令，否则需要进入mysql安装目录的bin目录下。(例如：C:\soft\MySql\mysql-5.7.22-winx64\bin) mysqldump命令备份指定数据库。 -- 备份指定数据库(demo) mysqldump -u root -h 127.0.0.1