mysql导入sql文件

版本：V1.3 第1章 Hive入门 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上 1.2 Hive的优缺点 1.2.1 优点 1) 操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。 2) 避免了去写MapReduce，减少开发人员的学习成本。 3) Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。 4) Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。 5) Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。 1.2.2 缺点 1．Hive的HQL表达能力有限 （1）迭代式算法无法表达 （2）数据挖掘方面不擅长 2．Hive的效率比较低 （1）Hive自动生成的MapReduce作业，通常情况下不够智能化 （2）Hive调优比较困难，粒度较粗 1.3 Hive架构原理 图6-1 Hive架构原理 1．用户接口：Client CLI（hive shell）、JDBC

第1章 Sqoop简介 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个 Apache 项目。 Sqoop2的最新版本是1.99.7。请注意，2与1不兼容，且特征不完整，它并不打算用于生产部署。 第2章 Sqoop原理 将导入或导出命令翻译成mapreduce程序来实现。 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。 第3章 Sqoop安装 安装Sqoop的前提是已经具备Java和Hadoop的环境。 3.1 下载并解压 1) 下载地址： http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 2) 上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机中 3) 解压sqoop安装包到指定目录，如： $ tar -zxf

数据库引擎介绍 MySQL数据库引擎取决于MySQL在安装的时候是如何被编译的。要添加一个新的引擎，就必须重新编译MYSQL。在缺省情况下，MYSQL支持三个引擎：ISAM、MYISAM和HEAP。另外两种类型INNODB和BERKLEY（BDB），也常常可以使用。如果技术高超，还可以使用MySQL+API自己做一个引擎。下面介绍几种数据库引擎： ISAM：ISAM是一个定义明确且历经时间考验的数据表格管理方法，它在设计之时就考虑到 数据库被查询的次数要远大于更新的次数。因此，ISAM执行读取操作的速度很快，而且不占用大量的内存和存储资源。ISAM的两个主要不足之处在于，它不 支持事务处理，也不能够容错：如果你的硬盘崩溃了，那么数据文件就无法恢复了。如果你正在把ISAM用在关键任务应用程序里，那就必须经常备份你所有的实 时数据，通过其复制特性，MYSQL能够支持这样的备份应用程序。 MyISAM：MyISAM是MySQL的ISAM扩展格式和缺省的数据库引擎。除了提供ISAM里所没有的索引和字段管理的大量功能，MyISAM还使用一种表格锁定的机制，来优化多个并发的读写操作，其代价是你需要经常运行OPTIMIZE TABLE命令，来恢复被更新机制所浪费的空间。MyISAM还有一些有用的扩展，例如用来修复数据库文件的MyISAMCHK工具和用来恢复浪费空间的 MyISAMPACK工具

数据库引擎介绍 MySQL数据库引擎取决于MySQL在安装的时候是如何被编译的。要添加一个新的引擎，就必须重新编译MYSQL。在缺省情况下，MYSQL支持三个引擎：ISAM、MYISAM和HEAP。另外两种类型INNODB和BERKLEY（BDB），也常常可以使用。如果技术高超，还可以使用MySQL+API自己做一个引擎。下面介绍几种数据库引擎： ISAM：ISAM是一个定义明确且历经时间考验的数据表格管理方法，它在设计之时就考虑到 数据库被查询的次数要远大于更新的次数。因此，ISAM执行读取操作的速度很快，而且不占用大量的内存和存储资源。ISAM的两个主要不足之处在于，它不 支持事务处理，也不能够容错：如果你的硬盘崩溃了，那么数据文件就无法恢复了。如果你正在把ISAM用在关键任务应用程序里，那就必须经常备份你所有的实 时数据，通过其复制特性，MYSQL能够支持这样的备份应用程序。 MyISAM：MyISAM是MySQL的ISAM扩展格式和缺省的数据库引擎。除了提供ISAM里所没有的索引和字段管理的大量功能，MyISAM还使用一种表格锁定的机制，来优化多个并发的读写操作，其代价是你需要经常运行OPTIMIZE TABLE命令，来恢复被更新机制所浪费的空间。MyISAM还有一些有用的扩展，例如用来修复数据库文件的MyISAMCHK工具和用来恢复浪费空间的 MyISAMPACK工具

一、连接服务器查看数据库 使用连接工具（xshell6等）连接到数据库所在服务器，执行命令查询需要导出的数据库 1.输入数据库管理员账号密码进入控制台：mysql -uroot -p123456 #root为管理员账号，123456为密码 2.执行命令：show databases; 查询数据库 二、导出 1 使用MySQL自带的mysqldump的命令进行导出：mysqldump -uroot -p123456 -R -E gd_base >/u01/gd_base.sql 2 执行导出命令后，在服务器对应目录下可找到导出的sql文件 3 导出命令详解 MySQL使用MySQL自带的mysqldump的命令进行导出时，可进行全库导出和单个数据库导出。相关命令解析如下： 全库导出：mysqldump -u用户名 -p密码 -R -E 数据库1 数据库2... > 保存路径/文件名.sql 单个数据库导出：mysqldump -u用户名 -p密码 -R -E 数据库 > 保存路径/文件名.sql（红色字体替换成对应的数据库信息；用户名：一般指“root”；密码：用户名对应的密码，数据库：需要导出的数据库名称，多数据库则用空格隔开；保存路径/文件名：导出的路径和生成的文件名；-R -E：导出所有(结构&数据&存储过程&函数&事件&触发器)） 三、导入 1

MyBatis 是一款优秀的持久层框架，它支持定制化 SQL、存储过程以及高级映射。MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集。MyBatis 可以使用简单的 XML 或注解来配置和映射原生信息，将接口和 Java 的 POJOs(Plain Ordinary Java Object,普通的 Java对象)映射成数据库中的记录 （一）mybatis环境搭建 使用idea新建一个maven工程，如下图 然后在pom文件里面导入相关的包：mybatis，mysql-connector-java，打印日志相关的log4j，和调试用的testng/junit。注意如果需要连接的mysql是8以上的版本，那么导入的mysql-connector-java这个jar包也需要导入8以上的，pom文件如下图： 此时mybatis环境搭建第一步导包就已经完成了 来源： https://www.cnblogs.com/qingyangqiang/p/11594844.html

离线sqoop sqoop hadoop hive flume 01- Sqoop–软件介绍 sqoop专门用来做RDBMS数据和Hadoop数据相互迁移的一个工具。 Apache Sqoop 是在 Hadoop 生态体系和 RDBMS 体系之间传送数据的一种工具。来自于 Apache 软件基金会提供。sqoop.apache.org Sqoop 工作机制是将导入或导出命令翻译成 mapreduce 程序来实现。在翻译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制。 ​ Import：数据导入。RDBMS----->Hadoop Export：数据导出。Hadoop---->RDBMS 02- Sqoop–安装部署 查看服务器内存 free -h 查看磁盘大小 df -h 1.3G 200M 清理缓存 echo 1 >/proc/sys/vm/drop_caches 安装 sqoop 的前提是已经具备 java 和 hadoop 的环境。 最新稳定版： 1.4.6 配置文件修改： cd $SQOOP_HOME /conf mv sqoop-env-template.sh sqoop-env.sh vi sqoop-env.sh export HADOOP_COMMON_HOME = /export/servers/hadoop

复习 """ 1、数据库导入 文件存储数据、多个文件放在一个文件夹中统一管理、管理的系统 2、数据库的分类 关系非关系：mysql | redis 硬盘内存：mysql | redis sql与nosql：mysql | redis 3、mysql安装与使用 数据库的基本操作：create、show、use、drop 表的基本操作：create、show、desc、drop 记录的基本操作：insert into、delete from、update set、select from """ 今日内容 """ 1、数据库与表的剩余操作 编码配置、引擎介绍 2、数据库字段的操作 3、数据库的数据类型 4、数据库字段的约束条件 """ 数据库配置 # 通过配置文件统一配置的目的：统一管理 服务端(mysqld) 、客户端(client) # 配置了 mysqld(服务端) 的编码为utf8，那么再创建的数据库，默认编码都采用utf8 # 配置流程 # 1）在mysql安装根目录下，创建配置文件：my.ini # mac下配置文件名叫 my.cnf # 2）设置配置文件内容并保存 [mysqld] # 服务器配置 port=3306 # 可以修改数据库默认端口(如果数据库端口被其他软件占用) character-set-server=utf8 # 编码格式 collation-server

新兵训练营系列课程——海量数据存储基础 2015年8月12日 09:24 阅读 16831 微博平台研发作为微博的底层数据及业务支撑部门，已经经历了 5 年的发展历程。伴随着从数据及业务暴发式增长，我们在海量数据存储方面遭遇了诸多挑战，与此同时也伴随着丰富经验的积累。 本次新兵训练营，受众在于应届毕业生，目的在于让新同学系统化并且有针对性的了解平台的核心技术及核心业务，以使新同学在新兵训练营结束后，能够对平台的底层架构与业务有一定的了解。 本文主要面向新同学介绍平台的核心技术之一——海量数据存储，主要介绍在海量数据存储在大规模分布式系统下的架构变迁与设计。 课程大纲： 1. 课程目标 2. 存储服务概述 3. MySQL 与 MySQL 分布式架构设计 4. Redis 与 Redis 分布式架构设计 5. 思考与讨论 一、课程目标 1. 了解存储服务概况，以及RDBMS及NoSQL的差异 2. 理解MySQL、Redis、HBase基本实现机制、特性、适用场景 3. 理解几种存储产品的大规模分布式服务方案 4. 学会使用平台的MySQL、 Redis client组件 5. 理解对于MySQL、Redis分布式系统设计想要注意的问题 6. 了解平台几种典型案例 7. 理解几种存储产品在平台的定制修改与名词术语 二、存储服务概述 1. 关系型数据库是基于 实体关系模型（Entity

作者：杨涛涛 本文介绍 MySQL8.0 shell 子模块 Util 的两个导入特性 importTable/import_table(JS和python 版本的命名差异)、importJson/import_json的使用方法。其中import_table 是通过传统 MySQL 协议来通信，Import_json 是通过 X 插件协议来通信。 MySQL 一直以来提供导入文件 SQL 命令 load data infile（单线程）以及对应的可执行文件 mysqlimport（多线程），比如我导入 100W 行示例数据到表 ytt.tl1, 花了 24 秒。这个已经是 MySQL 默认导入来的最快的。 [root@mysql-dev ytt]# time mysqlimport --login-path=ytt_master --fields-terminated-by=, --use-threads=4 ytt /var/lib/mysql-files/tl1.csv ytt.tl1: Records: 1048576 Deleted: 0 Skipped: 0 Warnings: 0 real 0m24.815s user 0m0.013s sys 0m0.031s 那我们现在看下 mysqlimport 工具的升级版，mysqlshell 的 util 工具集