mysql导入sql文件

【巨杉数据库SequoiaDB】巨杉Tech | 巨杉数据库数据高性能数据导入迁移实践

泪湿孤枕 提交于 2019-12-05 19:46:05
SequoiaDB 一款自研金融级分布式数据库产品,支持标准SQL和分布式事务功能、支持复杂索引查询,兼容 MySQL、PGSQL、SparkSQL等SQL访问方式。SequoiaDB 在分布式存储功能上,较一般的大数据产品提供更多的数据切分规则,包括:水平切分、范围切分、主子表切分和多维切分方式,用户可以根据不用的场景选择相应的切分方式,以提高系统的存储能力和操作性能。 为了能够提供简单便捷的数据迁移和导入功能,同时更方便地与传统数据库在数据层进行对接,巨杉数据库支持多种方式的数据导入,用户可以根据自身需求选择最适合的方式加载数据。 本文主要介绍巨杉数据库集中常见的高性能数据导入方法,其中包括巨杉工具矩阵中的 Sdbimprt导入工具,以及使用SparkSQL, MySQL和原生API 接口进行数据导入,一共四种方式。 Sdbimprt工具导入 sdbimprt 是 SequoiaDB 的数据导入工具,是巨杉数据库工具矩阵中重要组成之一,它可以将 JSON 格式或 CSV 格式的数据导入到 SequoiaDB 数据库中。 关于工具说明与参数介绍,请参考:http://doc.sequoiadb.com/cn/sequoiadb-cat_id-1479195620-edition_id-0。 一、示例 下面简单介绍一下如何使用 sdbimprt 工具将 csv 文件导入到

linux环境安装部署mark

余生颓废 提交于 2019-12-05 18:30:20
以下linux环境的安装部署,其中碰到不少坑,这里MARK下。 linux运营一个网站,需要安装的东西基本如下: =============================================================================== 1.安装JDK =============================================================================== 安装jdk首先要下载: wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/7u71-b14/jdk-7u71-linux-x64.rpm 这是用wget命令来下载的 如果之前已经安装了就先卸载,卸载OpenJDK,执行以下操作: [root @admin local]# rpm -e --nodeps tzdata-java-2012c-1.el6.noarch [root @admin local]# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.45.1

mysql主从复制

梦想的初衷 提交于 2019-12-05 18:07:54
mysql一主一从 主从复制工作过程 mysql主从复制依赖于二进制日志;用户发送请求更新数据,数据库更新后生成二进制日志,主节点把新生成的二进制日志通过dump线程通过网络发送给从节点;从节点的io thread负责接收二进制日志,把二进制日志的内容放到中继日志中(relay log);从节点通过sql thread线程执行中继日志中的sql语句,实现更新本机的数据库数据 主从复制原理图如下: 主节点配置: [root@centos7 ~]# vim /etc/my.cnf [mysqld] innodb-file-per-table #指定存储引擎 server-id=7 #设置区分主从的id;mysql配置文件不区分"_"和"-" log-bin #主节点必须启用二进制日志,主从复制基于二进制日志 [root@centos7 ~]# systemctl retart mariadb [root@centos7 ~]# mysql MariaDB [(none)]> grant replication slave on *.* to repluser@'192.168.38.%' identified by 'centos'; #创建并授权一个账号,用于从节点连接主节点复制数据用,授权权限为从节点复制 从节点配置 [root@localhost ~]$ vim /etc/my

MySQL--MySQL WorkBench--图形交互客户机的下载,安装与介绍

前提是你 提交于 2019-12-05 17:46:25
我们发现安装完以后的MySQL是通过cmd来控制的,这样的话就非常的不方便了. 因为我们不能方便地查询其他功能. 在<MySQL必知必会>这本书中介绍到了两种图形交互客户机,分别是MySQL Administrator和MySQL Query Browser, 这两种图形交互客户机已经停止更新了,甚至是被淘汰了. 因此,我们需要下载MySQL的图形交互客户机MySQL WorkBench,这款的话还在时刻更新当中. 下面我来介绍怎么下载与安装MySQL WorkBench. 一.下载 1.地址: https://dev.mysql.com/downloads/workbench/ (点击网址进去,直接下载就可以) 二.安装 因为这是客户端,所以直接安装就行,没有任何难度. 三.介绍 1.打开桌面,就进入了登陆界面 点击账号,就可以登陆MySQL进行操作了. 2.接着,打开主界面进行操作,主界面如下图: (按照图片中的序号一个一个看,大概了解界面的布局) 3.首先先介绍菜单栏的内容 Files Edit 1 New model 建立新的数据库 1.主要是编辑MySQL的一些操作 2.New Query Tab 建立新的查询选项卡 2.比较简单,就不细说了 3.Open modl 打开以前建立的数据库 4.Open SQL Script 打开SQL脚本文件 View Query 1

eclipse 连接 MySQL 数据库的基本操作

生来就可爱ヽ(ⅴ<●) 提交于 2019-12-05 17:23:05
eclipse 连接 MySQL 数据库的基本操作 java 是面向对象的语言 DB是sql语言,即结构化查询语言 1. jar文件 java代码要想操作数据库需要引入jar文件 jar文件是eclipse连接数据库的驱动文件. jar文件可在网上自行搜索下载. 2 eclipse中导入jar包 eclipse中新建项目,直接把jar包复制到项目中 然后对jar包进行解压操作, 然后项目里新建class文件. 3.加载驱动 主函数里编写: Class.forName("com.mysql.jdbc.Driver"); 4.获取连接数据库的对象 Connection conn = DriverManager .getConnection ( "jdbc:mysql://localhost:3306/company" , "root" , "root" ) ; 括号里面的分别是连接数据库的路径,数据库用户名和密码. 解释下路径: jdbc就是协议的意思 mysql为连接的数据库,当然使用oracle时输入orac localhost 为本地连接的意思,若要连接其他计算机数据库需要输入该计算机的ip地址 3306为端口号 注意Connection要进行导包操作. 5.创建执行java的sql语句对象 Statement st = conn .createStatement () ;

Centos7.3安装Tomcat和MySQL并部署JavaWeb应用

老子叫甜甜 提交于 2019-12-05 12:38:56
CentOS版本查看: rpm -q centos-release 一、Tomcat安装 1.下载 方式一:我在/home目录下安装 wget http://mirrors.hust.edu.cn/apache/tomcat/tomcat-8/v8.5.49/bin/apache-tomcat-8.5.49.tar.gz 安装完会生成一个压缩包 方式二: tomcat-8.5.49 下载压缩包到文件夹 2.解压 tar -zxvf apache-tomcat-8.5.49.tar.gz 解压完后会在当前目录生成一个文件夹 若觉得名字太长,可以改个名字 #更改文件名 mv apache-tomcat-8.5.49 tomcat #删除安装包 rm -rf apache-tomcat-8.5.49.tar.gz 3.开启防火墙访问端口 #查看防火墙状态 firewall-cmd --state #开启防火墙 systemctl start firewalld #开启防火墙访问端口 --zone为作用域,--permanent为永久设置,没有此参数则重启后需重新设置 firewall-cmd --permanent --zone=public --add-port=8080/tcp #重新加载防火墙配置 firewall-cmd --reload #查看端口是否开放 firewall

MySQL学习笔记----MYSQL常用命令.txt

泄露秘密 提交于 2019-12-05 11:27:02
目录: 一 MySQL命令格式 二 数据库管理 三 数据库表管理、 四 对表 查询/排序/插入/更新/删除数据 五 SQL导入导出数据命令 六 用户管理 ---------------------------------------------------------------------------------------------------- 一 MySQL命令格式 1 要求mysql服务器告诉你它的版本号和当前日期 mysql> select version(),current_date(); 2 多行语句:一条命令可以分成多行输入,直到出现分号“;”为止 mysql> select -> USER() -> , -> now() ->; 注意中间的逗号和最后的分号的使用方法。 3 一行多命令 输入如下命令: mysql> SELECT USER(); SELECT NOW(); 注意中间的分号,命令之间用分号隔开。 4命令的取消 当命令输入错误而又无法改变(多行语句情形)时,只要在分号出现前就可以用 c来取消该条命令 mysql> select -> user() -> c mysql> -------------------------------------------------------------------------------------------

mysql 的sql 语句

南笙酒味 提交于 2019-12-05 04:30:10
(一)mysql客户端命令 管理: \h help : 查看帮助 \G:格式化查询 \s status:查看数据库的状态信息 \ source:导入sql文件 \u use:切换数据库 \! system:在数据库中使用系统命令 (二)mysqladmin客户端管理 #查看MySQL进程是否存活 [root@db01 ~]# mysqladmin ping mysqld is alive #查看mysql信息 [root@db01 ~]# mysqladmin status #关闭mysql进程 [root@db01 ~]# mysqladmin shutdown #查看MySQL当前参数 [root@db01 ~]# mysqladmin variables #库外创建数据库 [root@db01 ~]# mysqladmin create aaa #库外删除数据库 [root@db01 ~]# mysqladmin drop aaa #刷新binlog日志 [root@db01 ~]# mysqladmin flush-log #修改密码 [root@db01 ~]# mysqladmin password '123' (三)sql语句 1.DDL 数据定义语言 开发规范:库名,表名 都要小写 ,要不然会误删除数据的 1.库 create(创建) 查看创建的命令 mysql>

linux常用环境的安装

你说的曾经没有我的故事 提交于 2019-12-05 03:05:28
安装linux和安装虚拟机略过,直接进行环境的安装 1,安装JDK java环境变量: 系统变量: /etc/profile 用户环境变量: .bash_profile(当前用户的profile) 将文件上传到root文件夹下 tar -zxvf jdk-8u171-linux-x64.tar.gz(解压) 此次用的是解压包的方式进行配置, 还可以通过rpm(类似于java的.exe文件),还是需要配置,通过搜索安装文件在10中可以看到,在环境变量中配置 yum安装,自动化配置,什么都不用做,只需要执行命令,直接用 mv jdk1.8.0_171/ /usr(移动到usr文件夹下) vim .bash_profile(配置环境变量) source .bash_profile(刷新配置) 1 export JAVA_HOME=/usr/jdk1.8.0_171 2 export PATH=$JAVA_HOME/bin:$PATH 点击查看java环境配置 然后用java或者javac测试一下配置是否成功 查询一下java安装的位置,以方便后期进行卸载软件 1 [root@localhost ~]# find / -name "java" 2 /etc/pki/ca-trust/extracted/java 3 /etc/pki/java 4 /usr/jdk1.8.0_171/bin

第九章 MySQL的备份和恢复

不羁的心 提交于 2019-12-05 00:42:13
一.备份的原因 运维工作的核心简单概括就两件事: 1)第一个是保护公司的数据. 2)第二个是让网站能7*24小时提供服务(用户体验)。 1)备份就是为了恢复。 2)尽量减少数据的丢失(公司的损失) 二.备份的类型 冷备份: 这些备份在用户不能访问数据时进行,因此无法读取或修改数据。这些脱机备份会阻止执行任何使用数据的活动。这些类型的备份不会干扰正常运行的系统的性能。但是,对于某些应用程序,会无法接受必须在一段较长的时间里锁定或完全阻止用户访问数据。 温备份: 这些备份在读取数据时进行,但在多数情况下,在进行备份时不能修改数据本身。这种中途备份类型的优点是不必完全锁定最终用户。但是,其不足之处在于无法在进行备份时修改数据集,这可能使这种类型的备份不适用于某些应用程序。在备份过程中无法修改数据可能产生性能问题。 热备份: 这些动态备份在读取或修改数据的过程中进行,很少中断或者不中断传输或处理数据的功能。使用热备份时,系统仍可供读取和修改数据的操作访问。 三.备份的方式 1.逻辑备份: 基于SQL语句的备份 1)binlog 2)into outfile mysql> select * from world.city into outfile '/tmp/world_city.data'; 3)mysqldump 4)replication 5)mysqlbinlog 2.物理备份: