mysql数据库

　　本文对Hive+mysql的安装做一个总结，后期会把Hive的一些资料放上来： 1.安装目标： 　　Hive搭配远程Mysql 2.要点总结： 　　1).Mysql的配置： 　　　　假如Hive以hive用户连接Mysql，以root用户登录Mysql： 　　　　　　drop user hive @'%' ; 　　　　　　grant all on db.* to hive@'%' identified by '密码';(使用户可以远程连接Mysql) 　　　　　　grant all on db.* to hive @'localhost' identified by '密码';(使用户可以本地连接Mysql) 　　　　　　flush privileges; 　　2).Hive的安装： 　　　　a).安装包和环境的匹配： 　　　　　　本人安装的是apache hadoop-1.0.x+Hive0.8。 　　　　b).Hive安装 　　　　　　解压安装包，并在~/.bash_profile中添加HIVE_HOME环境变量，同时修改Path； 　　　　　　从mysql官网下载自己喜欢version的mysql-connector-java-version-bin.jar，放到$HIVE_HOME/lib下； 　　　　　　在$HIVE_HOME/conf下把hive-site.xml

公众号从开始推文到现在也有一些时日了， 感谢一直以来，各位小伙伴们对民工哥公众号的关注与支持， 好多小伙伴们一直以都非常热心帮助转发、点赞、留言加以支持，再次感谢！！2018年也将过去一大半了， 民工哥仍然会坚持自己的初衷，持续输出一系列相关的干货文章（不仅限于运维，更多侧重于各类知识点、技术面的扩充，如：数据库、高并发、大流量、架构类等）。 目前呢，由于文章较多，对于小伙伴的阅读与查找比较不太方便，因些谨以此文将前面的文章按照一定的分类加改整理出来，方便大家后续查找与阅读。 同时也欢迎小伙伴们转发分享与推荐（ 此篇文章足足整理了4小时 ）！整理不易，如有帮助，请点赞，转发支持一下，各位老铁们。 公众号相关： 民工哥的十年故事续集：杭漂十年，今撤霸都！ 重磅消息｜民工哥公众号更名啦......... 2017年目录大全： 精心整理｜公众号文章目录大全 （一） 注：此目录整理文章截止时间为2018年3月19号 1、Docker容器系列文章 [容器技术] Docker容器技术入门（一） [ 容器技术]Docker容器技术入门（二） 这20个Docker Command，有几个是你会的？ Docker，你到底知道多少？ 容器技术｜Docker三剑客之Compose 容器技术｜Docker三剑客之docker-machine 打造高逼格、可视化的Docker容器监控系统平台 2

在 mysql中数据文件存放于在my.cnf中datadir指定的路径，使用的表引擎不同产生的文件格式、表文件个数也会有所差异。mysql的表引擎有 多种，表的扩展名也不一样，如innodb用“ .ibd”，archive用“.arc ”，csv用“.csv”等。 myisam表引擎 myisam表会产生三个文件：MYI、MYD、frm文件 frm文件： 主要存放表的元数据(meta)，包括表结构定义信息等。不论是哪个表引擎都会有一个frm文件，存放在数据库的数据目录下。 .MYI文件（索引文件）： 主要存放myisam的索引信息可以被cache的内容主要源于 .MYI文件中，每个myisam表对应一个 .myi文件，存放的位置与 .frm 、MYI一样。 innodb引擎 使用innodb引擎时，需要理解独立表空间、共享表空间。 独立表空间：每个表都会生成以独立的文件方式来存储，每个表都一个.frm的描述文件，还有一个.ibd文件。其中这个文件包括了单独一个表的数据及索引内容，默认情况下它的存储在mysql指定的目录下。 独立表空间优缺点： 优点： 每个表都有 自己独立的表空间；每个表的数据和索引都会存储在各个独立的表空间中；可以实现 单表 在不同的数据进行迁移；表空间可以回收（除了drop table操作，表空不能自己回收）；drop table 操作自动回收表空间

1.准备工作 下载mysql的最新免安装版本mysql-noinstall-5.1.53-win32.zip，解压缩到相关目录，如：d:\\ mysql-noinstall-5.1.53-win32。这个就是mysql的根目录了。 2.配置 在根目录下有几个文件如下： my-small.ini （这是针对一个小内存（〈= 64MB）的系统，MySQL 只会被时不时地用一下，很重要的是 mysqld 守护进程不会使用很多资源。） my-medium.ini （这是针对一个小内存（32M- 64M）系统的，MySQL 扮演了一个比较重要的部分，或者当系统达到 128M 后 MySQL 被用来与其它程序（如一个 Web 服务器）一起使用。） my-large.ini （这是针对一个内存 = 512M 的大系统，系统主要运行 MySQL） my-huge.ini （这是针对一个内存为 1G – 2G 的大系统，系统主要运行 MySQL） my-innodb-heavy-4G.ini （这是一个针对 4G 内存系统（主要运行只有 InnoDB 表的 MySQL 并使用几个连接数执行复杂的查询）的 MySQL 配置文件例子） 对应自己的配置，自己选择下，其他的就删除吧。然后重命名成my.ini。编辑my.ini，在[mysqld]节点下增加如下几句： basedir= D:/mysql

初始化文件 首先，MySQL的字符集问题主要是两个概念，一个是Character Sets，一个是Collations，前者是字符内容及编码，后者是对前者进行比较操作的一些规则。这两个参数集可以在 数据库 实例、单个数据库、表、列等四个级别指定。对于使用者来说，一般推荐使用utf8编码来 存储 数据。而要解决乱码问题，不单单是MySQL数据的存储问题，还和 用户 的程序 文件 的编码方式、用户程序和MySQL数据库的连接方式都有关系。 在MySQL5.5版本下，在my.cnf (my.ini)中指定数据库端字符集为UTF8，其中init_connect参数的作用是给每个普通用户的连接自动设置字符集（但是要注意的是，这个命令对具有super权限的用户是不生效的）。 [client] # 修改客户端默认字符编码格式为utf8 default-character-set = utf8 [mysqld] # 修改服务器端默认字符编码格式为utf8 character-set-server = utf8 # 在每个普通用户连接上来的时候都会触发执行 init_connect = 'SET NAMES GBK' 在客户端中查看配置生效 mysql> show variables like '%char%'; +--------------------------+---------------

1.通过NuGet包管理器安装：EntityFramework6.1.3、MySql.Data.Entity6.9.9 2.添加新建项→ADO.NET实体对象模型（命名MyContext）→空CodeFirst模型。该模型会自动在app.config中添加连接字符串 <connectionStrings> <add name="MyContext" connectionString="data source=(LocalDb)\MSSQLLocalDB;initial catalog=CodeFirstDemo.MyContext;integrated security=True;MultipleActiveResultSets=True;App=EntityFramework" providerName="System.Data.SqlClient" /> </connectionStrings> View Code 3.启用迁移。 在控制台中输入Enable-Migrations(启动迁移)。注意：默认项目一定要是模型所在的项目。 此时项目中会自动生成Migration文件夹 4.为迁移起个名字 在控制台输入：Add-Migration InitModel。(InitModel:为本次迁移起个名字） 此时在项目的Migration文件夹中会自动生成迁移记录文件，文件名以

1 下载一个新的ABP模板项目 http://www.aspnetboilerplate.com/ 2 在Windows上安装MySql, 这里不多说，我用的是mysql-installer-5.5.21.0 3 打开模板项目，还原NuGet包先 打开项目后，在“程序包管理器控制平台”中选择*.EntityFramwork以及*.Web项目（*号为你的项目名称前缀） Install-Package MySql.Data.Entity // Install-Package MySql.Data.Entity - 安装MySql.Data.Entity组件的命令 安装Web项目时失败，错误提示信息 我用的VS2015，后来在一篇英文帖子里发现方法： 1）、在资源管理器中打开你的项目所在的文件夹。用记事本打开packages.config。查找并移除损坏包名称的行。 2）、打开解决方案所在的文件夹。打开文件夹“packages”。查找带有损坏包的文件夹并将其删除。 重新安装，提示成功 4 修改web.config文件 <entityFramework codeConfigurationType="MySql.Data.Entity.MySqlEFConfiguration, MySql.Data.Entity.EF6"> <defaultConnectionFactory type=

第一、Otter 基于数据库增量日志解析，准实时同步到本机房或异地机房的Mysql/Oralce数据库，一个分布式数据库同步系统； 基本工作原理图如下： 基于Canal开源产品，获取数据库增量日志数据； 典型管理系统架构，manager(WEB 管理) + node(工作节点) manager运行时推送同步配置到node节点； node节点将同步状态反馈到manager上； 基于zookeeper，解决分布式状态调度的，允许多node节点之间协同工作； 能解决什么？ 1.异构库同步 mysql -> mysql/oracle （目前开源版本只支持mysql增量，目标库可以是mysql或者是oracle，取决于canal的功能） 2.单机房同步（数据库之间RTT < 1ms） 数据库版本升级； 数据表迁移； 异步二级索 来源： CSDN 作者： 杨鑫newlfe 链接： https://blog.csdn.net/u012965373/article/details/104563852

推荐用mixed，默认使用statement，基于上下文。 MySQL Replication复制可以是基于一条语句(Statement level)，也可以是基于一条记录(Row level)，可以在MySQL的配置参数中设定这个复制级别，不同复制级别的设置会影响到Master端的bin-log记录成不同的形式。 Row Level：日志中会记录成每一行数据被修改的形式，然后在slave端再对相同的数据进行修改。 优点：在row level模式下，bin-log中可以不记录执行的sql语句的上下文相关的信息，仅仅只需要记录那一条记录被修改了，修改成什么样了。所以row level的日志内容会非常清楚的记录下每一行数据修改的细节，非常容易理解。而且不会出现某些特定情况下的存储过程，或function，以及trigger的调用和触发无法被正确复制的问题。 缺点：row level下，所有的执行的语句当记录到日志中的时候，都将以每行记录的修改来记录，这样可能会产生大量的日志内容，比如有这样一条update语句：update product set owner_member_id = ‘b’ where owner_member_id = ‘a’，执行之后，日志中记录的不是这条update语句所对应额事件(MySQL以事件的形式来记录bin-log日志)

MySQL数据库的一些操作： SET FOREIGN_KEY_CHECKS = 0 ; -- ---------------------------- -- Table structure for employee_copy -- ---------------------------- DROP TABLE IF EXISTS ` employee_copy ` ; CREATE TABLE ` employee_copy ` ( ` id ` int ( 11 ) NOT NULL AUTO_INCREMENT , ` last_name ` varchar ( 50 ) DEFAULT NULL , ` email ` varchar ( 50 ) DEFAULT NULL , ` gender ` char ( 1 ) DEFAULT NULL , ` age ` int ( 11 ) DEFAULT NULL , ` birthday ` date DEFAULT NULL , PRIMARY KEY ( ` id ` ) ) ENGINE = InnoDB AUTO_INCREMENT = 19 DEFAULT CHARSET = utf8 ; -- ---------------------------- -- Records of employee_copy --