数据库主键

数据库查重语句

风格不统一 提交于 2019-11-28 22:30:21
例:ABCD 四个字段为联合主键,不允许为空也不允许重复,现有一批数据需要导入到这张表中,导入的时候报主键冲突,明显是导入的数据中有重复数据,现就导入的数据去重,步骤如下: 1、建一张字段与待导入的数据字段相同的临时表,什么约束都不要设置,主键也不设置 2、把数据导入到该临时表中 3、运行下面语句查出重复的数据,然后把重复的数据删掉。 select A,B,C,D,count(A) from table group by A,B,C,D having count(A)>1; 如上图所示,查出的这三条数据各有两条主键全部重复,在数据中找到这些数据各删除一条就达到了去重的目的。 来源: https://my.oschina.net/lylyg/blog/3099410

Mysql优化-索引

假如想象 提交于 2019-11-28 21:49:01
1. 索引的本质   MySQL官方对索引的定义为:索引是帮助MySQL高效获取数据的数据结构。   数据库查询是数据库的最主要功能之一。我们都希望查询数据的速度尽可能的快,因此 数据库系统的设计者会从查询算法的角度进行优化。最基本的查询算法是顺序查找(liner search),这种复杂度为o(n)的算法在数据量大时,速度很慢。但是我们有更优秀的查找算法,例如二分查找(binary search)、二叉树查找(binary tree search)等。如果稍微分析一下会发现,每种查找算法都只能用于特定的数据结构之上,例如二分查找要求被检索数据有序,而二叉查找只能应用于二叉查找树上,但是数据本身的组织结构不可能满足各种数据结构(例如,一般不可能同时将两列都按顺序进行组织),所以在数据之外,数据库系统还维护着满足特定查找算法的数据结构,这些数据结构以某种方式引用(指向)数据,这样就可以在这些数据结构上实训高级查找算法。这种数据结构,就是索引。   为了加快查询速度,可以维护一个二叉查找树,每个节点分别包含索引键值和一个指向对应数据记录物理地址的指针,这样就可以运用二叉查找在o(logN)的复杂度内获取到相应数据。   虽然这是一个货真价实的索引,但是实际的数据库系统几乎没有使用二叉查找树实现的。。。 二叉排序树   二叉排序树的排序规则如下:   1)若左子树不空

Hibernate4之JPA规范配置详解

∥☆過路亽.° 提交于 2019-11-28 21:14:07
@Table Table用来定义entity主表的name,catalog,schema等属性。 属性说明: name:表名 catalog:对应关系数据库中的catalog schema:对应关系数据库中的schema UniqueConstraints:定义一个UniqueConstraint数组,指定需要建唯一约束的列.UniqueConstraint定义在Table或SecondaryTable元数据里,用来指定建表时需要建唯一约束的列。下面是指定2个字段要唯一约束. Example: @Entity @Table( name="EMPLOYEE", uniqueConstraints= @UniqueConstraint(columnNames={"EMP_ID", "EMP_NAME"}) ) public class Employee { ... } @ID 和 @GeneratedValue 通过annotation来映射hibernate实体的,基于annotation的hibernate主键标识为@Id, 其生成规则由@GeneratedValue设定的.这里的@id和@GeneratedValue都是JPA的标准用法, JPA提供四种标准用法,由@GeneratedValue的源代码可以明显看出. @Target({METHOD, FIELD})

14 个实用的数据库设计技巧

孤者浪人 提交于 2019-11-28 20:30:59
点击上方“ 后端技术精选 ”,选择“置顶公众号” 技术文章第一时间送达! 作者:echozh juejin.im/post/5d5b4c6951882569eb570958 原始单据与实体之间的关系 主键与外键 基本表的性质 范式标准 通俗地理解三个范式 要善于识别与正确处理多对多的关系 主键PK的取值方法 正确认识数据冗余 E--R图没有标准答案 视图技术在数据库设计中很有用 中间表、报表和临时表 完整性约束表现在三个方面 防止数据库设计打补丁的方法是“三少原则” 提高数据库运行效率的办法 1. 原始单据与实体之间的关系 可以是一对一、一对多、多对多的关系。在一般情况下,它们是一对一的关系:即一张原始单据对应且只对应一个实体。在特殊情况下,它们可能是一对多或多对一的关系,即一张原始单证对应多个实体,或多张原始单证对应一个实体。这里的实体可以理解为基本表。明确这种对应关系后,对我们设计录入界面大有好处。 〖例1〗:一份员工履历资料,在人力资源信息系统中,就对应三个基本表:员工基本情况表、社会关系表、工作简历表。这就是“一张原始单证对应多个实体”的典型例子。 2. 主键与外键 一般而言,一个实体不能既无主键又无外键。在E—R 图中, 处于叶子部位的实体, 可以定义主键,也可以不定义主键(因为它无子孙), 但必须要有外键(因为它有父亲)。 主键与外键的设计,在全局数据库的设计中

SQL基础-建表

你说的曾经没有我的故事 提交于 2019-11-28 19:43:01
一、建表 1、创建表的两种方式 *客户端工具 *SQL语句 2、使用SQL语句创建表 表名和字段名不能使用中文;(一般为字母开头,字母、数字、下划线组成的字符串); CREATE TABLE关键字后跟上表名,字段名在括号中列出且以逗号分隔; 最后以分号结尾; 不区分大小写,但最好关键字都大写;按一定的规则缩进; 每个字段都需要设置数据类型; 常用的数据类型有以下几个大类: 字符类 数值类 日期和时间类 二进制类 3、常见的数据类型 字符串数据类型 数据类型的两个作用: 存储什么数据 如何储存 字符串数据类型: 姓名 身份证 家庭地址 电话号码 书名 电脑型号 所有的文字都是字符,都可以使用字符串数据类型来存储! 定长字符串: 长度固定的字符串类型,其长度是在创建表时指定的。比如邮政编码‘510623’,是6位的字符。 如果向一个6位的定长字符串类型的字段,只插入2位字符,则数据库默认会在2个字符末尾补4个空格,以补足6位。 不定长字符串: 长度不固定的字符串类型,创建表时指定一个最大长度,或不指定长度。比如姓名,有2位、3位、4位甚至更长的。 比如:‘冯巩’、‘周杰伦’、‘仓央嘉措’、‘库尔班-热合曼’。 定长字符串优缺点: 优点:处理性能高,产生较少的存储碎片 缺点:占用存储多 不定长字符串优缺点: 优点:占用存储少 缺点:处理性能低,产生较多存储碎片 CHAR(10

mysql索引

会有一股神秘感。 提交于 2019-11-28 18:22:06
/* 所有MySQL列类型可以被索引。根据存储引擎定义每个表的最大索引数和最大索引长度。 所有存储引擎支持每个表至少16个索引,总索引长度至少为256字节。大多数存储引擎有更高的限制。 索引的存储类型目前只有两种(btree和hash),具体和存储引擎模式相关: MyISAM btree InnoDB btree MEMORY/Heap hash,btree 默认情况MEMORY/Heap存储引擎使用hash索引 MySQL的btree索引和hash索引的区别 hash 索引结构的特殊性,其检索效率非常高,索引的检索可以一次定位,不像btree(B-Tree)索引需要从根节点到枝节点,最后才能访问到页节点这样多次的IO访问,所以 hash 索引的查询效率要远高于 btree(B-Tree) 索引。 虽然 hash 索引效率高,但是 hash 索引本身由于其特殊性也带来了很多限制和弊端,主要有以下这些。 (1)hash 索引仅仅能满足=,<=>,IN,IS NULL或者IS NOT NULL查询,不能使用范围查询。 由于 hash 索引比较的是进行 hash 运算之后的 hash 值,所以它只能用于等值的过滤,不能用于基于范围的过滤,因为经过相应的 hash 算法处理之后的 hash 值的大小关系,并不能保证和hash运算前完全一样。 (2)hash 索引无法被用来避免数据的排序操作

MySQL优化(超完整版)(一)

我的梦境 提交于 2019-11-28 18:05:40
一、 MySQL的优化   前言 :     MySQL数据库的优化模块:       - 数据库的设计—三大范式       - 数据库的索引:唯一索引、主键索引、聚合索引、复合索引、默认索引       - SQL优化       - 分库分表       - 读写分离:提升IO性能       - 存储过程优化       - 对MySQL配置进行优化(my.ini)       - 定时清理碎片 1. 数据库的设计 (1) 什么是三大范式?     为了建立冗余较小、结构合理的数据库,设计数据库时必须遵循一定的规则。在关系型数据库中这种规则就称为范式。三大范式包括:     - 1NF :属性的原子性,要求属性具有原子性,不可分解。     - 2NF :对记录的唯一性,表中记录是唯一的(通常通过主键来实现)。     - 3NF :是对字段冗余性的约束,要求字段没有冗余。 (2) 1NF -- 案例 create table `user`( id int, name varchar(10), address varchar(10) ); insert into `user` values(1,’zs’,’上海市浦东新区’); 此时这里就针对address这个字段,有了可分割性,可将将address分为:-市-区。 此时表的设计就不遵循1NF。 (3) 2NF -- 案例

MySQL常见面试题索引与表设计

丶灬走出姿态 提交于 2019-11-28 17:53:31
1 索引概念、索引模型 Q: 你们每天这么大的数据量,都是保存在关系型数据库中吗? A: 是的,我 们线上使用的是MySQL数据库 Q: 每天几百万数据,一个月就是几千万了,那你们有没有对于查询做一些优化呢? A: 我们在数据库中创建了一些索引(我现在非常后悔我当时说了这句话) Q: 那你能说说什么是索引吗? A: 索引其实是一种数据结构,能够帮助我们快速的检索数据库中的数据 Q: 那么索引具体采用的哪种数据结构呢? A: 常见的MySQL主要有两种结构: Hash索引和B+ Tree索引,我们使用的是InnoDB引擎,默认的是B+树 Q: 既然你提到InnoDB使用的B+ 树的索引模型,那么你知道为什么采用B+ 树吗?这和Hash索引比较起来有什么优缺点吗? A: 因为Hash索引底层是哈希表,哈希表是一种以key-value存储数据的结构,所以多个数据在存储关系上是完全没有任何顺序关系的,所以,对于区间查询是无法直接通过索引查询的,就需要全表扫描。 所以,哈希索引只适用于等值查询的场景。 而B+ 树是一种多路平衡查询树,所以他的节点是天然有序的(左子节点小于父节点、父节点小于右子节点),所以对于范围查询的时候不需要做全表扫描 Q: 除了上面这个范围查询的,你还能说出其他的一些区别吗? A: B+ Tree索引和Hash索引区别? 哈希索引适合等值查询,但是无法进行范围查询

松软科技课堂:数据库-主键(PrimaryKey)

和自甴很熟 提交于 2019-11-28 17:30:50
主键就是一个表中每个数据行的唯一标识。不会有重复值的列才能当主键。一个表可以没有主键,但是会非常难以处理,因此没有特殊理由表都要设定主键 主键有两种选用策略:业务主键和逻辑主键。业务主键是使用有业务意义的字段做主键,比如身份证号、银行账号等;逻辑主键是使用没有任何业务意义的字段做主键,完全给程序看的,业务人员不会看的数据。因为很难保证业务主键不会重复(身份证号重复)、不会变化(帐号升位),因此推荐用逻辑主键。 --www.sysoft.net.cn--- 来源: https://www.cnblogs.com/sysoft/p/11416326.html

《高性能 MySQL》读书笔记

会有一股神秘感。 提交于 2019-11-28 17:08:12
结构和历史 1. 隔离级别有四种: READ UNCOMMITTED(未提交读),同事务中某个语句的修改,即使没有提交,对其他事务也是可见的。这个也叫脏读。 READ COMMITTED(提交读),另一个事务只能读到该事务已经提交的修改,是大多数据库默认的隔离级别。但是有下列问题,一个事务中两次读取同一个数据,由于这个数据可能被另一个事务提交了两次,所以会出现两次不同的结果,所以这个级别又叫做不可重复读。这里的不一样的数据包括虚读(两次结果不同)和幻读(出现新的或者缺少了某数据)。 REPEATABLE READ(可重复读),这个级别不允许脏读和不可重复读,比如MYSQL中通过MVCC来实现解决幻读问题。 SERIALIABLE(可串行化),这儿实现了读锁,级别最高。 2. 显示和隐式锁定:事务执行中,随时可以执行锁定,锁只有在COMMIT或ROLLBACK的时候才释放,而且所有的锁是同时释放的。这些锁定都是隐式锁定。也可以通过特定语句显式锁定,比如SELECT … LOCK IN SHARE MODE等。 3. MVCC(多版本并发控制):通过保存数据在某个时间点的快照来实现。在INNODB中通过每行记录后保存两个隐藏的列,一个保存行的创建时间,一个保存行的过期(删除)时间,这儿的保存不是时间而是系统版本号,随着事务的数量增加而增加版本号。 SELECT