数据库性能

一，SQL语句性能优化 1， 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2，应尽量避免在 where 子句中对字段进行 null 值判断，创建表时NULL是默认值，但大多数时候应该使用NOT NULL，或者使用一个特殊的值，如0，-1作为默 认值。 3，应尽量避免在 where 子句中使用!=或<>操作符， MySQL只有对以下操作符才使用索引：<，<=，=，>，>=，BETWEEN，IN，以及某些时候的LIKE。 4，应尽量避免在 where 子句中使用 or 来连接条件， 否则将导致引擎放弃使用索引而进行全表扫描， 可以 使用UNION合并查询： select id from t where num=10 union all select id from t where num=20 5，in 和 not in 也要慎用，否则会导致全表扫描，对于连续的数值，能用 between 就不要用 in 了：Select id from t where num between 1 and 3 6，下面的查询也将导致全表扫描：select id from t where name like ‘%abc%’ 或者select id from t where name like ‘%abc’若要提高效率，可以考虑全文检索

怎样查出SQLServer的性能瓶颈 --王成辉翻译整理，转贴请注明出自微软BI开拓者[url]www.windbi.com[/url] --原帖地址 如果你曾经做了很长时间的DBA，那么你会了解到SQLServe的性能调优不是一个精密的科学。即使是，对于为最佳的性能找到最佳的配置也是很困难的。这是因为对于调优来说很少东西是绝对的。例如，一个性能调优可能对某一方面有用，可是却会影响其他的性能。 我曾经做过DBA，在最后7年的日子里，我总结了一套SQLServer调优的清单。当第一次进行SQLServer性能调优的时候，可以用它来作为一个向导。我经常被邀请去检查SQLServer并提供一些性能方面的建议。直到现在，我还没有真正写下一个贯穿整个性能调优过程的方案。但是当我做了越来越多的性能调优的咨询工作后，我现在决定花点时间整理出来。你将会发现它是很有用的，就象我发现对我的用处一样. SQLServer性能监控 这套性能优化的清单将至少准科学的帮助你找出你的SQLServer任何明显的性能问题。说是这样说，SQLServer的性能调优仍然是很困难的。我试图用这套清单去找出“容易”的sqlserver性能问题，困难的留待稍后。我这样做是因为很容易将容易和困难的的性能调优问题搞混。通过列出一个“容易”的性能调优范围，就很容易的将这些问题解决，一旦解决了这些容易的问题

六、实战汇总 31.powercenter 字符集 了解源或者目标数据库的字符集，并在Powercenter服务器上设置相关的环境变量或者完成相关的设置，不同的数据库有不同的设置方法； 多数字符集的问题，需要源读和目标写分开来考虑，而不是混为一谈。 31.1 oracle字符集 获取Oracle数据库字符集， 以sys用户登录,select value$ from props$ where name=‘NLS_CHARACTERSET‘; 返回数据库本身的字符集 --ZHS16GBK 设置Oracle环境变量， Windows平台需要在注册表或者环境变量中设置； Linux平台需要修改Profile文件。 使用NLS_LANG=AMERICAN_AMERICA.ZHS16GBK设置 数据库字符集与NLS_LANG不一致时， 以写入字符集NLS_LANG为准，即设置Powercenter服务器环境变量为NLS_LANG=AMERICAN_AMERICA.ZHS16GBK 数据源有两个Oracle数据库，但字符集不一致时， 创建两个集成服务，在集成服务分别设置与对应数据库相同的字符集。 数据源和目标都是Oracle数据库，但字符集不一致时， 源使采用Native驱动，使用NLS_LANG； 目标采用ODBC驱动，在odbc.ini文件中设置对应的字符集信息。 31.2 db2字符集

传统的数据库连接方式 一个连接对象对应一个物理连接，每次操作都打开一个物理连接，使用完都关闭连接，造成系统性能低下。 连接池技术 客户程序得到的连接对象是连接池中物理连接的一个句柄，调用连接对象的close()方法,物理连接并没有关闭,数据源的实现只是删除了客户程序中的连接对象和池中的连接对象之间的联系. 数据库连接的建立及关闭是耗费系统资源的操作，在大型应用中对系统的性能影响尤为明显。为了能重复利用数据库连接对象,缩短请求的响应时间和提高服务器的性能,支持更多的客户，应采用连接池技术. 来源：博客园 作者： 燕十三丶 链接：https://www.cnblogs.com/Yanss/p/11739073.html

【编者按】NoSQL在2010年风生水起，大大小小的Web站点在追求高性能高可靠性方面，不由自主都选择了NoSQL技术作为优先考虑的方面。今年伊始，InfoQ中文站有幸邀请到凤凰网的孙立先生，为大家分享他之于NoSQL方面的经验和体会。 非常荣幸能受邀在InfoQ开辟这样一个关于NoSQL的专栏，InfoQ是我非常尊重的一家技术媒体，同时我也希望借助InfoQ，在国内推动NoSQL的发展，希望跟我一样有兴趣的朋友加入进来。这次的NoSQL专栏系列将先整体介绍NoSQL，然后介绍如何把NoSQL运用到自己的项目中合适的场景中，还会适当地分析一些成功案例，希望有成功使用NoSQL经验的朋友给我提供一些线索和信息。 NoSQL概念 随着web2.0的快速发展，非关系型、分布式数据存储得到了快速的发展，它们不保证关系数据的ACID特性。 NoSQL 概念在2009年被提了出来。NoSQL最常见的解释是“non-relational”，“Not Only SQL”也被很多人接受。（“NoSQL”一词最早于1998年被用于一个轻量级的关系数据库的名字。） NoSQL被我们用得最多的当数key-value存储，当然还有其他的文档型的、列存储、图型数据库、xml数据库等。在NoSQL概念提出之前，这些数据库就被用于各种系统当中，但是却很少用于web互联网应用。比如cdb、qdbm、bdb数据库。

ETL效率优化 开启数据库日志记录及性能监控 如果我们想要优化一个ETL（KTR或者KJB）的性能，我们首先需要知道的就是它的瓶颈在哪里。而这些信息一般只能在ETL运行的步骤度量中看到，并且是不会持久化的。如果你希望把一些数据记录下来，帮助以后进行查阅，那么可以开启数据库日志和性能监控。 作业 Edit -> Settings -> Log 具体设置过程就不细讲了，很简单。 转化 Edit -> Settings -> Logging 这时开启了日志记录，还需要设置性能监控 Edit -> Settings -> Monitoring 勾选 Enable step performance monitoring（开启性能监控），下面的两个选项分别是： Step performance measurement interval ( ms ) (对每一步进行性能监测的度量间隔)：这一个选项的大小会影响你在数据库记录的详细程度，一般以运行总时长的十分之一左右的数值即可，这样对于每一步可以记录 10 组左右的数据，足够做一些基本的分析，注意单位是毫秒。 Maximum number of snapshots in memory （在内存中保存的最大的快照数量）：这一个选项在我们系统的内存不是很足够时可以使用，但是太小可能会导致无法分析出来，和上面的选项搭配使用。 转化的错误日志输出

Nosql 本篇文章主要介绍Nosql的一些东西，以及Nosql中比较火的三个数据库Redis、Memchache、MongoDb和他们之间的区别。以下是本文章的阅读目录 一、Nosql介绍 1. Nosql简介 2. Nosql的特点和关系型数据库的区别 3. Redis，Memcache，MongoDb的特点与区别 4 .参考文章 1. Nosql介绍 Nosql的全称是Not Only Sql，这个概念早起就有人提出，在09年的时候比较火。Nosql指的是非关系型数据库，而我们常用的都是关系型数据库。就像我们常用的mysql，sqlserver一样，这些数据库一般用来存储重要信息，应对普通的业务是没有问题的。但是，随着互联网的高速发展，传统的关系型数据库在应付超大规模，超大流量以及高并发的时候力不从心。而就在这个时候，Nosql得到的告诉的发展。 2. Nosql和关系型数据库的区别 1.存储方式 　　关系型数据库是表格式的，因此存储在表的行和列中。他们之间很容易关联协作存储，提取数据很方便。而Nosql数据库则与其相反，他是大块的组合在一起。通常存储在数据集中，就像文档、键值对或者图结构。 2.存储结构 　　关系型数据库对应的是结构化数据，数据表都预先定义了结构（列的定义），结构描述了数据的形式和内容。这一点对数据建模至关重要，虽然预定义结构带来了可靠性和稳定性

MySQL 基础篇 三范式 MySQL 军规 MySQL 配置 MySQL 用户管理和权限设置 MySQL 常用函数介绍 MySQL 字段类型介绍 MySQL 多列排序 MySQL 行转列 列转行 MySQL NULL 使用带来的坑 MySQL AND 和 OR 联合使用带来的坑 MySQL 触发器的使用 转载： 《58到家数据库30条军规解读》 《赶集mysql军规》 《58到家MySQL军规升级版》 基础规范 必须使用 InnoDB 存储引擎 解读：支持事务、行级锁、并发性能更好、CPU及内存缓存页优化使得资源利用率更高。 表字符集默认使用 utf8 ，必要时候使用 utf8mb4 解读：万国码，无需转码，无乱码风险，节省空间，utf8mb4 是 utf8 的超集，有存储4字节例如表情符号时，使用它。 数据表、数据字段必须加入中文注释 禁止使用存储过程、视图、触发器、Event 解读：高并发大数据的互联网业务，架构设计思路是“解放数据库 CPU，将计算转移到服务层”，并发量大的情况下，这些功能很可能将数据库拖死，业务逻辑放到服务层具备更好的扩展性，能够轻易实现“增机器就加性能”。数据库擅长存储与索引，CPU 计算还是上移吧。 禁止存储大文件或者大照片 解读：为何要让数据库做它不擅长的事情？大文件和照片存储在文件系统，数据库里存 URI 多好。 控制单表数据量

本文根据黄炎在2018年7月7日【MySQL技术沙龙 ・ 成都站】现场演讲内容整理而成。 黄炎 爱可生研发总监，深入钻研分布式数据库相关技术，擅长业界相关MySQL中间件产品和开发，以及分布式中间件在企业内部的应用实践。 MySQL中间件性能测试 I 摘要： 我今天代表我的团队向大家来介绍一下MySQL中间件性能的测试，为大家带来一些不太一样的故事，包括我们在做性能测试的时候一些不太一样的视角。 分享大纲： 1.性能测试的常见的(错误)方法 * 3 2.性能测试的一些(我们用的)方法 * 2 3.分布式事务相关 * 1 我今天代表我的团队向大家来介绍一下MySQL中间件性能的测试，之所以讲选这个主题是因为我注意到大家都是高级的DBA，我们也有很多的高级的DBA，跟大家聊天的时候都会注意到，大家对于性能测试的第一印象： 性能 = sysbench 测试 = run 结果 = tps 数值要高大上 性能就是sysbench，然后测试就是跑一下，这就叫性能测试了，结果就是要TPS或者QPS，数值一定要高大上，这是大家对性能测试测试的第一印象也可能是唯一的印象。我们公司是属于乙方的技术服务提供商，我们对业界的很多产品进行过性能测试，所以今天想为大家带来一些不太一样的故事，以及我们在做性能测试的时候一些视角。 我今天大概会向大家介绍三件事情： 第一件事情 是我们观察到，大家在做性能测试的时候

数据库的操作越来越成为整个应用的性能瓶颈了，这点对于Web应用尤其明显。关于数据库的性能，这并不只是DBA才需要担心的事，而这更是我 们程序员需要去关注的事情 1.为查询缓存优化你的查询 mysql > show variables like ' %query_cache% ' ; （query_cache_type 为 ON 表示已经开启） + -- ----------------------------+----------+ | Variable_name | Value | + -- ----------------------------+----------+ | have_query_cache | YES | | query_cache_limit | 1048576 | | query_cache_min_res_unit | 4096 | | query_cache_size | 20971520 | | query_cache_type | ON | | query_cache_wlock_invalidate | OFF | + -- ----------------------------+----------+ 如果不是ON，修改配置文件以开启查询缓存： > vi / etc / my.cnf [ mysqld ] 中添加： query_cache