数据库性能

idea's blog - 性能超越 Redis 的 NoSQL 数据库 SSDB 性能超越 Redis 的 NoSQL 数据库 SSDB C/C++语言编程 , SSDB Views: 8091 | 21 Comments SSDB 是一个 C++ 开发的 NoSQL 数据库, 使用 Google 公司开源的 LevelDB 引擎作为底层的存储引擎. Redis 是一个 C 语言开发的内存 NoSQL 数据库. Redis 非常流行, 不仅仅是因为其高性能和可持久化的特点, 还因为它支持丰富的数据结构, 能很好的表达业务模型. Redis 的国内属新浪应用比较广泛. 但是, Redis 的缺点也很明显, 那就是它的内存数据库模型. 所有数据都存在内存中, 即使最有钱的互联网公司, 也没法承受 $5000 (一台服务器, 100G 内存)固定成本, 以及持续不断的 IDC 租金成本来存储区区的 50GB 的数据, 这个成本太高了! SSDB 拥有 Redis 的主要优点 – 高性能, 丰富数据结构, 并且拥有 Redis 所不具备的能力 – 大数据存储能力. SSDB 服务器的单机存储能力是 Redis 的 100 倍! 因为 SSDB 能将数据存储在硬盘中. 在使用 SSDB 自带的 ssdb-bench 工具, 以及 Redis 自带的 redis-benchmark

一、问题： 数据库表数据量极大（千万条），要求让服务器更加快速地响应用户的需求。 二、解决方案： 1.通过高速服务器Cache缓存数据库数据 2.内存数据库 （这里仅从数据缓存方面考虑，当然，后期可以采用Hadoop+HBase+Hive等分布式存储分析平台） 三、主流解Cache和数据库对比： 上述技术基本上代表了当今在数据存储方面所有的实现方案，其中主要涉及到了普通关系型数据库（MySQL/PostgreSQL），NoSQL数据库(MongoDB)，内存数据库（Redis），内存Cache（Memcached），我们现在需要的是对大数据表仍保持高效的查询速度，普通关系型数据库是无法满足的。而MongoDB其实只是一种非关系型数据库，其优势在于可以存储海量数据，具备强大的查询功能，因此不宜用于缓存数据的场景。 从以上各数据可知，对于我们产品最可行的技术方案有两种： 1.Memcached 内存Key-Value Cache 2.Redis 内存数据库 四、下面重点分析Memcached和Redis两种方案： 4.1 Memcached介绍 Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提供动态、数据库驱动网站的速度，现在已被LiveJournal、hatena、Facebook

一、问题： 数据库表数据量极大（千万条），要求让服务器更加快速地响应用户的需求。 二、解决方案： 1.通过高速服务器Cache缓存数据库数据 2.内存数据库 （这里仅从数据缓存方面考虑，当然，后期可以采用Hadoop+HBase+Hive等分布式存储分析平台） 三、主流解Cache和数据库对比： 上述技术基本上代表了当今在数据存储方面所有的实现方案，其中主要涉及到了普通关系型数据库（MySQL/PostgreSQL），NoSQL数据库(MongoDB)，内存数据库（Redis），内存Cache（Memcached），我们现在需要的是对大数据表仍保持高效的查询速度，普通关系型数据库是无法满足的。而MongoDB其实只是一种非关系型数据库，其优势在于可以存储海量数据，具备强大的查询功能，因此不宜用于缓存数据的场景。 从以上各数据可知，对于我们产品最可行的技术方案有两种： 1.Memcached 内存Key-Value Cache 2.Redis 内存数据库 四、下面重点分析Memcached和Redis两种方案： 4.1 Memcached介绍 Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提供动态、数据库驱动网站的速度，现在已被LiveJournal、hatena、Facebook

一、问题： 数据库表数据量极大（千万条），要求让服务器更加快速地响应用户的需求。 二、解决方案： 1.通过高速服务器Cache缓存数据库数据 2.内存数据库 （这里仅从数据缓存方面考虑，当然，后期可以采用Hadoop+HBase+Hive等分布式存储分析平台） 三、主流解Cache和数据库对比： 上述技术基本上代表了当今在数据存储方面所有的实现方案，其中主要涉及到了普通关系型数据库（MySQL/PostgreSQL），NoSQL数据库(MongoDB)，内存数据库（Redis），内存Cache（Memcached），我们现在需要的是对大数据表仍保持高效的查询速度，普通关系型数据库是无法满足的。而MongoDB其实只是一种非关系型数据库，其优势在于可以存储海量数据，具备强大的查询功能，因此不宜用于缓存数据的场景。 从以上各数据可知，对于我们产品最可行的技术方案有两种： 1.Memcached 内存Key-Value Cache 2.Redis 内存数据库 四、下面重点分析Memcached和Redis两种方案： 4.1 Memcached介绍 Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提供动态、数据库驱动网站的速度，现在已被LiveJournal、hatena、Facebook

摘要 为了学习研究MySQL数据库在工作原理，深刻理解MySQL在企业运用时如何保证其高效运行。分别从表结构的优化，SQL语句的优化，存储引擎的选择，索引的优化以及现今MySQL的发展与其他企业级数据库的比较。介绍了从编码选择到数据类型的选择以及从整体的角度设计表结构。在SQL语句的选择和使用的介绍的时候，深入介绍了一些基本的使用原则以及在一般在使用过程中我们存在的误区以及如何解决这些问题。着重介绍了MySQL的几个存储引擎MyISAM、InnoDB和NDBCluster的差异以及各自的适用范围。有介绍了MySQL的索引的一些优化的建议以及高屋建瓴地阐述和比较了MySQL的优劣和发展态势。 前言 数据库作为应用作为广泛，地位极为重要的中间件应用，学习和使用数据库管理系统变得越来越重要。为了研究和总结对mysql数据库的学习结果，特别从数据表结构、sql语句优化、存储引擎的选择、索引的应用、以及mysql的比较总结对mysql技术做了一个比较全面升入的介绍。使用mysql的过程中，如何更好地使用与优化越来越重要，在这篇文章中就阐述。 第一章 表结构的优化 数据表是数据库的具体表现形式，设计优良的数据库拥有良好的表结构，者不单单指数据库的表需要满足范式结构，为了更有利于具体操作，表结构还需要实际的可扩展性，以便于做增删改查，又需要根据数据表的具体作用做出调节

本测试提供了LightGraph在Twitter关系图的导入、查询、分析效率，并与TigerGraph、Neo4j、JanusGraph、ArangoDB等图数据库进行比较。根据测试结果，LightGraph在各个场景的性能显著优于同类数据库。 导入性能：LightGraph导入性能是TigerGraph和Neo4j的2倍以上，是JanusGraph和ArangoDB的35倍以上。 延迟查询性能：在Latency的查询测试中，LightGraph的查询性能大幅领先于其它图数据库。是TigerGraph的2.5倍-7倍，是Neo4j等图数据的30倍以上。 并发查询性能：one-hop的并发查询性能是TigerGraph的6倍，并达到其它图数据库的百倍以上。其它并发测试的查询性能也能达到其它图数据库的3倍以上。 分析算法性能：在PageRank和Weakly Connected Components的测试中，LightGraph性能最佳，JanusGraph和ArangoDB均不能完成测试 查询性能如下图所示： 详细的测试报告 点击 链接 下载 https://fma-ai.cn/pdf/FMA_benchmark.pdf 来源： https://www.cnblogs.com/fmablogs/p/11412310.html

Web测试中，各类web控件测试点总结 一 、界面检查 　　进入一个页面测试，首先是检查title，页面排版，字段等，而不是马上进入文本框校验 　　1、页面名称title是否正确 　　2、当前位置是否可见 您的位置：xxx>xxxx 　　3、文字格式统一性 　　4、排版是否整齐 　　5、列表项显示字段是否齐全,列表项字段名称是否跟表单统一 　　6、同一页面，是否出现 字段名称相同、值取不同的问题。 　　7、数据加载情况：除了文本框的值，还要注意： 　　复选框，是否保存打√，或者保存不打√ 　　下拉框，是否保存选择的值 　　多文本框，值是否都被保存，空格，换行是否保存 二、单文本框（type=text） 　　边界：字段长度 　　判空：是否可以为空 　　唯一性：是否唯一 (小归结：边界、判空、唯一性、特殊字符、正确性) 　　考虑语言，操作环境 　　特殊符号测试输入： 　　' or 1<>'1　　　' or '1'='1　　' or '1'<>'2　　"|?>< 　　where a='xxx'　　　下划线是否允许　　输入全部空格 输入 单引号 　　><script>alert(“123”);</script>> 　　特殊字段输入限定： 　　框内容是否合法（tel，ip，url，email）序号等，直接限制输入数字，其他过滤掉 　　输入金额文本框，整数首位为0，过滤掉，小数点后面

Web测试中，各类web控件测试点总结 一 、界面检查 　　进入一个页面测试，首先是检查title，页面排版，字段等，而不是马上进入文本框校验 　　1、页面名称title是否正确 　　2、当前位置是否可见 您的位置：xxx>xxxx 　　3、文字格式统一性 　　4、排版是否整齐 　　5、列表项显示字段是否齐全,列表项字段名称是否跟表单统一 　　6、同一页面，是否出现 字段名称相同、值取不同的问题。 　　7、数据加载情况：除了文本框的值，还要注意： 　　复选框，是否保存打√，或者保存不打√ 　　下拉框，是否保存选择的值 　　多文本框，值是否都被保存，空格，换行是否保存 二、单文本框（type=text） 　　边界：字段长度 　　判空：是否可以为空 　　唯一性：是否唯一 (小归结：边界、判空、唯一性、特殊字符、正确性) 　　考虑语言，操作环境 　　特殊符号测试输入： 　　' or 1<>'1　　　' or '1'='1　　' or '1'<>'2　　"|?>< 　　where a='xxx'　　　下划线是否允许　　输入全部空格 输入 单引号 　　><script>alert(“123”);</script>> 　　特殊字段输入限定： 　　框内容是否合法（tel，ip，url，email）序号等，直接限制输入数字，其他过滤掉 　　输入金额文本框，整数首位为0，过滤掉，小数点后面

一. 数据切分 关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此时就要考虑对其进行切分了，切分的目的就在于减少数据库的负担，缩短查询时间。 数据库分布式核心内容无非就是数据切分（Sharding） ，以及切分后对数据的定位、整合。数据切分就是将数据分散存储到多个数据库中，使得单一数据库中的数据量变小，通过扩充主机的数量缓解单一数据库的性能问题，从而达到提升数据库操作性能的目的。 数据切分根据其切分类型，可以分为两种方式： 垂直（纵向）切分和水平（横向）切分 1、垂直（纵向）切分 垂直切分常见有垂直分库和垂直分表两种。 垂直分库 就是根据业务耦合性，将关联度低的不同表存储在不同的数据库。做法与大系统拆分为多个小系统类似，按业务分类进行独立划分。与"微服务治理"的做法相似，每个微服务使用单独的一个数据库。如图： 垂直分表 是基于数据库中的"列"进行，某个表字段较多，可以新建一张扩展表，将不经常用或字段长度较大的字段拆分出去到扩展表中。在字段很多的情况下（例如一个大表有100多个字段），通过"大表拆小表"，更便于开发与维护，也能避免跨页问题，MySQL底层是通过数据页存储的，一条记录占用空间过大会导致跨页，造成额外的性能开销

问题四：数据库死锁&&数据库连接池满了 搭e6mall 需要使用tomcat7搭建。 过程：压测一个商品的详情页请求，看看报错如何？ 数据库连接池： 1、数据库本身对外提供的连接池的最大数（数据库配置文件里的） 2、应用程序配置的客户端和服务器建立的连接数（项目里配置的） 数据库连接池不释放，【数据库连接一般用完立即释放，配置90个连接就算很高了，单机配四五十就算挺高了】 开始配置30个连接，都被用掉了，后来改为90也被用完了，所以这里是数据库连接池不释放导致的问题。 还有超时问题，以及频繁gc的问题。 性能监控和企业分析的ppt，查看案例 来源： https://www.cnblogs.com/wuzm/p/11405385.html