连接池技术

本文内容95%译自这篇文章： https://github.com/brettwooldridge/HikariCP/wiki/About-Pool-Sizing ) 我在研究HikariCP（一个数据库连接池）时无意间在HikariCP的Github wiki上看到了一篇文章（即前面给出的链接），这篇文章有力地消除了我一直以来的疑虑，看完之后感觉神清气爽。故在此做译文分享。 接下来是正文 数据库连接池的配置是开发者们常常搞出坑的地方，在配置数据库连接池时，有几个可以说是和直觉背道而驰的原则需要明确。 1万并发用户访问 想象你有一个网站，压力虽然还没到Facebook那个级别，但也有个1万上下的并发访问——也就是说差不多2万左右的TPS。那么这个网站的数据库连接池应该设置成多大呢？结果可能会让你惊讶，因为这个问题的正确问法是： “这个网站的数据库连接池应该设置成多 小 呢？” 下面这个视频是Oracle Real World Performance Group发布的，请先看完： http://www.dailymotion.com/video/x2s8uec （因为这视频是英文解说且没有字幕，我替大家做一下简单的概括：） 视频中对Oracle数据库进行压力测试，9600并发线程进行数据库操作，每两次访问数据库的操作之间sleep 550ms，一开始设置的中间件线程池大小为2048：

为什么需要连接池 剖析一个技术第一个要问的是，这项技术为什么存在。 对于每一个到SQL Server的连接，都需要经历TCP/IP协议的三次握手，身份认证，在SQL Server里建立连接，分配资源等。而当客户端关闭连接时，客户端就会和SQL Server终止物理连接。但是，我们做过数据库开发的人都知道，每次操作完后关闭连接是再正常不过的事了，一个应用程序即使在负载不大的情况下也需要不停的连接SQL Server和关闭连接，同一个应用程序同时也可能存在多个连接。 因此，如果不断的这样建立和关闭连接，会是非常浪费资源的做法。因此Ado.net中存在连接池这种机制。在对SQL Server来说的客户端的应用程序进程中维护连接池。统一管理Ado.net和SQL Server的连接，既连接池保持和SQL Server的连接，当Connection.Open()时，仅仅从连接池中分配一个已经和SQL Server建立的连接，当Connection.Close(）时，也并不是和SQL Server物理断开连接，仅仅是将连接进行回收。 因此，连接池总是能维护一定数量的和SQL Server的连接，以便应用程序反复使用这些连接以减少性能损耗。 重置连接的sys.sp_reset_connection 连接是有上下文的，比如说当前连接有未提交的事务，存在可用的游标，存在对应的临时表

最近用到一个数据库连接池，由于要分析其各种性能指标，所以对数据库连接池技术做了一个简单的分析。从网上找到一个关于连接池设计的文章，写的不错。我认为：如果要设计一个数据库连接池,可以参考它的基本思路；如果要提高性能，还有很多细节要仔细研究，并做细致的分析对比。以下是转载的文章。 连接池原理 连接池技术的核心思想是：连接复用，通过建立一个数据库连接池以及一套连接使用、分配、治理策略，使得该连接池中的连接可以得到高效、安全的复用，避免了数据库连接频繁建立、关闭的开销。另外，由于对JDBC中的原始连接进行了封装，从而方便了数据库应用对于连接的使用（非凡是对于事务处理），提高了开发效率，也正是因为这个封装层的存在，隔离了应用的本身的处理逻辑和具体数据库访问逻辑，使应用本身的复用成为可能。连接池主要由三部分组成：连接池的建立、连接池中连接的使用治理、连接池的关闭。下面就着重讨论这三部分及连接池的配置问题。 1.1 连接池的建立 应用程序中建立的连接池其实是一个静态的。所谓静态连接池是指连接池中的连接在系统初始化时就已分配好，且不能随意关闭连接。Java中提供了很多容器类可以方便的构建连接池，如：Vector、Stack、Servlet、Bean等，通过读取连接属性文件Connections.properties与数据库实例建立连接。在系统初始化时，根据相应的配置创建连接并放置在连接池中

—— 连接池用什么数据结构实现？ —— 实现连接池的代码 —— 线程安全问题 【数据库连接池的设计思路及java实现】【 http://blog.csdn.net/shijinupc/article/details/7836129】 【Java的JDBC数据库连接池实现方法】【 http://developer.51cto.com/art/200907/137300.htm 】 ​ 【设计数据库连接池，要考虑哪些问题？】 1. 有一个简单的函数从连接池中 得到 一个 Connection。 2. close 函数必须将connection 放回 数据库连接池。 3. 当数据库连接池中没有空闲的connection，数据库连接池必须能够 自动增加 connection 个数。 4. 当数据库连接池中的connection 个数在某一个特别的时间变得很大，但是以后很长时间只用其中一小部分， 自动将多余connection 关闭 。 5. 如果可能，应该提供debug信息 报告没有关闭的 new Connection。 【四个流行的Java连接池】 C3P0是一个开放源代码的JDBC连接池，它在lib目录中与Hibernate一起发布,包括了实现jdbc3和jdbc2扩展规范说明的Connection 和Statement 池的DataSources 对象。 BoneCP

jar包是实现类，收数据库厂商出。 内容： 数据库连接池 Spring JDBC：JDBC Template 2、数据库连接池—概述 为什么使用数据库连接池？ 在使用每个类的时候，我们都需要获取数据库连接对象，它首先要向操作系统底层申请资源，而申请资源是非常耗时的一件事，用完还要资源释放。 使用数据连接池就是为了解决这些弊端。 3、数据库连接池—实现简介 4、C3P0:数据库连接池技术-----基本使用 c3p0-config.xml 配置文件 Demo： 5、数据库连接池的配置演示 c3p0-config.xml 配置文件里面包含了2个config配置：一个是默认的，一个是指定名称的。 测试1：测试最大连接对象和close （了解） 假设设置了for循环，循环11次，每次循环获取对象池中的对象，也就是获取11个。但是，默认容器最多连接对象为10个，所以运行时会报错。 如果当我们在循环11次获取连接对象的时候，等到循环第5次，我们讲第5个连接对象归还给容器，那么容器又多了一个对象。【你看第5个和第6个对象是同一个对象】 测试2：使用指定的config配置文件 （了解） 6、druid：数据库连接池技术—基本使用 配置文件 Demo: 7、druid：数据库连接池技术—工具类 Demo： public class JDBCUitls { 1 、定义成员变量 DataSource

文章目录 1. 概念 2. 好处 3. 实现 4. C3P0 5. Druid 1. 概念 其实就是一个容器(集合)，存放数据库连接的容器。 当系统初始化好后，容器被创建，容器中会申请一些连接对象，当用户来访问数据库时，从容器中获取连接对象，用户访问完之后，会将连接对象归还给容器。 2. 好处 节约资源 用户访问高效 3. 实现 1. 标准接口 ： DataSource javax.sql 包下的 方法： 获取连接： getConnection() 归还连接： Connection.close() 。如果连接对象Connection是从 连接池 中获取的，那么调用 Connection.close() 方法，则不会再关闭连接了。而是归还连接 2. 一般我们不去实现它，有数据库厂商来实现 C3P0：数据库连接池技术 Druid：数据库连接池实现技术，由阿里巴巴提供的 4. C3P0 数据库连接池技术 步骤： 导入jar包 (两个) c3p0-0.9.5.2.jar mchange-commons-java-0.2.12.jar 不要忘记导入数据库驱动jar包 定义配置文件： 名称 ： c3p0.properties 或者 c3p0-config.xml 路径 ：直接将文件放在src目录下即可。 创建核心对象 数据库连接池对象 ComboPooledDataSource 获取连接：

首先我们之前讲解了如何用JDBC来操作数据库(https://blog.csdn.net/qq_45014905/article/details/104301118), 但是这种方法有很多的局限性(不足);因此我们的前人对他们来进行了改进, ①首先,之前的那种方法线程要不断的创建关闭,非常的麻烦,因此有了连接池的技术,让这些连接可以重复使用; ②改进了以后代码量还是非常的大,为了更加的简化代码,又有了JDBCTemplate技术 那么我就带领大家来进行一个简单的案例用JDBCTemplate来操作数据库 ①导入相关的jar包(自身5个,mysql驱动包,德鲁伊连接池一个) ②导入德鲁伊连接池工具类 ③导入德鲁伊连接池的配置文件 以上三步 是常规进行的 ④创建JdbcTemplate核心对象 ⑤编写sql语句 ⑥执行sql语句 package com . itheima . demo ; import com . itheima . utils . DruidUtils ; import org . junit . Test ; import org . springframework . jdbc . core . JdbcTemplate ; public class Demo { @Test public void test ( ) { //1.创建jdbcTemplate对象

数据库结构图： 第一种组合 ： 　　只有官方驱动 mysql-connector-java-5.1.13-bin.jar 包结构： 代码：简单实现增删改查 可以自己做一个配置文件工具包，见上一篇文章 1 package com.jdbc.onlyconnector; 2 3 import java.sql.Connection; 4 import java.sql.DriverManager; 5 import java.sql.PreparedStatement; 6 import java.sql.ResultSet; 7 import java.sql.SQLException; 8 import java.util.Scanner; 9 10 import org.junit.Test; 11 12 public class ConnectorTest { 13 @Test 14 public void test01() throws ClassNotFoundException, SQLException { 15 //jdbc四大参数,driver的全限命名,url,user,password 16 String driverClassName = "com.mysql.jdbc.Driver"; 17 String url = "Jdbc:mysql:/

线程池的原理: 来看一下线程池究竟是怎么一回事？其实线程池的原理很简单，类似于操作系统中的缓冲区的概念，它的流程如下：先启动若干数量的线程，并让这些线程都处于睡 眠状态，当客户端有一个新请求时，就会唤醒线程池中的某一个睡眠线程，让它来处理客户端的这个请求，当处理完这个请求后，线程又处于睡眠状态。可能你也许 会问：为什么要搞得这么麻烦，如果每当客户端有新的请求时，我就创建一个新的线程不就完了？这也许是个不错的方法，因为它能使得你编写代码相对容易一些， 但你却忽略了一个重要的问题??性能！就拿我所在的单位来说，我的单位是一个省级数据大集中的银行网络中心，高峰期每秒的客户端请 求并发数超 过100，如果为每个客户端请求创建一个新线程的话，那耗费的CPU时间和内存将是惊人的，如果采用一个拥有200个线程的线程池，那将会节约大量的的系统资源，使得更多的CPU时间和内存用来处理实际的商业应用，而不是频繁的线程创建与销毁。 数据库连接池: 数据库连接是一种关键的有限的昂贵的资源，这一点在多用户的网页应用程序中体现得尤为突出。 一个数据库连接对象均对应一个物理数据库连接，每次操作都打开一个物理连接，使用完都关闭连接，这样造成系统的 性能低下。 数据库连接池的解决方案是在应用程序启动时建立足够的数据库连接，并讲这些连接组成一个连接池( 简单说：在一个“ 池”里放了好多半成品的数据库联接对象)

来自： 线程池的原理和连接池的原理 线程池的原理 : 来看一下线程池究竟是怎么一回事？其实线程池的原理很简单，类似于操作系统中的缓冲区的概念，它的流程如下：先启动若干数量的线程，并让这些线程都处于睡眠状态，当客户端有一个新请求时，就会唤醒线程池中的某一个睡眠线程，让它来处理客户端的这个请求，当处理完这个请求后，线程又处于睡眠状态。可能你也许会问：为什么要搞得这么麻烦，如果每当客户端有新的请求时，我就创建一个新的线程不就完了？这也许是个不错的方法，因为它能使得你编写代码相对容易一些，但你却忽略了一个重要的问题??性能！就拿我所在的单位来说，我的单位是一个省级数据大集中的银行网络中心，高峰期每秒的客户端请 求并发数超 过100，如果为每个客户端请求创建一个新线程的话，那耗费的CPU时间和内存将是惊人的，如果采用一个拥有200个线程的线程池，那将会节约大量的的系统资源，使得更多的CPU时间和内存用来处理实际的商业应用，而不是频繁的线程创建与销毁。 数据库连接池: 数据库连接是一种关键的有限的昂贵的资源，这一点在多用户的网页应用程序中体现得尤为突出。 一个数据库连接对象均对应一个物理数据库连接，每次操作都打开一个物理连接，使用完都关闭连接，这样造成系统的 性能低下。 数据库连接池的解决方案是在应用程序启动时建立足够的数据库连接，并讲这些连接组成一个连接池( 简单说：在一个“ 池