连接池

池化技术简介 在我们使用数据库的过程中，我们往往使用数据库连接池而不是直接使用数据库连接进行操作，这是因为每一个数据库连接的创建和销毁的代价是昂贵的，而池化技术则预先创建了资源，这些资源是可复用的,这样就保证了在多用户情况下只能使用指定数目的资源，避免了一个用户创建一个连接资源，造成程序运行开销过大。 关于Java并发编程的总结和思考 连接池实现原理 这里只实现一个简易的连接池，更多复杂的需求可根据该连接池进行改进，该连接池主要参数如下： 一个繁忙队列busy 一个空闲队列idle 连接池最大活动连接数maxActive 连接池最大等待时间maxWait 连接池的活动连接数activeSize 程序流程图如下： 代码实现 泛型接口ConnectionPool.java public interface ConnectionPool<T> { /** * 初始化池资源 * @param maxActive 池中最大活动连接数 * @param maxWait 最大等待时间 */ void init(Integer maxActive, Long maxWait); /** * 从池中获取资源 * @return 连接资源 */ T getResource() throws Exception; /** * 释放连接 * @param connection 正在使用的连接 */

1.为什么要使用连接池 一个数据库服务器只拥有有限的连接资源，一旦所有的连接资源都在使用，那么其它需要连接的资源就只能等待释放连接资源。所以，在连接资源有限的情况下，提高单位时间的连接的使用效率，缩短连接时间，就能显著缩短请求时间。 所以就有了连接池的概念，在初始化时，创建一定数量的连接，先把所有连接存起来，然后，谁需要使用，从这里取走，干完活立马放回来。 如果请求数超出连接池容量，那么就排队等待或者直接丢弃掉。这样就可以省掉每次都创建和关闭连接的资源消耗和时间。 如果不使用连接池，那么，每次传输数据，我们都需要耗费大量的系统资源进行创建连接，收发数据，关闭连接。很明显，重复创建连接 关闭连接这样的消耗是可以节省。 2.怎么使用Redis连接池 https://github.com/gomodule/redigo/ 安装库： $ go get -v github.com/gomodule/redigo/redis github.com/gomodule/redigo (download) github.com/gomodule/redigo/redis 基本配置说明 MaxIdle：最大的空闲连接数，表示即使没有redis连接时依然可以保持N个空闲的连接，而不被清除，随时处于待命状态。 MaxActive：最大的连接数，表示同时最多有N个连接。0表示不限制。 IdleTimeout

将数据库驱动程序的JAR文件放在Tomcat的 common/lib 中； 方法一： 在server.xml中设置数据源，以MySQL数据库为例，如下： 1、在Tomcat 5.5\conf\server.xml中的</GlobalNamingResources>标签前添加如下代码 1 < Resource 2 name ="jdbc/mysql" 3 type ="javax.sql.DataSource" 4 driverClassName ="com.mysql.jdbc.Driver" 5 maxIdle ="2" 6 maxWait ="5000" 7 maxActive ="5" 8 username ="test" 9 password ="123456" 10 url ="jdbc:mysql://localhost/test" 11 /> 12 <!-- 13 name 指定数据源在容器中的名,一般为java/XXX. 14 type 为"javax.sql.DataSource"; 15 username 指定连接数据库用户名 16 password 指定连接数据库密码 17 driveClassName 指定连接数据库的驱动 18 maxIdle 指定连接池最大空闲连接数。设为0表示无限制。 19 maxWait 指定连接池中最大等待获取连接的客户端。设为

1）： 　　在tomcat的配置路径下的context.xml中添加如下代码： 　　 <Resource name="jdbc/cmis" auth="Container" type="javax.sql.DataSource" maxActive="100" maxIdle="50" maxWait="15000" username="root" password="" driverClassName="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost/mdym" /> 2）: 　　在要引用JNDI的工程中的WEB-INF的web.xml中添加如下代码： <resource-ref> <res-ref-name>jdbc/cmis</res-ref-name> <res-type>javax.sql.DataSource</res-type> <res-auth>Container</res-auth> <res-sharing-scope>Shareable</res-sharing-scope> </resource-ref> 3): 　　在spring的hibernate的配置文件中添加如下代码： <bean id="dataSource" class="org.springframework.jndi

配置dbcp数据源 <!--配置数据源 datasource 使用dbcp数据库连接池--> < bean id = " dataSource " class = " org.apache.commons.dbcp.BasicDataSource " > < property name = " driverClassName " value = " ${jdbc.driver} " > </ property > < property name = " url " value = " ${jdbc.url} " > </ property > < property name = " username " value = " ${jdbc.username} " > </ property > < property name = " password " value = " ${jdbc.password} " > </ property > <!--初始化时 连接个数 默认是0--> < property name = " initialSize " value = " 5 " /> <!--同时连接的最大活动数 默认是8--> < property name = " maxActive " value = " 100 " /> <!--允许最大空闲数 不能配置太小--> <

连接池的原理主要由三部分组成 第一、连接池的建立。一般在系统初始化时，连接池会根据系统配置建立，并在池中创建了几个连接对象，以便使用时能从连接池中获取。连接池中的连接不能随意创建和关闭，这样避免了连接随意建立和关闭造成的系统开销。Java中提供了很多容器类可以方便的构建连接池，例如Vector、Stack等。 第二、连接池的管理。连接池管理策略是连接池机制的核心，连接池内连接的分配和释放对系统的性能有很大的影响。其管理策略是： 当客户请求数据库连接时，首先查看连接池中是否有空闲连接，如果存在空闲连接，则将连接分配给客户使用； 如果没有空闲连接，则查看当前所开的连接数是否已经达到最大连接数，如果没达到就重新创建一个连接给请求的客户； 如果达到就按设定的最大等待时间进行等待，如果超出最大等待时间，则抛出异常给客户。 当客户释放数据库连接时，先判断该连接的引用次数是否超过了规定值，如果超过就从连接池中删除该连接，否则保留为其他客户服务。 该策略保证了数据库连接的有效复用，避免频繁的建立、释放连接所带来的系统资源开销。 第三、连接池的关闭。当应用程序退出时，关闭连接池中所有的连接，释放连接池相关的资源，该过程正好与创建相反。 来源： https://www.cnblogs.com/sxshe/p/12165307.html

a id="cb_post_title_url" class="postTitle2" href="https://www.cnblogs.com/DragonFire/p/9498396.html">DBUtils - Python数据库连接池 创建数据库连接池: 1 import time 2 import pymysql 3 import threading 4 from DBUtils.PooledDB import PooledDB, SharedDBConnection 5 POOL = PooledDB( 6 creator=pymysql, # 使用链接数据库的模块 7 maxconnections=6, # 连接池允许的最大连接数，0和None表示不限制连接数 8 mincached=2, # 初始化时，链接池中至少创建的空闲的链接，0表示不创建 9 maxcached=5, # 链接池中最多闲置的链接，0和None不限制 10 maxshared=3, # 链接池中最多共享的链接数量，0和None表示全部共享。PS: 无用，因为pymysql和MySQLdb等模块的 threadsafety都为1，所有值无论设置为多少，_maxcached永远为0，所以永远是所有链接都共享。 11 blocking=True, # 连接池中如果没有可用连接后，是否阻塞等待

HttpClient连接池抛出大量ConnectionPoolTimeoutException: Timeout waiting for connection异常排查 今天解决了一个HttpClient的异常，汗啊，一个HttpClient使用稍有不慎都会是毁灭级别的啊。 这里有之前因为route配置不当导致服务器异常的一个处理：http://blog.csdn.net/shootyou/article/details/6415248 里面的HttpConnectionManager实现就是我在这里使用的实现。 简单来说CLOSE_WAIT数目过大是由于被动关闭连接处理不当导致的。 我说一个场景，服务器A会去请求服务器B上面的apache获取文件资源，正常情况下，如果请求成功，那么在抓取完资源后服务器A会主动发出关闭连接的请求，这个时候就是主动关闭连接，连接状态我们可以看到是TIME_WAIT。如果一旦发生异常呢？假设请求的资源服务器B上并不存在，那么这个时候就会由服务器B发出关闭连接的请求，服务器A就是被动的关闭了连接，如果服务器A被动关闭连接之后自己并没有释放连接，那就会造成CLOSE_WAIT的状态了。 来源： https://www.cnblogs.com/panpanwelcome/p/12142104.html

发生过两次一样的问题，应该是这个原因引起的。 重点： 为什么重启应用无法解决？ 1、kill session：故障发生后数据库端进行kill session操作，但是因为有连接池，所以连接池会尝试重连数据库，kill 后的重连在连接池上几乎是并发的，因此负载也很高，所以kill session不行； 2、重启应用：重启应用前数据库端的latch竞争一直都有，大量的活动会话并没有释放。如果这个时候重启应用还是会有新的连接进来，这些新进的连接依然会进入到队列中等待，继而加剧争用，因为重启并不会中止数据库上之前的连接，所以重启应用也不行； 3、关闭应用并kill session：应该关闭应用，然后数据库端kill session，再启动应用。 参考文档： 重启大法失效？详述Oracle11g因JDBC bug引发异常Library Cache Lock等待处理事件 来源： 51CTO 作者： ConfusedSnail 链接： https://blog.51cto.com/linux10000/2463468

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 前言 在分布式高并发服务器中，client到server以及server中的多个节点之间的连接往往使用连接池来管理。简单来说就是将提前创建好的连接保存在池中，当有请求到来时，直接使用连接池中的连接对server端访问，省去了创建连接和销毁连接的开销(TCP建立连接时的三次握手和释放连接时的四次挥手)，从而提高了性能。 目录 设计原则 基本原理 GRPC特性 GRPC调优 实现细则 延伸阅读 <a name="chapter1"></a>设计原则 连接池的扩缩容 空闲连接的超时与保活 池满的处理机制 连接池的扩缩容 通常连接池属性包含最大空闲连接数和最大活跃连接数。 最大空闲连接数 ：连接池一直保持的连接数，无论这些连接被使用与否都会被保持。如果客户端对连接池的使用量不大，便会造成服务端连接资源的浪费。 最大活跃连接数 ：连接池最多保持的连接数，如果客户端请求超过次数，便要根据 池满的处理机制 来处理没有得到连接的请求。 扩容 ：当请求到来时，如果连接池中没有空闲的连接，同时连接数也没有达到最大活跃连接数，便会按照特定的增长策略创建新的连接服务该请求，同时用完之后归还到池中，而不是关闭连接。 缩容 ：当连接池一段时间没有被使用，同时池中的连接数超过了最大空闲连接数，那么便会关闭一部分连接