连接池

在看完dbcp连接池操作后，我们来看一下 c3p0 进行数据库连接池操作。 c3p0和dbcp其实差不多，都需要先导入jar包，在配置文件，再写类并测试。 首先需要导入jar包，一个是c3p0-0.9.5.2.jar，还有一个是mchange-commons-java-0.2.11.jar，这两个包导入放到lib文件夹下面就可以。 接下来就是配置文件。在src下面创建一个 xml 文件，文件名字必须为 而且创建这个文件的时候需要注意，最前面不能有什么空格。 创建好这个后，就需要对其进行相关配置。 <c3p0-config> <default-config> <property name="driverClass">com.mysql.jdbc.Driver</property> <property name="jdbcUrl">jdbc:mysql://localhost:3306/spring?serverTimezone=UTC</property> <property name="user">root</property> <property name="password">123456</property> <property name="initialPoolSize">10</property> <property name="maxIdleTime">30<

因为Spring Boot中默认没有提供配置MongoDB连接池的属性，所以需要自己向Spring容器中注入mongoDbFactory 1. 添加依赖 < parent > < groupId > org.springframework.boot </ groupId > < artifactId > spring-boot-starter-parent </ artifactId > < version > 2.0.2.RELEASE </ version > < relativePath /> <!-- lookup parent from repository --> </ parent > < dependencies > <!-- .. --> < dependency > < groupId > org.springframework.boot </ groupId > < artifactId > spring-boot-starter-data-mongodb </ artifactId > </ dependency > </ dependencies > 2. 在配置文件中添加属性 在 application.properties 中或者自定义的属性文件中添加属性。 # 这里添加在了application.properties中 mongo.address =

jedis是redis的java客户端，spring将redis连接池作为一个bean配置。 redis连接池分为两种，一种是“redis.clients.jedis.ShardedJedisPool”，这是基于hash算法的一种分布式集群redis客户端连接池。 另一种是“redis.clients.jedis.JedisPool”，这是单机环境适用的redis连接池。 maven导入相关包： <!-- redis依赖包 --> < dependency > < groupId > redis.clients </ groupId > < artifactId > jedis </ artifactId > < version > 2.9.0 </ version > </ dependency > ShardedJedisPool是redis集群客户端的对象池，可以通过他来操作ShardedJedis，下面是ShardedJedisPool的xml配置，spring-jedis.xml： <? xml version="1.0" encoding="UTF-8" ?> < beans xmlns ="http://www.springframework.org/schema/beans" xmlns:xsi ="http://www.w3.org/2001/XMLSchema

马总在2003年4月7日秘密叫来阿里巴巴的十位员工，来到杭州一个隐秘的毛坯房，要求他们在一个月左右的时间内做出一个C2C网站。结果当然还是直接买的快，一个基于LAMP架构的网站，原名是PHPAuction，老美开发的一个拍卖网站。当然必须要做修改才能用。 2003年底，淘宝注册用户23万，PV 31万/day，半年成交额3371万 很显然MySQL无法撑得起如此大的访问量，数据库瓶颈出现了。幸好阿里的DBA队伍足够强大，他们使用Oracle替代了MySQL。Oracle那时就已经有了强大的并发性访问设计――连接池，从连接池取连接的耗费比单独建立连接少很多。但是PHP当时并没有官方提供支持语言连接池特性，于是多隆前辈用Google（不会是Baidu）搜到了一个开源的SQL Relay，于是数据库软件方面的瓶颈暂时解决了。 随之而来的是面临硬件性能瓶颈，阿里买了EMC的SAN存储设备，加上Oracle高性能RAC，硬件容量也暂时没问题了。 因为SQL Relay的问题实在过于严重，2004年于是淘宝终于做出了跨时代的决策――使用Java重写网站。 淘宝请了Sun的高级工程师来帮忙做Java架构。那么他们是如何做到修改编程语言而不改变网站使用呢――模块化替换，今天写好了A模块，另开一个新域名，将连接指向该模块，同时别的模块不变，等到全部模块完成的时候，原域名放弃

1. 长连接：同步和异步方式。 同步方式下所有客户端请求共用同一连接，在获得连接后要对连接加锁，在读写结束后才解锁释放连接，性能低下，基本很少采用，唯一优点是实现极其简单。 异步方式下所有请求都带有消息ID，因此可以批量发送请求，异步接收回复，所有请求和回复的消息都共享同一连接，信道得到最大化利用，因此吞吐量最大。这个时候接收端的处理能力也要求比较高，一般都是单独一个收包线程防止内核缓冲区被填满，影响网络吞吐量。缺点是实现复杂，需要异步状态机，需要增加负载均衡和连接健康度检测机制，等等。 2. 短连接：同步方式。 优点是实现简单，每个请求单独建立一个连接，用完即关。缺点是大量并发下会出现大量TIMEWAIT状态，信道处于过载状态，无法创建新连接。 3. 连接池：同步方式 每个请求单独占用一个连接，使用完以后把连接放回池中，给下一个请求使用。缺点还是网络利用率不高，因为在等待对端回复的时候，连接是空闲的。 文章来源: tcp长连接、短连接、连接池的思考

传统的数据库连接方式 一个连接对象对应一个物理连接，每次操作都打开一个物理连接，使用完都关闭连接，造成系统性能低下。 连接池技术 客户程序得到的连接对象是连接池中物理连接的一个句柄，调用连接对象的close()方法,物理连接并没有关闭,数据源的实现只是删除了客户程序中的连接对象和池中的连接对象之间的联系. 数据库连接的建立及关闭是耗费系统资源的操作，在大型应用中对系统的性能影响尤为明显。为了能重复利用数据库连接对象,缩短请求的响应时间和提高服务器的性能,支持更多的客户，应采用连接池技术. 来源：博客园 作者： 燕十三丶 链接：https://www.cnblogs.com/Yanss/p/11739073.html

jdbc . user = root jdbc . password = root jdbc . driverClass = com . mysql . jdbc . Driver jdbc . jdbcUrl = jdbc : mysql : ///spring jdbc . initPoolSize = 5 jdbc . maxPoolSize = 10 <!-- 导入资源文件--> <context:property-placeholder location = "classpath:db.properties" ></context:property-placeholder> <!--配置c3p0数据源--> <bean id = "dataSource" class = "com.mchange.v2.c3p0.ComboPooledDataSource" > <property name = "user" value = "${jdbc.user}" ></property> <property name = "password" value = "${jdbc.password}" ></property> <property name = "jdbcUrl" value = "${jdbc.jdbcUrl}" ></property> <property name

spring : datasource : # druid连接池 type : com . alibaba . druid . pool . DruidDataSource #数据库驱动 driver : com . mysql . jdbc . Driver #最大连接池数量 max - active : 20 #初始化时建立物理连接的个数。初始化发生在显示调用init方法，或者第一次getConnection时 initial - size : 10 # 获取连接时最大等待时间，单位毫秒。配置了maxWait之后，缺省启用公平锁， # 并发效率会有所下降，如果需要可以通过配置useUnfairLock属性为true使用非公平锁。 max - wait : 60000 #最小连接池数量 min - idle : 5 #有两个含义： #1: Destroy线程会检测连接的间隔时间 #2: testWhileIdle的判断依据，详细看testWhileIdle属性的说明 time - between - eviction - runs - millis : 60000 #配置一个连接在池中最小生存的时间，单位是毫秒 min - evictable - idle - time - millis : 180000 #用来检测连接是否有效的sql，要求是一个查询语句

ETL效率优化 开启数据库日志记录及性能监控 如果我们想要优化一个ETL（KTR或者KJB）的性能，我们首先需要知道的就是它的瓶颈在哪里。而这些信息一般只能在ETL运行的步骤度量中看到，并且是不会持久化的。如果你希望把一些数据记录下来，帮助以后进行查阅，那么可以开启数据库日志和性能监控。 作业 Edit -> Settings -> Log 具体设置过程就不细讲了，很简单。 转化 Edit -> Settings -> Logging 这时开启了日志记录，还需要设置性能监控 Edit -> Settings -> Monitoring 勾选 Enable step performance monitoring（开启性能监控），下面的两个选项分别是： Step performance measurement interval ( ms ) (对每一步进行性能监测的度量间隔)：这一个选项的大小会影响你在数据库记录的详细程度，一般以运行总时长的十分之一左右的数值即可，这样对于每一步可以记录 10 组左右的数据，足够做一些基本的分析，注意单位是毫秒。 Maximum number of snapshots in memory （在内存中保存的最大的快照数量）：这一个选项在我们系统的内存不是很足够时可以使用，但是太小可能会导致无法分析出来，和上面的选项搭配使用。 转化的错误日志输出

一:DBCP与C3P0连接池的区别 DBCP通过BasicDataSource创建连接池对象,而C3P0通过ComboPooledDataSource创建连接池对象 步骤都是一样的: //创建一个连接池对象！！ BasicDataSource dataSource = new BasicDataSource(); 或者: ComboPooledDataSource dataSource = new ComboPooledDataSource //设置四大配置信息传入dataSource 中 String driverClass="com.mysql.jdbc.Driver"; String url = "jdbc:mysql://127.0.0.1:3306/数据库名?characterEncoding=utf8"; String username = "数据库用户名"; String password = "数据库密码"; dataSource.setDriverClassName(driverClass); dataSource.setUrl(url); dataSource.setUsername(username); dataSource.setPassword(password); // 创建DBUtils 核心类 QueryRunner对象把dataSource 传进去