连接池技术

当我们在浏览网页的时候，对浏览速度有一个重要的影响因素，就是浏览器的并发数量。并发数量简单通俗的讲就是，当浏览器网页的时候同时工作的进行数量。 如果同时只有2个并发连接数数量，那网页打开的时候只能依赖于这2条线程，前面如果有打开慢的内容，就会直接影响到后面的内容打开。但是如果同时有更多的并发连接数，这样就会大大的提高网页加载速度。详情可查看我们之前发布的文章： 并发连接数对浏览器加载速度的测试 。浏览器的并发连接数也并非越大越好。 下表概括了基于主机上运行的IE浏览器的版本的最大并发连接数、主机的连接速度和服务器的受支持的协议版本。 1，HTTP客户端一般对同一个服务器的并发连接个数都是有限制的。 实际上，浏览器确实使用并行连接，但它们将并行连接的总数限制为少量（通常为四个）。 服务器可以自由地关闭来自特定客户端的过多连接。 2，一些主流浏览器对HTTP 1.1和HTTP 1.0的最大并发连接数目，可以参考如下表格： 浏览器 HTTP / 1.1 HTTP / 1.0 IE 11 6 6 IE 10 6 6 IE 9 10 10 IE 8 6 6 IE 6,7 2 4 火狐 6 6 Safari 3,4 4 4 Chrome 4+ 6 6 歌剧9.63,10.00alpha 4 4 Opera 10.51+ 8 ？ iPhone 2 4 ？ iPhone 3 6 ？ iPhone

数据库连接是一种关键的有限的昂贵的资源，这一点在多用户的网页应用程序中体现得尤为突出。对数据库连接的管理能显著影响到整个应用程序的伸缩性和健壮性，影响到程序的性能指标。数据库连接池正是针对这个问题提出来的。 数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而再不是重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。这项技术能明显提高对数据库操作的性能。 数据库连接池在初始化时将创建一定数量的数据库连接放到连接池中，这些数据库连接的数量是由最小数据库连接数来设定的。无论这些数据库连接是否被使用，连接池都将一直保证至少拥有这么多的连接数量。连接池的最大数据库连接数量限定了这个连接池能占有的最大连接数，当应用程序向连接池请求的连接数超过最大连接数量时，这些请求将被加入到等待队列中。数据库连接池的最小连接数和最大连接数的设置要考虑到下列几个因素： 1) 最小连接数是连接池一直保持的数据库连接，所以如果应用程序对数据库连接的使用量不大，将会有大量的数据库连接资源被浪费； 2) 最大连接数是连接池能申请的最大连接数，如果数据库连接请求超过此数，后面的数据库连接请求将被加入到等待队列中，这会影响之后的数据库操作。 3) 如果最小连接数与最大连接数相差太大，那么最先的连接请求将会获利

一、 线程池的原理 : 线程池，究竟是怎么一回事？其实线程池的原理很简单，类似于操作系统中的缓冲区的概念，它的流程如下： 先启动若干数量的线程，并让这些线程都处于睡眠状态，当客户端有一个新请求时，就会唤醒线程池中的某一个睡眠线程，让它来处理客户端的这个请求，当处理完这个请求后，线程又处于睡眠状态。 可能你也许会问：为什么要搞得这么麻烦，如果每当客户端有新的请求时，我就创建一个新的线程不就完了？这也许是个不错的方法，因为它能使得你编写代码相对容易一些，但你却忽略了一个重要的问题——性能！ 就拿我所在的单位来说，我的单位是一个省级数据大集中的银行网络中心，高峰期每秒的客户端请 求并发数超 过100，如果为每个客户端请求创建一个新线程的话，那耗费的CPU时间和内存将是惊人的，如果采用一个拥有200个线程的线程池，那将会节约大量的的系统资源，使得更多的CPU时间和内存用来处理实际的商业应用，而不是频繁的线程创建与销毁。 二、 数据库连接池 数据库连接是一种关键的有限的昂贵的资源，这一点在多用户的网页应用程序中体现得尤为突出。 一个数据库连接对象均对应一个物理数据库连接，每次操作都打开一个物理连接，使用完都关闭连接，这样造成系统的 性能低下。 数据库连接池的解决方案是在应用程序启动时建立足够的数据库连接，并讲这些连接组成一个连接池(简单说：在一个“池”里放了好多半成品的数据库联接对象)

前段时间在一个老项目中经历过一个问题：一个 Dubbo 服务，启动的时候慢的要死，后来看日志查原因整个过程一直在初始化 数据库 连接。一看数据库连接参数，连接池大小：1024。 很多入行晚的同学没有经历过手写 JDBC 连接的日子。那个时候没有数据库连接池的概念，都是原生代码一顿搞，后来有了 iBATIS 之后 Java 开发的繁杂程度才逐渐减轻，也衍生 C3P0 数据库连接池这种基础的东西。罗马不是一天建成的，可是互联网发展太快了，技术压力逼迫下各种中间件被迫研发，大家加班加点搞出来各种高大上的脚手架，也成就很多 伟人 。 数据库连接使用 TCP 的方式，建立连接需要3次握手，释放连接需要4次挥手，当今这种互联网使用频率下，如果每一次访问数据库都重新建立连接，我估计你们公司倒闭800次都不够。 1. 数据库连接的过程是怎样的 Java 鼻祖 Sun 公司是想以一套API统一天下，奈何各个数据库服务器厂商太给力统一不了。无奈之举是创建了一个统一的接口，提出一套统一接入的步骤，各个厂商实现接口，按照步骤加载自己的数据库。所以现在的方案就是4板斧： 注册驱动，为人所知的： Class.forName() ； 获取Connection，成功即与数据库建立连接； 拿到Statement对象，用于操作数据库的CRUD； 获取数据库返回结果ResultSet。

一.数据库连接池 1. 概念：其实就是一个容器(集合)，存放数据库连接的容器。 当系统初始化好后，容器被创建，容器中会申请一些连接对象，当用户来访问数据库时，从容器中获取连接对象，用户访问完之后，会将连接对象归还给容器。 2. 好处： 1. 节约资源 2. 用户访问高效 3. 实现： 1. 标准接口：DataSource javax.sql包下的 1. 方法： * 获取连接：getConnection() * 归还连接：Connection.close()。如果连接对象Connection是从连接池中获取的，那么调用Connection.close()方法，则不会再关闭连接了。而是归还连接 2. 一般我们不去实现它，有数据库厂商来实现 1. C3P0：数据库连接池技术 2. Druid：数据库连接池实现技术，由阿里巴巴提供的 4. C3P0：数据库连接池技术 * 步骤： 1. 导入jar包 (两个) c3p0-0.9.5.2.jar mchange-commons-java-0.2.12.jar ， * 不要忘记导入数据库驱动jar包 2. 定义配置文件： * 名称： c3p0.properties 或者 c3p0-config.xml * 路径：直接将文件放在src目录下即可。 3. 创建核心对象 数据库连接池对象 ComboPooledDataSource 4. 获取连接：

数据库连接池的作用： 数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而不是再重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。这项技术能明显提高对数据库操作的性能。 　Python 创建、使用mysql连接池 #!/usr/bin/env python # -*- coding:utf-8 -*- # @Time : 2017/11/22 20:35 # @Author : lijunjiang # @File : demo1.py import MySQLdb from DBUtils.PooledDB import PooledDB # 导入方法 # 数据库连接信息 connect_mysql = { 'host':'11.11.11.11', 'port':3306, 'charset':'utf8', 'db':'netcutecontent', 'user':'python', 'passwd':'python' } # 创建连接池 PooledDB() 方法 pool = PooledDB(MySQLdb, 5, **connect_mysql) if __name__ == '__main__': cnx = pool.connection() # 创建连接池连接

JDBC 连接池 DBCP： Apache推出的 Database Connection Pool 使用步骤： > 添加 jar包 commons-dbcp-1.4.jar commons-pool-1.5.6.jar l 创建 DBCP连接池工具类 n 规范接口 :javax.sql.DataSource接口 n 实现类 :BasicDataSource, 重写接口中的方法 getConnection() 使用读取配置文件的方式 (加案例 ) DBCP中有一个工厂类 BasicDataSourceFactory 工厂类中有一个静态方法 static DataSource createDataSource(Properties prop) 此方法返回的就是 DataSource接口的实现类对象 BasicDataSource 创建 Propertis 集合 +IO技术读取配置文件 把配置文件传入 BasicDataSourceFactory静态方法 createDataSource中 public class DBCPUtilsReadConfig { private static DataSource dataSourse; static{ try { InputStream is = DBCPUtilsReadConfig.class.getClassLoader()

申明：本文对于连接资源关闭采用自定义的 JDBCUtils 工具： package com.test.utils; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; public final class JDBCUtils { private static String driver="com.mysql.jdbc.Driver"; private static String url="jdbc:mysql://localhost:3306/store28"; private static String user="root"; private static String password="root1234"; private JDBCUtils(){} static { /** * 驱动注册 */ try { Class.forName(driver); } catch (ClassNotFoundException e) { throw new ExceptionInInitializerError(e); } } /** * 获取

mybatis总配置文件的datasource的type介绍 在mybatis的总配置文件中有一个标签 <dataSource type="pooled"><dataSource> 在里面可以放入配置数据库的基本连接信息 (driver,url,username,password) 同时在该标签上有一个属性type，它表示mybatis获取连接的方式。type属性有三个值，分别为unPooled,pooled和JNDI。 unpooled unPooled表示获取连接时不是从连接池中获取，而是直接new了一个连接返回，我们可以看看其内部的实现： 可以看到它是内部创建了一个连接给你返回。 pooled pooled是利用了连接池的思想，它内部的原理大致是这样的： 首先先判断空闲连接池内有没有空闲连接，如果还有则给你返回一个空闲连接。 如果没有空闲连接，则去活动连接池内看看还有没有位置，如果还有，则new一个连接给你返回 如果活动连接池没有位置了，则返回在活动连接池使用最久的连接。意思就是给你返回一个在活动连接池内待最久的连接。 内部源码： JNDI 这个属性内部是使用了JNDI技术，每个服务器对应的连接池技术都不一样，比如tomcat服务器使用的dpcp连接池。这个属性值只能在web工程和maven的web工程中使用。因为不太了解，不做过多介绍。 上述的三个属性值都实现java

目录 概念 什么是NOSQL NOSQL和关系型数据库比较 非关系型数据库的优势 关系型数据库的优势 总结 主流的NOSQL产品 什么是Redis 下载安装 命令操作 redis的数据结构 字符串类型:string 哈希类型:hash(map格式) 列表类型:list(linkedlist格式) 集合类型:set 有序集合类型:sortedset 通用命令 持久化 Java客户端:Jedis 概述 Jedis操作redis中的数据结构 字符串类型 string 哈希类型 hash(map格式) 列表类型 list(linkedlist格式) 集合类型 set 有序集合 sortedset jedis连接池: jedisPool jedis连接池工具类 案例 概念 简介： ​ 随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。 概念： redis是一款高性能的NOSQL系列的非关系型数据库 什么是NOSQL NoSQL(NoSQL = Not Only SQL) ，意即“不仅仅是SQL”，是一项全新的数据库理念