mysql大量数据插入探讨（量变引起质变）

分类：见Visio图

关于大量数据导入是应注意以下几点：

分批导入，导入一批后最后提交(commit)，可以使用jdbc的（executeBatch）批量处理但是注意它的最大上限，否则只会执行一部分sql语句，超过上限的sql会自动丢弃;
注意内存使用(不要出现内存益出， Java heap space;
尽量使用大量导入工具(bcp,sqlLoader)来完成（未测试不确定） ;
数据量很大时导入时最好不要做太多的判断，这样会影响导入速度；
数据量很大时：是在建表时候添加主键（假设主键不是自增长ID列）后插入数据，还是插入数据后添加主键，前者主要的问题是大量数据插入速度减慢，如果是频繁的插入操作会导致数据库奔溃；后者的问题也是大量数据的表添加主键（需要删除重复记录，并根据mysql自己的添加主键机制来处理，速度很慢，而且频繁的操作也会导致数据库的奔溃）；
如果原数据表中有索引，先删除索引，待到导入数据后再建立索引；（主键是唯一索引的特列，这也是 5.中所述的）
由于数据量大的原因，需要配置mysql的my.ini 文件中相关选项，这个过程中如果不是很明白各个参数之间的相关关系，则需要一个参数一个参数的修改，从而提高mysql的整体性能；
insert 语句的处理而言，用StringBuilder代替“+”其性能是个质的提高；
利用jdbc支持的批量插入（preparedstatement），手动控制事务(将插入的数据分割为多次提交)，从而此番优化的程序可达到多线讲程并发高效插入的时效；
使用create table select *from soucre.table 方式建表和show create table tablename方式建表是不相同的，后者建立的表是和原来的表source.table 结构相同的，但是前者的建表方式得到的表结构是没有主键的；

来源：oschina

链接：https://my.oschina.net/u/1462678/blog/227170

标签

mysql

大量数据

插入

量变引起质变