记一次DataFrame.to_sql()时出现 system error: 10053 你的主机中的软件中止了一个已建立的连接的错误

北慕城南 提交于 2020-01-16 20:50:14

记一次DataFrame.to_sql()时出现错误system error: 10053

错误描述

我想使用python将DataFrame保存为mysql的一张表,在用pandas的to_sql()方法存入mysql时,出现了如下错误:

sqlalchemy.exc.OperationalError: (mysql.connector.errors.OperationalError) 2055: Lost connection to MySQL server at '192.xxx.xx.xxx:3306', system error: 10053 你的主机中的软件中止了一个已建立的连接。 

我使用的是python3.6,用了sqlalchemy和mysql-connector-python这两个库,代码如下:

import pandas as pd
from sqlalchemy import create_engine
from mysql import connector

# write to mysql
engine = create_engine("mysql+mysqlconnector://root:root@192.xxx.xx.xxx:3306/wyx?charset=utf8")
data.to_sql(table, engine, schema='wyx', if_exists='append', index=True, index_label='index')

分析

data是一个14万行的DataFrame,发生这个错误的原因就是我的data数据量太大了,经过尝试数据量超过38000行时就会报这个错误,少数据量时正常不会报错。至于底深层次的原因到底是不是这个就等大神来分析一下吧。

解决

由于我是使用mysql-connector-python这个库连接mysql的,在代码中就是mysql+mysqlconnector这部分,后来我换成了用pymysql连接就正常了,代码如下:

engine = create_engine("mysql+pymysql://root:root@192.xxx.xx.xxx:3306/wyx?charset=utf8")

看出来区别了么,换成mysql+pymysql就可以了。
当然前提是你要安装了pymysql库才行哦,代码中记得引入pymysql。

One More Thing

换成用pymysql后又出现了这个警告:

D:\Program Files\Anaconda3\lib\site-packages\pymysql\cursors.py:170: Warning: (1366, "Incorrect string value: '\\xD6\\xD0\\xB9\\xFA\\xB1\\xEA...' for column 'VARIABLE_VALUE' at row 480")
  result = self._query(query)

在网上查了大部分说这个是mysql 5.7的一个bug,但是用mysql+mysqlconnector就不会出现这个警告,这个警告至今我未解决,后面解决了会更新。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!