pymysql

mysql 审核引擎 goInception 的基本使用

偶尔善良 提交于 2020-08-06 09:45:22
mysql 审核引擎 goInception 的基本使用 官网地址 https://github.com/hanchuanchuan/goInception 安装 git clone https://github.com/hanchuanchuan/goInception.git cd goInception 修改配置 开启备份 vim config/config.toml [inc] backup_host="127.0.0.1" backup_port=3306 backup_user="root" backup_password="123456" 启动 make parser go build -o goInception tidb-server/main.go ./goInception -config=config/config.toml pip install pymysql prettytable 代码 import pymysql import prettytable as pt tb = pt.PrettyTable() sql = '''/*--user=root;--password=123456;--host=192.168.100.90;--check=0;--port=3306;--execute=1;--backup=1;*/ inception

python深挖65万人的明星贴吧,探究上万个帖子的秘密

早过忘川 提交于 2020-08-06 04:56:10
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 最近一直在关注百度明星吧,发现很多有趣的帖子,于是我就想用python把这些帖子都爬下来,并对内容进行分析。 很多人学习python,不知道从何学起。 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。 很多已经做案例的人,却不知道如何去学习更加高深的知识。 那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码! QQ群:1097524789 本文的知识点: 介绍了mysql数据库内容插入及提取的简单应用; 介绍了如何从mysql数据库提取文本并进行分析; 介绍了数据分析的切入点及思路。 对于初学者想更轻松的学好Python开发技术,Python爬虫,Python大数据分析,人工智能等技术,这里给大家分享一套系统教学资源,加一下我建的Python技术的学习裙;七八四七五八二一四,一起学习。有相关开发工具,学习教程,每天还有专业的老司机在线直播分享知识与技术答疑解惑! 下面给大家详细介绍一下实现过程: 一、网站分析 贴吧的翻页通过url的变化来实现,主要是pn参数: https: //tieba.baidu.com/f?kw=明星&ie=utf-8&pn=页数*50 帖子的内容

python连接mysql

故事扮演 提交于 2020-08-05 18:07:47
import pymysql class c_mysql ( object ): def __init__ ( self , ip, port, user, password, databasename): self .ip = ip self .port = port self .user = user self .password = password self .databasename = databasename def connect_mysql ( self ): try : db = pymysql.connect( self .ip, self .user, self .password, self .databasename, self .port) return db except Exception as e: print (e) # 操作 # def action_sql(self, db): # cursor = db.cursor() # sql ="insert into subiject (id,name,content,tuition) values (4,'d','ac','20');" # cursor.execute(sql) # db.commit() # cursor.close() # db.close() # 查看 def b

用matplotlib和pandas绘制股票MACD指标图,并验证化交易策略

心已入冬 提交于 2020-08-05 04:01:00
我的新书 《基于股票大数据分析的Python入门实战》 于近日上架,在这篇博文 向大家介绍我的新书:《基于股票大数据分析的Python入门实战》 里,介绍了这本书的内容。这里将摘录出部分内容,用以推广本书,请大家多多支持。 1 MACD指标的计算方式 从数学角度来分析,MACD指标是根据均线的构造原理,对股票收盘价进行平滑处理,计算出算术平均值以后再进行二次计算,它是属于趋向类指标。 MACD指标是由三部分构成的,分别是:DIF(离差值,也叫差离值)、DEA(离差值平均)和BAR(柱状线)。 具体的计算过程是,首先算出快速移动平均线(EMA1)和慢速移动平均线(EMA2),用这两个数值来测量两者间的差离值(DIF),在此基础上再计算差离值(DIF)N周期的平滑移动平均线DEA(也叫MACD、DEM)线。 如前文所述,EMA1周期参数一般取12日,EMA2一般取26日,而DIF一般取9日,在此基础上,MACD指标的计算步骤如下所示。 第一步: 计算移动平均值(即EMA)。 12日EMA1的计算方式是:EMA(12)= 前一日EMA(12)× 11/13 + 今日收盘价 × 2/13 26日EMA2的计算方式是:EMA(26)= 前一日EMA(26)× 25/27 + 今日收盘价 ×2 /27 第二步: 计算MACD指标中的差离值(即DIF)。 DIF = 今日EMA(12)-

MySQL中建表时可空(NULL)和非空(NOT NULL)的一些思考

。_饼干妹妹 提交于 2020-08-05 00:04:54
对于MySQL的一些个规范,某些公司建表规范中有一项要求是所有字段非空,意味着没有值的时候存储一个默认值。其实所有字段非空这么说应该是绝对了,应该说是尽可能非空,某些情况下不可能给出一个默认值。 那么这条要求,是基于哪些考虑因素,存储空间?相关增删查改操作的性能?亦或是其他考虑?该理论到底有没有道理或者可行性,本文就个人的理解,做一个粗浅的分析。 1,基于存储的考虑 这里对存储的分析要清楚MySQL数据行的存储格式, 这里直接从这篇文章白嫖一部分结论 ,文章里分析的非常清楚(其实也是参考《MySQL技术内容Innodb存储引擎》)。 对于默认的Dynamic或者Compact格式的数据行结构,其行结构格式如下: |变长字段长度列表(1~2字节)|NULL标志位(1字节)|记录头信息(5字节)|RowID(6字节)|事务ID(6字节)|回滚指针(7字节)|row content 1,对于变长字段,当相关的字段值为NULL时,相关字段不会占用存储空间。NULL值没有存储,不占空间,但是需要一个标志位(一行一个)。 2,对于变长字段,相关字段要求NOT NULL,存储成''的时候,也不占用空间,如果一个表中所有的字典都NOT NULL,行头不需要NULL的标志位 3,所有字段都是定长,不管是否要求为NOT NULL,都不需要标志位,同时不需要存储变长列长度 鉴于null值和非空(not

Python如何连接Mysql及基本操作

耗尽温柔 提交于 2020-08-04 22:40:31
什么要做python连接mysql,一般是解决什么问题的   做自动化测试时候,注册了一个新用户,产生了多余的数据,下次同一个账号就无法注册了,这种情况怎么办呢?自动化测试都有数据准备和数据清理的操作,如果因此用例产生了多余数据,就需要清理数据,可以用Pyhthon连接Mysql直接删除多余的数据就可以了。   Python3如何连接Mysql呢?PyMySQL是在Py3版本用于连接Mysql python连接mysql的模块安装 在线安装 在Pycharm---点击--Terminal---输入pip install PyMySQL等待完装完毕即可,如图所示 离线安装 有时候在线安装第三方模块的时,会因为网络原因总是装不上,那怎么办呢?那就手动安装 下载所需要的模块包 解压该文件 将文件名改短,然后放入非C盘且放在根目录 打开cmd---->E:---->cd xlrd---->python setup.py install 等待完装完毕 导入模块 import xlrd,运行如果没报错就说明安装正常 连接MySql import pymysql # 打开数据库连接 db = pymysql.connect("localhost", "root", "111223", "study_date") # 使用 cursor() 方法创建一个游标对象 cursor cursor =

django报错:django.core.exceptions.ImproperlyConfigured: mysqlclient 1.3.13 or newer is required; yo...

让人想犯罪 __ 提交于 2020-07-29 07:15:40
启动项目时报错:django.core.exceptions.ImproperlyConfigured: mysqlclient 1.3.13 or newer is required; you have 0.9 .3. 可以在manage.py文件中加上如下语句: import pymysql pymysql.version_info = (1, 3, 13, " final " , 0) pymysql.install_as_MySQLdb() 来源: oschina 链接: https://my.oschina.net/u/4356138/blog/4285332

04爬取拉勾网Python岗位分析报告

旧巷老猫 提交于 2020-07-28 02:48:40
# 导入需要的包 import requests import time,random from openpyxl import Workbook import pymysql.cursors #@ 连接数据库; # 这个是我本地上边运行的程序,用来获取代理服务器。 def get_proxy(): try: PROXY_POOL_URL = 'http://localhost:5555/random' response = requests.get(PROXY_POOL_URL) print(response.text) if response.status_code == 200: return response.text except ConnectionError: return None # 用来连接本地mysql,可以不连接,直接写入Excel中 def get_conn(): """连接本地数据库""" # 定义要连接的主机IP,账号名称和密码,连接的数据库,编码等等 conn = pymysql.connect(host = 'localhost', user = 'root', password = '123456', db = 'python', charset = 'utf8mb4', cursorclass = pymysql.cursors

利用Python快速进行数据探查

孤者浪人 提交于 2020-07-24 05:56:53
工作中你是否遇见这样的问题: 接手新业务时需要了解数十上百张的数据库表结构; 表中的数据量级均是百万级以上; 希望可以批量快速生成如下表格。 数据探查结果表 如果你遇到了以上的问题,恭喜你,本文可以帮助你解决! 1、解决思路 但有人会有疑问,Python进行数据探查不是非常简单的事吗,一个函数分分钟搞定,还有必要专门介绍吗。如果你这样想就too yong too simple了。 你可以回想下,当我们采用descirbe()函数时,默认的前提是已经将数据读入了Python之中。但你可曾想过,实际工作中数据读入也会成为一种问题。对的,当数据量级一旦达到百万以上甚至更多时,Python读取数据的效率就很低了。读取一张表可能就要半小时以上,几十张表的话差不多就得一天了。这样低效的方法,肯定是不可取的。 本文就是来源于工作中的实际需求,在上述的方式行不通时,我转变思路寻找了另一种方式。具体的逻辑思路如下: 也就是说,为了快速进行探查,我们可以不用进行全表读入,只需对每个表每个字段进行分组查询就可以了。但如何将SQL查询语句进行循环呢?采用字符串的格式化输出! 2、代码实现 首先我们导入相关包 import pymysql import pandas as pd import datetime as dt start=dt.datetime.now() #为了计算程序执行时间

Python MySQL Dynamic Insert - Column Name as Variable, Values as Variables

二次信任 提交于 2020-07-10 10:28:35
问题 I am trying to create a function that populates a MySQL table. The function receives several variables as inputs: Symbol Var_Date Stat_Name Stat_Value The value of Stat_Name changes as the code runs, eg Enterprise_Value, Profit_Margin, EBITDA - these are the column names within the table. Stat_Value is the data that goes into the rows. This code requires one Column Name as a variable, and three values as variables. I found this previous article which looks promising, but I haven't been able