XLSX

用Python3生成30万条excel数据(xlsx格式)

末鹿安然 提交于 2020-08-07 13:11:14
在B/S架构的系统测试中,有时需要通过导入excel文件来生成一些数据记录,当数据量小的时候,一般不会出现什么问题,而当导入的数据量巨大时,对系统的性能就是一个考验了。为了验证系统的性能,有时需要导入海量的数据,如30万条数据记录,而手头并没有这么多数据时该怎么办呢?一条一条复制粘贴,或者通过excel的下拉拖动来生成记录?这样会把测试人员累死,而且单调重复的工作,非常无趣。这时,我们只需借助python,便可以轻松生成大量数据,把人从单调重复的工作中解放出来,去做更有意义的事。 例如,我们需要生成如下的数据。 这是一条用户信息的示例数据,其中包含几种编号、姓名、性别、爱好、最喜欢的电影、音乐等信息,而其中只需校验A、I、L这三列的不同编号。其他数据在性能测试中不是很关心,那么我们可以利用规则生成一些数据,其中仅A、I、L三列不同,其他信息保持不变。 思路:先将表头和示例数据保存在一个示例文件中,通过xlrd来读取示例内容,通过xlsxwriter来按规则写入表头和不同的信息。 话不多说,我们直接上代码: 1 import xlrd 2 import xlsxwriter 3 # 文件名以及路径,前面加一个r防止生成不必要的转义。 4 filename=r ' D:\001\example.xlsx ' 5 data = xlrd.open_workbook(filename) 6

Python玩转Excel:实现函数自动填充、数据排序

空扰寡人 提交于 2020-08-07 09:52:21
工作中,大家经常会使用excel去处理数据以及展示,但是对于部分工作我们可以借助程序帮忙实现,达到高效解决问题的效果。 比如将接口返回的json解析并保存结果到excel中,按一定规律处理excel中的数据然后写入到新的excel文件中,汇总来自多个文件的内容到一个excel中等等。 平时在工作中遇到比较繁琐的数据需要写入到excel中,除非excel的内置公式可以处理,否则我会第一时间想到使用python处理。 在处理海(大)量数据时,用Excel处理可能不会那么方便操作,特别是列很多,一屏显示不全的话,操作起来确实不便。如果我们能够熟练掌握Python操作Excel,便可大大提高工作效率。 好用到爆的自动填充功能 下面我们模仿Excel,用Pandas实现函数自动填充功能,计算列。 读取文件,计算总价 import pandas as pd #读取Excel文件 books = pd.read_excel('book1.xlsx',index_col='ID') print(books) ************************ NAME1 单价 数量 总价 ID 1 Book1 10.5 10 NaN 2 Book2 11.0 10 NaN 3 Book3 11.5 10 NaN 4 Book4 12.0 10 NaN 在Excel里面,我们可以写函数,自动填充

easyexcel 自动设置列宽

ぃ、小莉子 提交于 2020-08-07 09:48:27
版本 <dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>2.1.4</version> </dependency> 导出controller层代码 @RequestMapping("/download") public void download(HttpServletResponse response) throws IOException { response.setContentType("application/vnd.ms-excel"); response.setCharacterEncoding("utf-8"); String fileName = URLEncoder.encode("测试", "UTF-8"); response.setHeader("Content-disposition", "attachment;filename=" + fileName + ".xlsx"); List<Dept> depts = new ArrayList<>(3); for (int i = 0; i < 3; i++) { Dept dept = new Dept(); dept.setDname("d"+i); dept.setDeptno

ComplexHeatmap|根据excel表绘制突变景观图(oncoplot)

自古美人都是妖i 提交于 2020-08-06 11:32:14
本文首发于“生信补给站”: https://mp.weixin.qq.com/s/8kz2oKvUQrCR2_HWYXQT4g 如果有maf格式的文件,可以直接oncoplot包绘制瀑布图,有多种展示和统计 maftools | 从头开始绘制发表级oncoplot(瀑布图) 和 maftools|TCGA肿瘤突变数据的汇总,分析和可视化 ,如果只有多个样本的基因突变与否的excel,不用担心,也可以用complexheatmap包绘制。 这个包功能很强大,本次只简单的介绍如何绘制基因组景观图(瀑布图)。 一 载入R包,数据 #if (!requireNamespace("BiocManager", quietly = TRUE)) # install.packages("BiocManager") #BiocManager::install("ComplexHeatmap") #install.packages("openxlsx") #install.packages("circlize") ​ #后面直接加载即可 library( openxlsx) library( ComplexHeatmap) library( circlize) #读入数据 mut <- read.xlsx( "TCGA_data.xlsx", sheet = "突变信息") cli <- read

技术人员该如何站好最后一班岗?

情到浓时终转凉″ 提交于 2020-08-06 11:31:40
挑槽、入槽、跳槽,堪称每个技术人员必奏的三部曲,而这三部曲在职场中来回奏,便构成了程序人生。 铁打的硬盘,流水的码农, 离职时见人品 ,作为技术人员该如何做交接,到底该如何站好最后一班岗呢? 1. 人品不够,文档来凑。 从上家公司离职已经 5 年多啦,记得离职大概没多久,前技术同事微信告诉我:你写的交接文档,在会议上公开表扬,让其它组作为参考。 当时个人感觉没啥,就是写了一堆文档罢了,近期看到其它团队交接的效果,那么的不尽人意。而且秉着吐露真心,认真分享的原则,不妨把那些年写过的交接文档,逐一呈现给你,万一能助你积攒人品、升职加薪呢? 1.1. 作为技术人员离职前的交接,编写 交接进展表 为了谁? 离职前的交接,非常能展现人品,最重要的原则是: 交接时一定要尽力而为。 尽量能打造属于自己的交接计划,按照计划一步一步去落实,并把交接进展维护在 excel 中,如图中的《交接进展表.xlsx》。 编写交接进展表,一方面让大家明确知晓交接的过程与进度,另一方面可供后人按此方式进行无脑式交接(前人栽树后人乘凉)。 1.2. 作为技术人员离职前的交接,编写 XX系统_新手入门文档 为了谁? 离职前的交接,希望都能编写新手入门之类的傻瓜式文档,该文档编写是个一劳永逸的事情。 倘若后续接手你的是一个新同事,那么就更有价值,按照入门文档,一步一步就能上手开发、提测、上线,这样的文档谁不喜欢?

Office文件的奥秘——.NET平台下不借助Office实现Word、Powerpoint等文件的解析(完)

一曲冷凌霜 提交于 2020-08-06 10:26:56
【题外话】 这是这个系列的最后一篇文章了,为了不让自己觉得少点什么,顺便让自己感觉完美一些,就再把OOXML说一下吧。不过说实话,OOXML真的太容易解析了,而且这方面的文档包括成熟的开源类库也特别特别特别的多,所以我就稍微说一下,文章中引用了不少的链接,感兴趣的话可以深入了解下。 【系列索引】 Office文件的奥秘——.NET平台下不借助Office实现Word、Powerpoint等文件的解析(一) 获取Office二进制文档的DocumentSummaryInformation以及SummaryInformation Office文件的奥秘——.NET平台下不借助Office实现Word、Powerpoint等文件的解析(二) 获取Word二进制文档(.doc)的文字内容(包括正文、页眉、页脚、批注等等) Office文件的奥秘——.NET平台下不借助Office实现Word、Powerpoint等文件的解析(三) 详细介绍Office二进制文档中的存储结构,以及获取PowerPoint二进制文档(.ppt)的文字内容 Office文件的奥秘——.NET平台下不借助Office实现Word、Powerpoint等文件的解析(完) 介绍Office Open XML文档(.docx、.pptx)如何进行解析以及解析Office文件常见开源类库 【文章索引】 初见Office

python发邮件和网络的简单使用

生来就可爱ヽ(ⅴ<●) 提交于 2020-08-06 06:21:03
一、Excel文档操作练习(pycharm) sorted() 函数对所有可迭代的对象进行排序操作。 sort 与 sorted 区别: sort 是应用在 list 上的方法,sorted 可以对所有可迭代的对象进行排序操作。 list 的 sort 方法返回的是对已经存在的列表进行操作,而内建函数 sorted 方法返回的是一个新的 list,而不是在原来的基础上进行的操作。 1、需提前在当前目录准备好excel文件(多复制几个): 2、编写python脚本 ''' 员工角色: 行政 工作内容: 做员工调查问卷 工作流程: 给每个员工发送统-的问卷的模板 要求: 员工按照提供的固定模板,填写调查问卷,并且发送给行政人员 行政人员可能会受到多份格式相同而内容不同的Excel文件 处理Excel文件:手工合并多个文件内容, 比较常见的方法: 以某个文件(result.xlsx)的内容为基础,打开别的文件,复制其中需要的数据,粘贴到result.xlsx ''' import os import glob import openpyxl # 定义函数,获取指定目录下的所有Excel文档 def get_all_xlsx_files (path): xlsx_files = glob.glob(os.path.join(path, '*.xlsx')) sorted(xlsx

Python数据分析帮你清晰的了解整理员工们的工作效率和整体满意度

你离开我真会死。 提交于 2020-08-06 03:26:06
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 项目背景 2018年,被称为互联网的寒冬之年。无论大小公司,纷纷走上了裁员之路,还有一些比较惨的,直接关门大吉。2019年上半年,甲骨文裁掉大量35岁左右的程序员,谁也没想到,IT界退休年龄这么早!而内心OS:我的房贷还没还清。。。。 假设你是人力资源总监,你该向谁开刀呢?先回答一下下面的问题。 各部门有多少名员工? 员工总体流失率是多少? 员工平均薪资是多少? 员工平均工作年限是多少? 公司任职时间最久的3名员工是谁? 员工整体满意度如何? 数据处理 import pandas as pd data = pd.read_excel(r ' c:\Users\Administrator\Desktop\英雄联盟员工信息表.xlsx ' ,index_col = u ' 工号 ' ) # 访问columns属性,查看列字段 data.columns # 访问index属性,查看行标记 data.index # 访问values属性,查看数据集 data.values # 对元数据集增加一列奖金列,数额为薪资的20% data[u ' 奖金 ' ] = data[u ' 薪资 ' ]*0.2 data[u ' 奖金 ' ].head() # loc方法

react 下载excel文件

[亡魂溺海] 提交于 2020-08-05 20:45:47
后台返回的是 ResponseEntity< byte []> 格式 1、需要加参数,header的,如下,如果不需要这些,可去掉 export const getFileExport = async (url) => { const headers = await getHeaders () ; return await axios . get (url , { //downloadFiles 接口请求地址 params : { user : sessionStorage . getItem ( TOKEN_SESSION_CONFIG . USER )} , headers : headers , responseType : 'blob' }). then ((rs) => { const blob = new Blob ([rs. data ] , { type : "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet" }) const fileName = " 用户导入模板 .xlsx" ; if ( 'download' in document . createElement ( 'a' )) { // 非 IE 下载 const elink = document .

实战--Python读取Excel表中的用例

早过忘川 提交于 2020-08-05 16:24:30
不管是做Ui自动化和接口自动,代码和数据要分离,会用到Excel,yaml,ini。今天我们重点讲讲Excel数据数据读取,重点是告诉小伙伴思路。 用例如下图: 小伙伴都知道,测试用例是有很多条的,少则几十条,多则上百条?自动化测试的话,测试中需要对用例数据进行读取,那必须循环读取才可以实现自动化。那么问题来了,怎么做呢? 思路: 1、用列表存放这些用例数据,所以要用到列表 2、每一行用例要存放在字典内,所以需要用到字典 3、循环写入到字典,然后存放到列表内 附源码: # !/usr/bin/python3 import xlrd class excel_data: """ 读取excl表接口数据 """ data_path = " E:\\api_interface\\data\\interface.xlsx " # 打开文件 excel = xlrd.open_workbook(data_path) # 通过下标定位表格 sheet = excel.sheet_by_index(0) # 行: 6 和列数: 5 rows, cols = sheet.nrows, sheet.ncols def read_excl(self): # 获取第一行数据key first_row = self.sheet.row_values(0) # print(first_row) # [编号