xlrd

Processing large XLSX file in python

别说谁变了你拦得住时间么 提交于 2020-12-10 08:57:37
问题 I have a large xlsx Excel file (56mb, 550k rows) from which I tried to read the first 10 rows. I tried using xlrd , openpyxl , and pyexcel-xlsx , but they always take more than 35 mins because it loads the whole file in memory. I unzipped the Excel file and found out that the xml which contains the data I need is 800mb unzipped. When you load the same file in Excel it takes 30 seconds. I'm wondering why it takes that much time in Python? 回答1: Here is it, i found a solution. The fastest way to

【python】将excel转成json

坚强是说给别人听的谎言 提交于 2020-11-24 06:28:30
excel格式如下: 转换后如下 {"BD": 1375.0, "BE": 829.0, "BF": 3.0, "BG": 577.0, "BA": 100.0} # !/usr/bin/env python # -*- coding:utf-8 -*- import xlrd import json file = " cn.xlsx " data = xlrd.open_workbook(file) table = data.sheets()[0] nrows = table.nrows returnData = {} for i in range(nrows): content = table.row_values(i) returnData[content[0]] = content[1 ] returnJson = json.dumps(returnData) print returnJson 来源: oschina 链接: https://my.oschina.net/u/4297690/blog/3994330

Python将数据存入硬盘-csv/xml/word/json

怎甘沉沦 提交于 2020-11-18 23:54:29
Python将数据存入硬盘-csv/xml/word/json Python读取和写入CSV文件 CSV,全称为Comma-Separated Values,中文可以叫作逗号分隔值或字符分隔值,其文件以纯文本形式存储表格数据。 该文件是一个字符序列,可以由任意数目的记录组成,记录间以某种换行符分隔。每条记录由字段组成,字段间的分隔符是其他字符或字符串,最常见的是逗号或制表符。 不过所有记录都有完全相同的字段序列,相当于一个结构化表的纯文本形式。它比Excel文件更加简洁,XLS文本是电子表格,它包含了文本、数值、公式和格式等内容,而CSV中不包含这些内容,就是特定字符分隔的纯文本,结构简单清晰。 所以,有时候用CSV来保存数据是比较方便的。 Python读取和写入xml文件 1.背景 1.1 安装模板: 在cmd命令行输入:pip install xlrd 1.2 xlrd介绍: xlrd是python环境下对excel中的数据进行读取的一个模板,可以进行的操作有: 读取有效单元格的行数、列数 读取指定行(列)的所有单元格的值 读取指定单元格的值 读取指定单元格的数据类型 2.常用函数 2.1 打开文件(获取一个工作表): import xlrd data = xlrd.open_workbook( " 01.xls " ) # 打开当前目录下名为01.xls的文档 #

python处理excel文件(xls和xlsx)

落爺英雄遲暮 提交于 2020-11-02 18:21:17
一、xlrd和xlwt 使用之前需要先安装,windows上如果直接在cmd中运行python则需要先执行pip3 install xlrd和pip3 install xlwt,如果使用pycharm则需要在项目的解释器中安装这两个模块,File-Settings-Project:layout-Project Interpreter,点击右侧界面的+号,然后搜索xlrd和xlwt,然后点击Install Package进行安装。 对于excel来说,整个excel文件称为工作簿,工作簿中的每个页称为工作表,工作表又由单元格组成。 对于 xlrd和xlwt,行数和列数从0开始 ,单元格的行和列也从0开始,例如sheet.row_values(2)表示第三行的内容,sheet.cell(1, 2 ).value表示第二行第三列单元格的内容 。 1.xlrd模块读取excel文件 使用xlrd模块之前需要先导入import xlrd, xlrd模块既可读取xls文件也可读取xlsx文件 。 获取工作簿对象 :book = xlrd.open_workbook('excel文件名称') 获取所有工作表名称 :names = book.sheet_names(),结果为列表 根据索引获取工作表对象 :sheet = book.sheet_by_index(i) 根据名称获取工作表对象

excel

此生再无相见时 提交于 2020-10-30 06:02:10
[TOC] xlwt 打开一个 Excel 后再写数据直接保存就可以了,不用再重新打开 语法 作用 xlwt_book = xlwt.Workbook(encoding='utf-8') 新建工作薄 xlwt_sheet = xlwt_book.add_sheet('sheet1') 新建 Sheet xlwt_sheet.write(0,0,'文本') 通过行列索引写入数据 xlwt_book.save(r'c:\test.xls') 保存 from xlwt import * xlwt_book = Workbook() xlwt_sheet = xlwt_book.add_sheet('sheet1') for i in range(1,10): style = XFStyle() style.num_format_str = 'mm:ss' xlwt_sheet.write(i, 0,'文本', style) xlwt_sheet.write(0, i, '文本', style) xlwt_book.save('demo.xls') 类别 语法 作用 style = XFStyle() 实例化类别 style.num_format_str = 'mm:ss' 设置类别 xlwt_sheet.write(1, 1, '文本', style) 根据索引写入单元格

python对Excel的读取

余生颓废 提交于 2020-10-03 02:36:45
  在python自动化中,经常会遇到对数据文件的操作,比如添加多名员工,但是直接将员工数据写在python文件中,不但工作量大,要是以后再次遇到类似批量数据操作还会写在python文件中吗?   应对这一问题,可以将数据写excel文件,针对excel 文件进行操作,完美解决。   本文仅介绍python对excel的操作    安装xlrd 库   xlrd库 官方地址: https://pypi.org/project/xlrd/   pip install xlrd         笔者在安装时使用了 pip3 install xlrd   原因:笔者同时安装了python2 和 python3   如果pip的话会默认将库安装到python2中,python3中不能直接调用。   那么到底是使用pip 还是pip3进行安装呢?     如果系统中只安装了Python2,那么就只能使用pip。     如果系统中只安装了Python3,那么既可以使用pip也可以使用pip3,二者是等价的。     如果系统中同时安装了Python2和Python3,则pip默认给Python2用,pip3指定给Python3用。 Xlrd 库简单的使用   以如下excel文件为例进行操作   文件名为demo,有两个sheet,名为工作表1和工作表2   工作表1中有如下数据      

13-用 Python 读写 Excel 文件

倖福魔咒の 提交于 2020-10-02 13:12:56
在以前,商业分析对应的英文单词是Business Analysis,大家用的分析工具是Excel,后来数据量大了,Excel应付不过来了(Excel最大支持行数为1048576行),人们开始转向python和R这样的分析工具了 XlsxWriter xlrd&xlwt OpenPyXL Microsoft Excel API 介绍 可以创建 Excel 2007 或更高版本的 XLSX 文件 即 python-excel ,含 xlrd 、 xlwt 和 xlutils 三大模块,分别提供读、写和其他功能 可以读写 Excel 2007 XLSX 和 XLSM 文件 直接通过 COM 组件与Microsoft Excel 进程通信,调用其各种功能实现对 Excel 文件的操作 读 ❌ ✅ ✅ ✅ 写 ✅ ✅ ✅ ✅ 修改 ❌ ❌ ⚠️ ✅ .xls ❌ ✅ ❌ ✅ .xlsx ✅ ⚠️ ✅ ✅ 大文件 ✅ ❌ ✅ ❌ 功能 强 弱 一般 超强 速度 快 快 快 超慢 系统 无限制 无限制 无限制 Windows + Excel 使用场景 要创建 XLSX 文件 不需要读取已有文件 需要实现比较复杂的功能 数据量可能会很大 需要跨平台 要读取 XLS 或 XLSX 文件 要生成 XLS 文件 需要的功能不太复杂 需要跨平台 要处理 XLSX 文件 需要修改已有文件

【python接口自动化】- openpyxl读取excel数据

喜欢而已 提交于 2020-10-02 11:36:18
【python接口自动化】- openpyxl读取excel数据 前言:目前我们进行测试时用于存储测试数据的软件几乎都是excel,excel方便存储和管理数据,读取数据时也比较清晰,测试时我们需要从excel从读取测试数据,结束后还需把测试结果写入到excel中,读取这一动作以往都是通过人工来操作,学会使用openpyxl后,就可以实现自动化地读取数据,解放双手。 1|0openpyxl简单介绍 ​ openpyxl是一个开源项目,它是一个用于读取/写入Excel 2010文档(如xlsx 、xlsm 、xltx 、xltm文件 )的Python库,如果要处理更早格式的Excel文档(xls),需要用到其它库(如:xlrd、xlwt等),这是openpyxl比较其他模块的不足之处。openpyxl是一款比较综合的工具,不仅能够同时读取和修改Excel文档,而且可以对Excel文件内单元格进行详细设置,包括单元格样式等内容,甚至还支持图表插入、打印设置等内容。 ​ python中与excel操作相关的模块: 📔 xlrd库:从excel中读取数据,支持xls、xlsx格式 📔 xlwt库:对excel进行修改操作,但不支持对xlsx格式的修改 📔 xlutils库:在xlwt和xlrd中,对一个已存在文件进行修改 📘 openpyxl库

python操作Excel读写--使用xlrd

僤鯓⒐⒋嵵緔 提交于 2020-09-28 13:52:26
一、安装xlrd模块 到python官网下载 http://pypi.python.org/pypi/xlrd 模块安装,前提是已经安装了python 环境。 二、使用介绍 1、导入模块 import xlrd 2、打开Excel文件读取数据 data = xlrd.open_workbook('excelFile.xls') 3、使用技巧 获取一个工作表 table = data.sheets()[0] # 通过索引顺序 获取 table = data.sheet_by_index(0) # 通过索引顺序 获取 table = data.sheet_by_name(u'Sheet1')# 通过名称获取 获取整行和整列的值(数组)    table.row_values(i) table.col_values(i) 获取行数和列数    nrows = table.nrows ncols = table.ncols 循环行列表数据 for i in range(nrows ): print table.row_values(i) 单元格 cell_A1 = table.cell(0,0).value cell_C4 = table.cell(2,3).value 使用行列索引 cell_A1 = table.row(0)[0].value cell_A2 = table.col(1

Python处理Excel的案例汇总(文末有福利)

拟墨画扇 提交于 2020-09-28 05:48:19
知乎上有个提问: 用python进行办公自动化都需要学习什么知识呢? 这可能是很多非IT职场人士面临的问题,想把python用到工作中,却不知如何下手?python在自动化办公领域越来越受欢迎,把简单的工作进行批量处理简直是加班族的梦想。 Python自动化办公(可能是B站内容最全的~) 传送门:https://www.bilibili.com/video/BV1y54y1i78U 具体说来自动化办公excel、ppt、word、邮件、文件处理、数据分析处理、爬虫这些,这次就来分享一下python自动化办公的那些知识点~ python基础 excel自动化 · 案例收集 python基础 能进行自动化办公的前提是会使用Python,最起码要熟悉基本语法,可以独立完成几十行代码的编写。 对于python语法的要求,你可以对照下面这个python基础教程的部分查看需要学那些,找个免费视频教程跟着学,然后多敲代码练习。如果习惯看书的话,可以买本python入门书备查。 关于python的基础语法,可以参考我之前推荐过的入门书籍和入门教程: 传送门 Python入门视频: Python入门23讲(获取方式) Python入门图书: 畅销30万册的Python3编程入门教程 语法 主要内容 基本数据类型 不可变数据(3 个):Number(数字)、String(字符串)、Tuple(元组)