hdf5

Warning! ***HDF5 library version mismatched error*** python pandas windows

﹥>﹥吖頭↗ 提交于 2020-04-08 04:07:45
问题 I'm using pandas/python to save a DataFrame in a HDFStore format. When I apply the my_data_frame.to_hdf(arguments...) command I have an error message: Warning! ***HDF5 library version mismatched error *** and my program is stopped. I'm working on Windows 7 (64bits), using Python 3.5.2 :: Anaconda 4.1.1 (64-bit). I've been reading about this error message and as it says it's a problem between the version of HDF5 installed on my computer and the one used by Anacondas. According this post, a

【Caffe】Ubuntu 安装 Caffe gpu版

☆樱花仙子☆ 提交于 2020-03-18 06:12:40
安装环境:Ubuntu 16.04lts 64位, gcc5.4 gpu1050ti,cuda8.0,cudnn5.1.10 1. 安装依赖库 sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev libboost-all-dev protobuf-compiler sudo apt-get install libatlas-base-dev libgflags-dev libgoogle-glog-dev liblmdb-dev 2. 安装caffe   终端输入命令: git clone git://github.com/BVLC/caffe.git   然后找到caffe文件夹,打开后会发现Makefile.config.example 文件,   这时候将Makefile.config.example复制一份命名为Makefile.config,并打开,将 #USE_CUDNN := 1 # CUDA_DIR := /usr/local/cuda # CUDA_ARCH := -gencode arch=compute_20,code=sm_20 \   #-gencode arch=compute_20,code=sm_21 \

[置顶]
caffe+CPU︱虚拟机+Ubuntu16.04+CPU+caffe安装笔记

試著忘記壹切 提交于 2020-03-07 16:21:15
由于虚拟机下的 Ubuntu 系统一般不包含 GPU ,故这次安装时为了在无 GUP 环境下运行 caffe 。所以只需安装CPU版本的caffe 由于本机是window10系统,所以想尝试caffe就在自己电脑上整了一个虚拟机(详情可见: win10系统搭建虚拟机:VMware Workstation Player 12环境+Ubuntu Kylin 16.04 LTS系统 ),然后昨天在自己虚拟机上配置了一个caffe环境。 其中,只是尝试着搭建了一个CPU版本的caffe, Ubuntu16.04中自带了python 2.7。 在安装的过程中,真的会出现各种各样的报错,但是... 感慨天朝的实力... 每一个bug都能搜索到如何解,所以... 不要担心,百度、谷歌一起教你装caffe。 —————————————————————————————————————————————— 本篇内容为两个:caffe安装流程+报错举例 一、caffe安装流程:安装依赖、配置python、配置caffe、 配置caffe的makefile文件、 配置python caffe 二、报错举例:linux系统的报错问题、caffe报错问题、python报错问题 、虚拟机问题 ————————————————————————————————— 一、caffe安装流程 caffe安装流程:安装依赖

一种新的N维查找表实现方法

泄露秘密 提交于 2020-03-07 02:11:36
注:此为论文读书笔记 英文论文原名为:《A new Implementation of the N-D Lookup Tables》 由于笔者英文水平不咋地,先翻译了一遍。 摘要  HDF5Table库是一个开源的解决方案,用于系统仿真中典型数据集的有效处理、交换(exchange)和插值(interpolating)访问。该库由C函数、Python脚本和示例组成,可以与Modelica或Simulink等不同的应用程序一起使用。此外,还提供了一套允许用户创建,迁移,编辑,比较和管理数据集的综合工具。  应用范围包括从测量或其他仿真中导入数据,在预处理例程中集成数据集,在仿真中使用数据集以及对仿真结果进行后处理。为了消除(eliminate)仿真工具或不同公司之间的数据交换后的主要误差源,并验证数据集,每个数据集可以附加物理单位和数量。可以使用不同的内插和外插方法轻松访问表数据。 为了保存(persist)和交换数据集,使用了HDF5标准的子集。 使用HDF5 API,大型文件的数据访问速度很快,其中包含多个变量,包含数百万个值,并且可以在许多其他工具中打开数据集。 关键字:HDF5; 查找表; 单位和数量安全; 插值 外插法 摘要介绍了一个叫HDF5表的标准库,看他的意思,这个库很厉害。 1 简介 查找表通常在工业仿真中起主要作用

How to speed up reading from compressed HDF5 files

拈花ヽ惹草 提交于 2020-03-05 09:29:08
问题 I have several big HDF5 file stored on an SSD (lzf compressed file size is 10–15 GB, uncompressed size would be 20–25 GB). Reading the contents from such a file into RAM for further processing takes roughly 2 minutes per file. During that time only one core is utilized (but to 100%). So I guess the decompression part running on CPU is the bottleneck and not the IO throughput of the SSD. At the start of my program it reads multiple files of that kind into RAM, which takes quite some time. I

How to speed up reading from compressed HDF5 files

末鹿安然 提交于 2020-03-05 09:29:08
问题 I have several big HDF5 file stored on an SSD (lzf compressed file size is 10–15 GB, uncompressed size would be 20–25 GB). Reading the contents from such a file into RAM for further processing takes roughly 2 minutes per file. During that time only one core is utilized (but to 100%). So I guess the decompression part running on CPU is the bottleneck and not the IO throughput of the SSD. At the start of my program it reads multiple files of that kind into RAM, which takes quite some time. I

来杯Caffe——在ubuntu下安装Caffe框架并测试

六眼飞鱼酱① 提交于 2020-03-03 00:27:50
Caffe是一种深度学习框架...blablabla...... Caffe要在ubuntu下安装 1. 安装依赖 sudo apt-get install libatlas-base-dev sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-serial-dev sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev protobuf-compiler 2. 下载Caffe # 从自己的git仓库下更快,我的仓库地址 https://git.oschina.net/rongfangliu/caffe.gitgit clone https://github.com/BVLC/caffe.git cd caffe cp Makefile.config.example Makefile.config 3. 修改生成时配置文件 修改 Makefile.config 文件的第8行,将CPU_ONLY的注释打开,只使用CPU(当然是因为穷diao如我没有N卡) # Adjust Makefile.config (for example, if using

Matlab 与 python之间的数据传递

荒凉一梦 提交于 2020-03-01 20:24:22
详细内容,详见 Zhong's Blog matlab和python之间数值传递的方式,经常用到的是 通过文本文件 通过mat文件 通过hdf5文件 第一条比较简单; 第二条需要注意的是python仅支持 (v4, v6 and v7 to 7.2),因此在使用matlab存储数据的时候,应该设定好具体的版本,如: save('save.mat','data','-v6) ; 第三条需要注意的是,数据的维度会反转,如cubic变量会从原来的(2,3,4)变成(4,3,2),此时需要进一步的处理, 详见 Zhong's Blog 来源: oschina 链接: https://my.oschina.net/u/929903/blog/180125

h5py快速入门指南

淺唱寂寞╮ 提交于 2020-03-01 14:10:34
h5py是Python语言用来操作HDF5的模块。下面的文章主要介绍h5py的快速入门指南,翻译自h5py的官方文档: http://docs.h5py.org/en/latest/quick.html 。该翻译仅为个人学习h5py为目的,如有翻译不当之处,请速联系笔者或提供正确的翻译,非常感谢! 安装 使用 Anaconda 或者 Miniconda : conda install h5py 用 Enthought Canopy ,可以使用GUI安装包安装或用 enpkg h5py 安装。用pip或setup.py安装,请参考 安装方式 。 核心概念 一个HDF5文件就是一个容器,用于储存两类对象:datasets,类似于数组的数据集合;groups,类似于文件夹的容器,可以储存datasets和其它groups。当使用h5py时,最基本的准则为: groups类似于字典(dictionaries),dataset类似于Numpy中的数组(arrays)。 假设有人给你发送了一个HDF5文件, mytestfile.hdf5(如何创建这个文件,请参考: 附录:创建一个文件 ).首先你需要做的就是打开这个文件用于读取数据: >>> import h5py >>> f = h5py.File('mytestfile.hdf5', 'r') 这个File对象是你的起点

python开源库——h5py快速指南

大憨熊 提交于 2020-03-01 12:26:41
1. 核心概念 一个HDF5文件是一种存放两类对象的容器:dataset和group. Dataset是类似于数组的数据集,而group是类似文件夹一样的容器,存放dataset和其他group。在使用h5py的时候需要牢记一句话:groups类比词典,dataset类比Numpy中的数组。 HDF5的dataset虽然与Numpy的数组在接口上很相近,但是支持更多对外透明的存储特征,如数据压缩,误差检测,分块传输。 2. 读取和保存HDF5文件 1) 读取HDF5文件的内容 首先我们应该打开文件: >>> import h5py >>> f = h5py.File('mytestfile.hdf5', 'r') 请记住h5py.File类似 Python 的词典对象,因此我们可以查看所有的键值: >>> f.keys() [u'mydataset'] 基于以上观测,文件中有名字为mydataset这样一个数据集。然后我们可以用类似词典的方法读取对应的dataset对象。 >>> dset = f['mydataset'] Dset是一个HDF5的dataset对象,我们可以像Numpy的数组一样访问它的属性和数据。 >>> dset.shape (100,) >>> dset.dtype dtype('int32') >>> dset[...] = np.arange(100)