mnist

How to unpack pkl file?

独自空忆成欢 提交于 2019-12-03 01:02:16
问题 I have a pkl file from MNIST dataset, which consists of handwritten digit images. I'd like to take a look at each of those digit images, so I need to unpack the pkl file, except I can't find out how. Is there a way to unpack/unzip pkl file? 回答1: Generally Your pkl file is, in fact, a serialized pickle file, which means it has been dumped using Python's pickle module. To un-pickle the data you can: import pickle with open('serialized.pkl', 'rb') as f: data = pickle.load(f) For the MNIST data

Tensorflow Basic Example Error: CUBLAS_STATUS_NOT_INITIALIZED

匿名 (未验证) 提交于 2019-12-03 00:56:02
可以将文章内容翻译成中文,广告屏蔽插件可能会导致该功能失效(如失效,请关闭广告屏蔽插件后再试): 问题: Hello I am trying to install and run tensorflow 1.0. I am using the following guide https://www.tensorflow.org/get_started/mnist/beginners However when I run the file mnist_softmax.py I get the following errors. python3 mnist_softmax.py Extracting /tmp/tensorflow/mnist/input_data/train-images-idx3-ubyte.gz Extracting /tmp/tensorflow/mnist/input_data/train-labels-idx1-ubyte.gz Extracting /tmp/tensorflow/mnist/input_data/t10k-images-idx3-ubyte.gz Extracting /tmp/tensorflow/mnist/input_data/t10k-labels-idx1-ubyte.gz 2017-05-03 14:25:28.243213:

You must feed a value for placeholder tensor 'Placeholder' with dtype float and shape [?,784] for MNIST dataset

匿名 (未验证) 提交于 2019-12-03 00:50:01
可以将文章内容翻译成中文,广告屏蔽插件可能会导致该功能失效(如失效,请关闭广告屏蔽插件后再试): 问题: Here is the example I am testing on MNIST dataset for quantization. I am testing my model using below code: import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data from tensorflow.python.framework import graph_util from tensorflow.core.framework import graph_pb2 import numpy as np def test_model(model_file,x_in): with tf.Session() as sess: with open(model_file, "rb") as f: output_graph_def = graph_pb2.GraphDef() output_graph_def.ParseFromString(f.read()) _ = tf.import_graph_def(output_graph_def, name="") x = sess

手写数字识别

匿名 (未验证) 提交于 2019-12-03 00:43:02
tensorflow库内包含mnist,直接加载mnist数据并转为一维数组形式。直接加载的是.gz格式。 import tensorflow .examples .tutorials .mnist .input _data as input_data # 加载mnist数据 mnist = input_data .read _data_sets( "MNIST_data/" , one_hot=True) # one_hot为是否将标签转为一维数组形式 加载数据 图片转为一维数组 建立模型:softmax回归模型 w为可变n*784二维矩阵,b为10数组 w、b变量初始化为0 y=w*x+b 损失函数:交叉熵 训练模型 模型评估 # -*- coding: utf-8 -*- # 读取数据图片,预处理 import tensorflow as tf import tensorflow .examples .tutorials .mnist .input _data as input_data # 加载mnist数据 mnist = input_data .read _data_sets( "MNIST_data/" , one_hot=True) # one_hot为是否将标签转为一维数组形式 # 构建softmax回归模型 sess = tf

tensorflow编程模式的理解

匿名 (未验证) 提交于 2019-12-03 00:42:01
1.MNIST数据库下载好后,在tensorflow/examples/tutorials/mnist/下建立文件夹MNIST_data即可运行本程序 2.关键在与理解Operation,Tensor,Graph,只有执行session.run()时操作才真正执行 import tensorflow.examples.tutorials.mnist.input_data as input_data mnist = input_data.read_data_sets(‘MNIST_data/‘,one_hot = True) import tensorflow as tf # 定义计算图 # 操作Operation为图的节点(如下面的tf.placeholder(tf.float32,[None,784])等) # 数据Tensor为图的边(如下面的x,y等) # 添加Operation时不会立即执行,只有执行session.run(Operation或Tensor)时才会真正执行 x = tf.placeholder(tf.float32,[None,784]) y = tf.placeholder(tf.float32,[None,10]) W = tf.Variable(tf.zeros([784,10]),tf.float32) b = tf.Variable(tf

图像分类入门,轻松拿下90%准确率|教你用Keras搞Fashion-MNIST

匿名 (未验证) 提交于 2019-12-03 00:36:02
教程会介绍如何用TensorFlow里的tf.keras函数,对Fashion-MNIST数据集进行图像分类。 只需几行代码,就可以定义和训练模型,甚至不需要太多优化,在该数据集上的分类准确率能轻松超过90%。 在进入正题之前,我们先介绍一下上面提到的两个名词: Fashion-MNIST,是去年8月底德国研究机构Zalando Research发布的一个数据集,其中训练集包含60000个样本,测试集包含10000个样本,分为10类。样本都来自日常穿着的衣裤鞋包,每一个都是28×28的灰度图。 这个数据集致力于成为手写数字数据集MNIST的替代品,可用作机器学习算法的基准测试,也同样适合新手入门。 想深入了解这个数据集,推荐阅读量子位之前的报道: 连LeCun都推荐的Fashion-MNIST数据集,是这位华人博士的成果 或者去GitHub: https://github.com/zalandoresearch/fashion-mnist tf.keras是用来在TensorFlow中导入Keras的函数。Keras是个容易上手且深受欢迎的深度学习高级库,是一个独立开源项目。在TensorFlow中,可以使用tf.keras函数来编写Keras程序,这样就能充分利用动态图机制eager execution和tf.data函数。 下面可能还会遇到其他深度学习名词,我们就不提前介绍啦

mnist 对应的所有的函数格式

匿名 (未验证) 提交于 2019-12-03 00:34:01
我们都知道tensorflow自带的mnist库,那么这个库里面的文件是以什么形式保存的呢?我们该怎么把mnist里面数据转化成图像呢?首先看mnist数据格式 [python] view plain copy from import "MNIST_data/" True print print print print print print 上面这写代码可以看出mnist主要由三个文件,train val 和test文件,以及对应的label train.images.shap得出784,这意味着mnist.train.image里面保存着784个数字,这784个数字就是我们的mnist手写图像。我们该怎么把这些数字转化成能看见的图像? [python] view plain copy import from import import import "MNIST_data/" True #data_trainsform这个函数是将数字转化成可视化的图像 def #将784转换成28*28的矩阵 28 28 #定义一个简单的28X28矩阵 for in 0 , 27 for in 0 , 27 28 return 1 print 1 print print print print print print 通过这些我们可以大致了解mnist里面的数据格式, mnist.train

tensorflow自己实现SGD功能

匿名 (未验证) 提交于 2019-12-03 00:32:02
手动实现SGD和调用优化器结果比较 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data #mnist已经作为官方的例子,做好了数据下载,分割,转浮点等一系列工作,源码在tensorflow源码中都可以找到 mnist = input_data.read_data_sets( 'MNIST_data' , one_hot=True) # 配置每个 GPU 上占用的内存的比例 # 没有GPU直接sess = tf.Session() gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction= 0.95 ) sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options)) #每个批次的大小 batch_size = 20 #定义训练轮数据 train_epoch = 1 #定义每n轮输出一次 test_epoch_n = 1 #计算一共有多少批次 n_batch = mnist.train.num_examples // batch_size print( "batch_size=" +str(batch_size)+ "n_batch=" +str

tensorflow实战学习笔记(1)

匿名 (未验证) 提交于 2019-12-03 00:32:02
tensorflow提供了三种不同的加速神经网路训练的并行计算模式 (一)数据并行: (二)模型并行: (三)流水线并行: 主流深度学习框架对比(2017): 第一章 Tensorflow实现Softmax Regression识别手写数字 数据集:28x28像素的手写数字组成。 1.在导入mnist 数据集时,会碰到一系列的问题,在这里做一些简要的说明: (1)导入数据集时报错如下:(图是别地找的,但报错信息就是这样) 碰到这种情况,直接在官网上下载 数据集 ,不用解压,将存放数据集的路径添加到数据读取函数中,就可以解决,具体见后面的代码: (2)由于我之前用的是cpu版本的tensorflow,在做mnist实验时没有遇到这种情况,后来更换为gpu版本的时,在读取数据时会报错, 具体信息是:SymbolDatabase has no attribute RegisterServiceDescriptor(图是别地找的,但报错信息就是这样) 百度了一下发现解决的方案很少,也没有提供有价值的信息, 最后在github上 这里 找到了一些信息。看大家的讨论大致意思是由于protobuf版本的问题,打开pycharm的interpreter: 有一个3.2.0版本的protobuf. 怎么会同时从在两个版本的protobuf,我好想知道为什么了 问题解决了。

TensorFlow下CNN在MNIST数据集下的实验

匿名 (未验证) 提交于 2019-12-03 00:30:01
#coding:utf-8 from tensorflow.examples.tutorials.mnist import input_data import tensorflow as tf mnist = input_data.read_data_sets ( "MNIST_data/" , one_hot = True ) sess = tf.InteractiveSession () x = tf.placeholder ( "float" , [ None , 784 ] ) y_ = tf.placeholder ( "float" , [ None , 10 ] ) W = tf.Variable ( tf.zeros ( [ 784 , 10 ] )) b = tf.Variable ( tf.zeros ( [ 10 ] )) sess.run ( tf.initialize_all_variables ()) #权重初始化 def weight_variable ( shape ) : initial = tf.truncated_normal ( shape , stddev = 0.1 ) return tf.Variable ( initial ) def bias_variable ( shape ) : initial = tf.constant (