智能平台

使用命令pip install -i http://mirrors.aliyun.com/pypi/simple/ tensorFlow 报错 '--trusted-host mirrors.aliyun.com'. 需要改成 pip install -i http://mirrors.aliyun.com/pypi/simple/ tensorFlow --trusted-host mirrors.aliyun.com 来源： https://my.oschina.net/jywm/blog/3129002

“学习hadoop需要什么基础”这已经不是一个新鲜的话题了，随便上网搜索一下就能找出成百上千篇的文章在讲学习hadoop需要掌握的基础。再直接的一点的问题就是——学Hadoop难吗？用一句特别让人无语的话回答就是：难不会，会不难！ 趁着学校放假的时间，写了一些hadoop学习分享的文章。刚开始写的几篇稍微有点乱，其中有一篇就是在说学习hadoop需要什么样基础的。所谓的难不会，会不难，必然也是建立你现在的基础之上的。假定你连基础的计算机基础都没有，那可能真的就是“难不会”了。如果你是有一个良好的计算机基础的，比如，虚拟机的配置你会、拥有JAVA基础和Linux操作基础，那学习hadoop对你来可能就是“会不难”哦！ 当你看了很多介绍“学习hadoop需要什么基础”的文章后，你一定会得出一个结论，那就是学习hadoop所必须的三个基础技能：JAVA基础、Linux基础、虚拟机基础（上面已经说过了）。所有的文章在说完这个三个基础之后，好像在告诉我们所有人，你只要有这个三个基础就一定能够学好hadoop，从此走上人生巅峰······其实，也不尽然，只有当你真正接触了hadoop，你才会发现真正的问题所在。 接触过hadoop的人都知道，单独搭建hadoo里每个组建都需要运行环境、修改配置文件、测试等过程。如果仅仅是安装一下运行环境就行了，那你就大错特错了，几乎每个组件都是坑

MNIST数据集输出手写数字识别准确率 大纲 5.1 MNIST数据集 5.2 模块化搭建神经网络 5.3 手写数字识别准确率输出 目标 利用MNIST数据集巩固模块化搭建神经网路的八股，实践前向传播和反向传播过程，编写测试程序输出手写数字识别准确率。 5.1 MNIST数据集 MNIST数据集 ：包含7万张黑底白字手写数字图片，其中55000张为训练集， 5000张为验证集，10000张为测试集。每张图片大小为28*28像素，图片中纯黑色像素值为0，纯白色像素值为1。数据集的标签是长度为10的一维数组，数组中每个元素索引号表示对应数字出现的概率。 在将mnist数据集作为输入喂入神经网络时，需先将数据集中每张图片变为长度 784一维数组，将该数组作为神经网络输入特征喂入神经网络。 例如： 一张数字手写体图片变成长度为784的一维数组[0.0.0.0.0.231 0.235 0.459 ……0.219 0.0.0.0.]输入神经网络。该图片对应的标签为[0.0.0.0.0.0.1.0.0.0]，标签中索引号为6的元素为1，表示是数字6出现的概率为100%，则该图片对应的识别结果是6。 使用input_data模块 中的read_data_sets()函数加载mnist数据集： from tensorflow.examples.tutorials.mnist import input

使用 TensorFlow 构建机器学习项目中文版 第 1 章 探索和转换数据 TensorFlow 的主要数据结构 -- 张量 处理计算工作流程 -- TensorFlow 的数据流程图 运行我们的程序 -- 会话 基本张量方法 总结 第 2 章 聚类 从数据中学习 -- 无监督学习 聚类 k 均值 k 最近邻 项目 1 -- 在合成数据集上进行 k 均值聚类 项目 2 -- 综合数据集上的最近邻 总结 第 3 章 线性回归 单变量线性建模函数 成本函数的确定 最小化成本函数 示例部分 示例 1 -- 单变量线性回归 示例 2 -- 多元线性回归 总结 第 4 章 逻辑回归 问题描述 sigmoid 函数的前身 -- Logit 函数 sigmoid 函数 示例 1 -- 单变量 logistic 回归 示例 2 -- 使用 skflow 的单变量 logistic 回归 总结 第 5 章 简单的前馈神经网络 初步概念 第一个项目 -- 非线性合成函数回归 第二个项目 -- 使用非线性回归建模汽车的燃油效率 第三个项目 -- 学习葡萄酒分类：多类分类 总结 第 6 章 卷积神经网络 卷积神经网络的起源 示例 1 -- MNIST 数字分类 示例 2 -- 使用 CIFAR10 数据集进行图像分类 总结 第 7 章 循环神经网络和 LSTM 循环神经网络 示例 1 --

一、论文地址 Very Deep Convolutional Networks for Large-Scale Image Recognition 二、文章总结 对AlexNet的改进： ZFNet：smaller receptive window size，smaller stride of the first convolutional layer； Sermanet：密集(densely)、多尺度(multiple scales)； VGG：通过使用更小的卷积核(3*3)，增加网络深度。 文章表示LRN并没有提高准确率，反而增加了计算成本和内存消耗。 预处理为什么要减去RGB均值： 可以移除图像的平均亮度值，更多关注其内容 为什么2个3*3卷积核与1个5*5卷积核等价 这里的等价时 2个3*3卷积核的感受野与1个5*5卷积核相同 比如input size：28*28 28*28 ——5*5—— (28-5)/1+1=24 28*28 ——3*3—— (28-3)/1+1=26 ——3*3—— (26-3)/1+1=24 权重初始化 先训练VGG-11网络，因为网络较浅，能够快速得到反馈，在此网络中对权重进行随机初始化。然后，在训练更深的网络时，我们用训练好后VGG-11对应网络层中的权重初始化更深的网络的前四层卷积层和最后三层全连接层，剩余中间层随机初始化。 三

文字检测 是文字识别过程中的一个非常重要的环节，文字检测的主要目标是将图片中的文字区域位置检测出来，以便于进行后面的文字识别，只有找到了文本所在区域，才能对其内容进行识别。 文字检测的场景主要分为两种，一种是简单场景，另一种是复杂场景。 其中，简单场景的文字检测较为简单，例如像书本扫描、屏幕截图、或者清晰度高、规整的照片等；而复杂场景，主要是指自然场景，情况比较复杂，例如像街边的广告牌、产品包装盒、设备上的说明、商标等等，存在着背景复杂、光线忽明忽暗、角度倾斜、扭曲变形、清晰度不足等各种情况，文字检测的难度更大。如下图： 本文将介绍简单场景、复杂场景中常用的文字检测方法，包括形态学操作、MSER+NMS、CTPN、SegLink、EAST等方法 ，并主要以ICDAR场景文字图片数据集介绍如何使用这些方法，如下图： 1、简单场景：形态学操作法 通过利用计算机视觉中的图像形态学操作，包括膨胀、腐蚀基本操作，即可实现简单场景的文字检测，例如检测屏幕截图中的文字区域位置，如下图： 其中，“膨胀”就是对图像中的高亮部分进行扩张，让白色区域变多；“腐蚀”就是图像中的高亮部分被蚕食，让黑色区域变多。通过膨胀、腐蚀的一系列操作，可将文字区域的轮廓突出，并消除掉一些边框线条，再通过查找轮廓的方法计算出文字区域的位置出来。主要的步骤如下： 读取图片，并转为灰度图 图片二值化，或先降噪后再二值化

欢迎大家前往 腾讯云+社区 ，获取更多腾讯海量技术实践干货哦~ 本文由 forrestlin 发表于 云+社区专栏 导语：转置卷积层（Transpose Convolution Layer）又称反卷积层或分数卷积层，在最近提出的卷积神经网络中越来越常见了，特别是在对抗生成神经网络（GAN）中，生成器网络中上采样部分就出现了转置卷积层，用于恢复减少的维数。那么，转置卷积层和正卷积层的关系和区别是什么呢，转置卷积层实现过程又是什么样的呢，笔者根据最近的预研项目总结出本文。 1. 卷积层和全连接层 在CNN提出之前，我们所提到的人工神经网络应该多数情况下都是前馈神经网络，两者区别主要在于CNN使用了卷积层，而前馈神经网络用的都是全连接层，而这两个layer的区别又在于全连接层认为上一层的所有节点下一层都是需要的，通过与权重矩阵相乘层层传递，而卷积层则认为上一层的有些节点下一层其实是不需要的，所以提出了卷积核矩阵的概念，如果卷积核的大小是n m，那么意味着该卷积核认为上一层节点每次映射到下一层节点都只有n m个节点是有意义的，具体的映射方式下一节会讲到。到这里，有些初学者会认为全连接层也可以做到，只要让权重矩阵某些权重赋值为0就可以实现了，例如假设在计算当前层第2个节点时认为上一层的第1个节点我不需要，那么设置w01=0就可以了。其实没错，卷积层是可以看做全连接层的一种特例

TensorFlow 深度学习实战指南中文版 第 1 章入门 安装 TensorFlow 简单的计算 逻辑回归模型构建 逻辑回归训练 第 2 章深度神经网络 基本神经网络 单隐藏层模型 单隐藏层的说明 多隐藏层模型 多隐藏层的结果 总结 第 3 章卷积神经网络 卷积层动机 卷积层应用 池化层动机 池化层应用 深度 CNN 更深的 CNN 深度 CNN 总结 总结 第 4 章循环神经网络介绍 探索 RNN TensorFlowLearn DNN 总结 第 5 章总结 研究评价 快速浏览所有模型 TensorFlow 的未来 总结 来源： https://my.oschina.net/wizardforcel/blog/3110076

NativeImageLoader Labelloader = new NativeImageLoader(112, 112, 3,new FlipImageTransform(-1)); 一、导读 众所周知图像是有红绿蓝三种颜色堆叠而成，利用deeplearning对图像处理，必须把图像转化为张量，每一张图片由有三维张量组成，三维分别是[depth、height、width]，直观来讲，就是用三个矩阵堆叠起来，每一个矩阵代表一个通道，如下图。有时候需要对图片进行旋转、缩放、裁剪、缩小填充等等复杂的操作，没有一个好用的工具，整个操作过程是非常繁琐的。今天我们就来聊一聊DL4J的datavec对图像的处理。 二、datavec-data-image代码架构 datavec-data-image是dl4j基于opencv封装的图像处理库，可以非常方便的把图片处理为张量。代码分三个重要部分，loader（图片加载器）、transform（转化器）。 1、loader：图片加载器，主要用于将图片加载并转化为张量。整个类结构如下图 2、transform转化器，主要用于对图片张量的旋转、缩放、裁剪等操作，这里列出几个比较重要的转化器。 ResizeImageTransform：缩放图片 FlipImageTransform：翻转图片，例如上线左右颠倒 CropImageTransform

ThensorFlow能够并行处理多个任务，而队列是一种强大的异步计算机制。 如果我们拥有大型数据集，则可以大大加快模型的训练过程。 当以小批量读取，预处理和提取我们的训练数据时，此功能特别方便。 能够对我们的模型进行专业且高性能的训练的秘诀是使用TensorFlow提供的排队操作。 TensorFlow已经实现了4种类型的队列：FIFOQueue，PaddingFIFOQueue，PriorityQueue和RandomShuffleQueue。 就像TensorFlow中的所有操作一样，队列也是计算图中的一个节点。 它是一个有状态的节点，就像变量一样：其他节点可以修改其内容，特别是节点可以将新元素加入到队列，或从队列中弹出现有元素。 为了开始学习队列操作，让我们先从一个简单的示例开始。 我们将创建一个“先进先出”队列（FIFOQueue）并用数字填充。 然后，我们将构建一个计算图，该图将一个元素从队列中移出，然后将一个元素添加到该项目中，最后将其放回队列的末尾。 [TestMethod] public void FIFOQueue() { // create a first in first out queue with capacity up to 2 // and data type set as int32 var queue = tf.FIFOQueue(2, tf