Inception

【推荐阅读】微服务还能火多久？>>> 　　Deep Dream是谷歌公司在2015年公布的一项有趣的技术。在训练好的卷积神经网络中，只需要设定几个参数，就可以通过这项技术生成一张图像。 　　本文章的代码和图片都放在我的 github 上，想实现本文代码的同学建议大家可以先把代码Download下来，再参考本文的解释，理解起来会更加方便。 疑问： 卷积层究竟学习到了什么内容？ 卷积层的参数代表的意义是什么？ 浅层的卷积和深层的卷积学习到的内容有哪些区别？ 　　设输入网络的图形为x，网络输出的各个类别的概率为$t$(1000维的向量，代表了1000种类别的概率)，我们以t[100]的某一类别为优化目标，不断地让神经网络去调整输入图像x的像素值，让输出t[100]尽可能的大，最后得到下图图像。 极大化某一类概率得到的图片 　　卷积的一个通道就可以代表一种学习到的“信息” 。 以某一个通道的平均值作为优化目标 ，就可以弄清楚这个通道究竟学习到了什么，这也是Deep Dream 的基本原理。在下面的的小节中， 会以程序的形式，更详细地介绍如何生成并优化Deep Dream 图像。 TensorFlow中的Deep Dream模型 导入Inception模型 　　原始的Deep Dream模型只需要优化ImageNet模型卷积层某个通道的激活值就可以了，为此

【推荐阅读】微服务还能火多久？>>> 在训练卷积神经网络模型时，经常遇到max pooling 和 average pooling，近些年的图像分类模型多数采用了max pooling，为什么都是使用max pooling，它的优势在哪呢？ 一般情况下，max pooling的效果更好，虽然 max pooling 和 average pooling 都对数据做了sampling，但是感觉max pooling更像是做了特征选择，选出了分类辨识度更高的特征，提供了非线性，根据相关理论，特征提取的误差主要来自两个方面：（1）邻域大小受限造成的估计值方差增大；（2）卷积层参数误差造成估计均值的偏移。一般来说，average pooling 能减小第一种误差，更多地保留图像的背景信息，max pooling 能减小第二种误差，更多地保留纹理信息。average pooling 更侧重对整体特征信息进行sampling，在减少参数维度方面的贡献更大一些，更多地体现在信息的完整传递这个层面上，在一个很大很有代表性的模型中，比如DenseNet中的模块之间的连接大多采用 average pooling，在减少维度的同时，更有利信息传递到下一个模块进行特征提取。 average pooling 在全局平均池化操作中应用得也比较广，在ResNet和Inception结构中最后一层都使用了平均池化

【推荐阅读】微服务还能火多久？>>> 在训练卷积神经网络模型时，经常遇到max pooling 和 average pooling，近些年的图像分类模型多数采用了max pooling，为什么都是使用max pooling，它的优势在哪呢？ 一般情况下，max pooling的效果更好，虽然 max pooling 和 average pooling 都对数据做了sampling，但是感觉max pooling更像是做了特征选择，选出了分类辨识度更高的特征，提供了非线性，根据相关理论，特征提取的误差主要来自两个方面：（1）邻域大小受限造成的估计值方差增大；（2）卷积层参数误差造成估计均值的偏移。一般来说，average pooling 能减小第一种误差，更多地保留图像的背景信息，max pooling 能减小第二种误差，更多地保留纹理信息。average pooling 更侧重对整体特征信息进行sampling，在减少参数维度方面的贡献更大一些，更多地体现在信息的完整传递这个层面上，在一个很大很有代表性的模型中，比如DenseNet中的模块之间的连接大多采用 average pooling，在减少维度的同时，更有利信息传递到下一个模块进行特征提取。 average pooling 在全局平均池化操作中应用得也比较广，在ResNet和Inception结构中最后一层都使用了平均池化

【今日推荐】：为什么一到面试就懵逼！>>> 更详细的见： http://www.ibm.com/developerworks/cn/rational/r-rupbp/ 本文引用： http://baike.baidu.com/view/2235832.htm#sub2235832 统一软件开发过程（Rational Unified Process,RUP)是一个 面向对象 且基于网络的程序开发方法论。 它是用例驱动的，以架构为核心，迭代和增量的软件过程框架，它提供一种演进的特性。 二维结构 开发过程可以用二维结构或沿着两个坐标轴来表达： 横轴代表了制订开发过程时的时间，体现了过程的动态结构。它以术语周期（cycle）、阶段(phase)、迭代（iteration）和里程碑(milestone)来表达。 纵轴表现了过程的静态结构：如何用术语活动（activity）、产物(artifact)、 角色(worker)和工作流(workflow)来描述。 　RUP中的 软件生命周期 在时间上被分解为四个顺序的阶段，分别是：初始阶段(Inception)、细化阶段(Elaboration)、构造阶段(Construction)和交付阶段(Transition)。每个阶段结束于一个主要的里程碑(Major Milestones)；每个阶段本质上是两个里程碑之间的时间跨度

【今日推荐】：为什么一到面试就懵逼！>>> 本文作者：馬立 分享嘉宾：白浩杰 文章整理：马立辉 内容来源：百度云智学院 导读： 计算机视觉领域涉及许多不同任务，对于图像分类任务，人类一直在追求更高的分类精度，期间衍生了许多有代表性的经典网络结构，今天就来做个探讨。 本篇文章主要包含以下内容： 1.计算机视觉任务 2 图像分类应用案例 3.经典网络结构 1. 计算机视觉任务 计算机视觉通常涉及以下几个任务：图像分类、目标检测、语义分割/实例分割、场景文字识别、图像生成、人体关键点检测、视频分类、度量学习。相对而言，前四个任务已经有比较成熟的技术，工业应用比较广泛。 ① 图像分类 图像分类任务，需要根据在图像信息中所反映的不同特征，把不同类别的目标区分开来。例如，在给定的不同图片中，分类任务需要能够把图片主体识别出来，如给定下面两张图，经过图像分类程序的识别，能够识别出图1是猫，图2是狗。 图1 图2 ② 目标检测 目标检测任务不仅仅要识别图片主体，还要把主体所在的位置用最小包围矩形进行标记。如图3，图中的主体是一位小朋友和他手中拿的小锤子，通过目标检测，把主体所在的位置用最小包围矩形标记了出来。 图3 ③ 语义分割/实例分割 语义分割是指我们按照像素级别的精度，把图片的每一个像素属于哪一个类别标注出来。比如图4（c），黄色区域归于背景，蓝色归于瓶子。 实例分割相比语义分割更加复杂

本文作者：馬立 分享嘉宾：白浩杰 文章整理：马立辉 内容来源：百度云智学院 导读： 计算机视觉领域涉及许多不同任务，对于图像分类任务，人类一直在追求更高的分类精度，期间衍生了许多有代表性的经典网络结构，今天就来做个探讨。 本篇文章主要包含以下内容： 1.计算机视觉任务 2 图像分类应用案例 3.经典网络结构 1. 计算机视觉任务 计算机视觉通常涉及以下几个任务：图像分类、目标检测、语义分割/实例分割、场景文字识别、图像生成、人体关键点检测、视频分类、度量学习。相对而言，前四个任务已经有比较成熟的技术，工业应用比较广泛。 ① 图像分类 图像分类任务，需要根据在图像信息中所反映的不同特征，把不同类别的目标区分开来。例如，在给定的不同图片中，分类任务需要能够把图片主体识别出来，如给定下面两张图，经过图像分类程序的识别，能够识别出图1是猫，图2是狗。 图1 图2 ② 目标检测 目标检测任务不仅仅要识别图片主体，还要把主体所在的位置用最小包围矩形进行标记。如图3，图中的主体是一位小朋友和他手中拿的小锤子，通过目标检测，把主体所在的位置用最小包围矩形标记了出来。 图3 ③ 语义分割/实例分割 语义分割是指我们按照像素级别的精度，把图片的每一个像素属于哪一个类别标注出来。比如图4（c），黄色区域归于背景，蓝色归于瓶子。 实例分割相比语义分割更加复杂，不仅要求把哪一个像素属于哪一个类别标注出来

本文作者：馬立 分享嘉宾：白浩杰 文章整理：马立辉 内容来源：百度云智学院 导读： 计算机视觉领域涉及许多不同任务，对于图像分类任务，人类一直在追求更高的分类精度，期间衍生了许多有代表性的经典网络结构，今天就来做个探讨。 本篇文章主要包含以下内容： 1.计算机视觉任务 2 图像分类应用案例 3.经典网络结构 1. 计算机视觉任务 计算机视觉通常涉及以下几个任务：图像分类、目标检测、语义分割/实例分割、场景文字识别、图像生成、人体关键点检测、视频分类、度量学习。相对而言，前四个任务已经有比较成熟的技术，工业应用比较广泛。 ① 图像分类 图像分类任务，需要根据在图像信息中所反映的不同特征，把不同类别的目标区分开来。例如，在给定的不同图片中，分类任务需要能够把图片主体识别出来，如给定下面两张图，经过图像分类程序的识别，能够识别出图1是猫，图2是狗。 图1 图2 ② 目标检测 目标检测任务不仅仅要识别图片主体，还要把主体所在的位置用最小包围矩形进行标记。如图3，图中的主体是一位小朋友和他手中拿的小锤子，通过目标检测，把主体所在的位置用最小包围矩形标记了出来。 图3 ③ 语义分割/实例分割 语义分割是指我们按照像素级别的精度，把图片的每一个像素属于哪一个类别标注出来。比如图4（c），黄色区域归于背景，蓝色归于瓶子。 实例分割相比语义分割更加复杂，不仅要求把哪一个像素属于哪一个类别标注出来

本文作者：馬立 分享嘉宾：白浩杰 文章整理：马立辉 内容来源：百度云智学院 导读： 计算机视觉领域涉及许多不同任务，对于图像分类任务，人类一直在追求更高的分类精度，期间衍生了许多有代表性的经典网络结构，今天就来做个探讨。 本篇文章主要包含以下内容： 1.计算机视觉任务 2 图像分类应用案例 3.经典网络结构 1. 计算机视觉任务 计算机视觉通常涉及以下几个任务：图像分类、目标检测、语义分割/实例分割、场景文字识别、图像生成、人体关键点检测、视频分类、度量学习。相对而言，前四个任务已经有比较成熟的技术，工业应用比较广泛。 ① 图像分类 图像分类任务，需要根据在图像信息中所反映的不同特征，把不同类别的目标区分开来。例如，在给定的不同图片中，分类任务需要能够把图片主体识别出来，如给定下面两张图，经过图像分类程序的识别，能够识别出图1是猫，图2是狗。 图1 图2 ② 目标检测 目标检测任务不仅仅要识别图片主体，还要把主体所在的位置用最小包围矩形进行标记。如图3，图中的主体是一位小朋友和他手中拿的小锤子，通过目标检测，把主体所在的位置用最小包围矩形标记了出来。 图3 ③ 语义分割/实例分割 语义分割是指我们按照像素级别的精度，把图片的每一个像素属于哪一个类别标注出来。比如图4（c），黄色区域归于背景，蓝色归于瓶子。 实例分割相比语义分割更加复杂，不仅要求把哪一个像素属于哪一个类别标注出来

本文作者：馬立 分享嘉宾：白浩杰 文章整理：马立辉 内容来源：百度云智学院 导读： 计算机视觉领域涉及许多不同任务，对于图像分类任务，人类一直在追求更高的分类精度，期间衍生了许多有代表性的经典网络结构，今天就来做个探讨。 本篇文章主要包含以下内容： 1.计算机视觉任务 2 图像分类应用案例 3.经典网络结构 1. 计算机视觉任务 计算机视觉通常涉及以下几个任务：图像分类、目标检测、语义分割/实例分割、场景文字识别、图像生成、人体关键点检测、视频分类、度量学习。相对而言，前四个任务已经有比较成熟的技术，工业应用比较广泛。 ① 图像分类 图像分类任务，需要根据在图像信息中所反映的不同特征，把不同类别的目标区分开来。例如，在给定的不同图片中，分类任务需要能够把图片主体识别出来，如给定下面两张图，经过图像分类程序的识别，能够识别出图1是猫，图2是狗。 图1 图2 ② 目标检测 目标检测任务不仅仅要识别图片主体，还要把主体所在的位置用最小包围矩形进行标记。如图3，图中的主体是一位小朋友和他手中拿的小锤子，通过目标检测，把主体所在的位置用最小包围矩形标记了出来。 图3 ③ 语义分割/实例分割 语义分割是指我们按照像素级别的精度，把图片的每一个像素属于哪一个类别标注出来。比如图4（c），黄色区域归于背景，蓝色归于瓶子。 实例分割相比语义分割更加复杂，不仅要求把哪一个像素属于哪一个类别标注出来

这是一篇不错的博文，感谢分享。 http://blog.csdn.net/yhl_leo/article/details/66969915 ================================================================================================================================= 大家好，今天我要讲的内容是在深度学习的卷积神经网络中，如何减弱过拟合问题的相关研究，最近刚好在修改论文，就把相关的方法和技术整理出来，对于怎样选择和设计网络模型具有一定的指导性，希望对大家有帮助。 内容主要分为三个模块，首先对过拟合问题的产生原因、以及解决方向进行简单的介绍，然后会就不同的解决方案，讲解一些解决方法；最后是简单说一下自己的一些研究工作(最后一部分略)。 在讲过拟合问题前，先简单介绍一下偏差和方差权衡的问题，假设存在一组观测数据 x , y x,y ，如果存在一组理想的映射，使得每个观测值经过该映射后，能够与它对应的预测值一一对应，这就是识别、分类以及回归问题的本质，这里我们先不管怎么去优化这个理想的映射中的未知参数，我们也意识到对于观测数据，本身其实也是有噪声的，我们假设观测数据满足这样一个分布模式，也就是观测值经过理想的映射后还含有一个随机的高斯噪声项 ϵ ϵ