深度学习

点击上方 “ 小白学视觉 ”，选择加"星标"或“置顶” 重磅干货，第一时间送达 作者：黄浴 奇点汽车 首席科学家 整理：Hoh Xil 来源： https://zhuanlan.zhihu.com/p/78051407 导读： 边缘和轮廓的提取是一个非常棘手的工作，细节也许就会被过强的图像线条掩盖，纹理（texture）本身就是一种很弱的边缘分布模式，分级（hierarchical）表示是常用的方法，俗称尺度空间（scale space）。以前做移动端的视觉平台，有时候不得不把一些图像处理功能关掉，原因是造成了特征畸变。现在 CNN 模型这种天然的特征描述机制，给图像预处理提供了不错的工具，它能将图像处理和视觉预处理合二为一。 ——边缘提取—— 1. HED 整体嵌套边缘检测（ Holistically-Nested Edge Detection，HED 是一个深度学习的边缘提取的算法，两个特色：（1）整体图像训练和预测; （2）多尺度、多层特征学习。该深度模型利用全卷积网络，自动学习丰富的分层表示（基于侧面响应的深层监督指导）。 多尺度深度学习可分为四类，即多流学习（multi-stream）、跳网（skip-net learning）学习、多输入单模型以及独立网训练，如图所示：（a）多流架构; （b）跳网架构; （c）多尺度输入的单一模型; （d）不同网络独立训练; （e

公众号到今天恰好建立了半年，在这里我分享自己精选和私藏的视频教程。 下面的教程并不会漫无目的的夸多，只分享我觉得足够好，足够精的好资料，希望对大家能有所帮助。 李宏毅老师机器学习视频 李宏毅老师深度学习视频 斯坦福吴恩达老师经典机器学习视频 林轩田老师机器学习基石课程视频 林轩田老师机器学习技法课程视频 李飞飞老师著名课程CS231视频 Neural Network for Machine Learning视频[Hinton讲解] Reinforcement Learning Course by DeepMind‘s David Silver CS294 Deep Reinforcement Learning 斯坦福NLP课程视频[Dan Jurafsky教授主讲] 哥伦比亚大学NLP课程视频 CS224 DeepLearning for NLP课程视频 我觉得上面的资料基本上涵盖了绝大部分现在公认的好资源，我也将上面所有的视频资源均放在百度云上资源分享的文件夹下，如下所示： 本次资源分享包括下面资料： 1、李宏毅老师机器学习视频 2、李宏毅老师深度学习视频 3、斯坦福吴恩达老师经典机器学习视频 4、林轩田老师机器学习基石课程视频 5、林轩田老师机器学习技法课程视频 6、李飞飞老师著名课程CS231视频 7、Neural Network for Machine Learning视频

互联网再次进入到了乌镇时间。 与往年有所不同的是，不仅130家企业的展览重点大多集中在AI，人工智能和工业互联网也成了乌镇的核心议题。在“十四五”规划明确提出要“加快发展现代产业体系、推动经济体系优化升级”的背景下，人工智能产业有了新的趋势： 1、人工智能开始走向实用主义，落地已经是人工智能的第一要义； 2、人工智能正在进入大规模商业化阶段，将全面向各行各业渗透； 3、人工智能将改变中国乃至全球的经济生态，新窗口期已经出现。 虽然在疫情等不可抗力的作用下，世界互联网大会作出了“小而精”的调整，却为外界提供了洞察人工智能行业走向的窗口：当人工智能与产业深度融合的新形势下，百度等人工智能领头羊交出了一份什么样的答卷？ 01 +AI成为行业主旋律 正如外界频频提到的，人工智能的爆发离不开四年前的那场围棋大战，然而在短短四年的时间里，业内对于AI的态度却出现了微妙的反转。 人工智能在2016年后迎来了风口期，无论是在舆论场还是资本市场，人工智能都是独一无二的“热词”。可回头来看，彼时人们对于人工智能的反应不可谓不“疯狂”，较为典型的表现就是AI+，诸如AI+零售、AI+制造、AI+媒体等名词层出不穷，无数创业者试图将AI作为黑科技以颠覆传统行业 。 然而到了2020年，外界对人工智能的认识越来越理性，取而代之的是+AI的发生，即帮助传统行业利用AI降本增效和转型升级

1 优美的高斯分布 [P29]图1.16很好的描绘了这样表达的优美之处： 2 极大似然估计的病态拟合 3 参数-Regularizer 4 先验分布：高斯分布 高斯分布应该算是我们认知中，描绘一切连续型数值不确定性的最基本、最硬派的先验知识了。 甭管你是什么妖魔鬼怪，只要你是连续的，不是离散的，先给你套个高斯分布的罪状。 当然，钦定高斯分布从数学角度是由原因的，和其优美的数学共轭形式有关。 [P98]的练习证明了，高斯似然分布 x 高斯先验分布，结果仍然是一个高斯分布。 (此证明需要熟读第二章关于高斯分布的 150 个公式，需要很好的概率论、线代基础。) 高斯分布在数学形式上有许多便利，比如下面提到的零均值简化版高斯分布，这为贝叶斯方法招来很多 恶评，[P23] 是这样解释的：贝叶斯方法广受批判的原因之一，是因为其在选取先验概率分布上，根据的是 数学形式的便利为基础而不是 先验分布的信度 。 贝叶斯方法讲究推导严谨，公式齐全，对于那些奇怪的、无法用数学语言表达原理的、广布自然界的先验知识， 如Deep Learning思想，自然不会考虑，这也是为什么有人会认为Deep Learning与Bayesian是对着干的。[Quroa] 5 波动性惩罚：简化高斯分布 6 稀疏性惩罚：L1 Regularizer I、大脑中有1000亿以上的神经元，但是同时只有1%~4%激活

1 总括 首先我们来看一下AdaGrad算法 我们可以看出该优化算法与普通的sgd算法差别就在于标黄的哪部分，采取了累积平方梯度。 简单来讲，设置全局学习率之后，每次通过，全局学习率逐参数的除以历史梯度平方和的平方根，使得每个参数的学习率不同 2 作用 那么它起到的作用是什么呢？ 起到的效果是在参数空间更为平缓的方向，会取得更大的进步（因为平缓，所以历史梯度平方和较小，对应学习下降的幅度较小），并且能够使得陡峭的方向变得平缓，从而加快训练速度。 下面通过例子讲解一下： 假设我们现在采用的优化算法是最普通的梯度下降法mini-batch。它的移动方向如下面蓝色所示： 假设我们现在就只有两个参数w,b，我们从图中可以看到在b方向走的比较陡峭，这影响了优化速度。 而我们采取AdaGrad算法之后，我们在算法中使用了累积平方梯度r=:r + g.g。 从上图可以看出在b方向上的梯度g要大于在w方向上的梯度。 那么在下次计算更新的时候，r是作为分母出现的，越大的反而更新越小，越小的值反而更新越大，那么后面的更新则会像下面绿色线更新一样，明显就会好于蓝色更新曲线。 在参数空间更为平缓的方向，会取得更大的进步（因为平缓，所以历史梯度平方和较小，对应学习下降的幅度较小），并且能够使得陡峭的方向变得平缓，从而加快训练速度。 这就是AdaGrad优化算法的直观好处。 参考：YBB的Deep

首先呢，和其他的各种学习都一样， 你一定要明白你学习的目标是什么 。有的人想要通过学习Python，转行成程序员，实现行业上的转变；有的人希望通过学习Python，在现有的岗位上提升自己；当然也有很多人只是从众，说看到很多人都在学，那不如就学一学。 学习的目的性很重要，因为这样第一是可以给你树立一个远方的方向，你朝着这个方向奔跑，那跑起来就没有那么辛苦，每天都可以看到离目标前进了一些；第二是你可以根据自己的目标，去针对性的学习，例如运维开发、Web服务、数据分析、机器学习等等各个方面的细分领域，去安排自己的学习路径。 回到我自己身上，当年在学校中开始学习，C++是必修的课程，学完之后虽然能够用来完成一些有意思的功能（比如我们当年的大作业就是使用MFC去编写一个地图应用），但是当时一点都没有让我感到编程的乐趣。 我是如何开始Python的学习的呢？当时我有一个目标，是想要去喜欢的一个网站实习，那个网站是用Python进行开发的，以此为契机开始了自己的学习。 对于学习编程而言，可能很多课程、很多同学都会陷入一个陷阱，那就是只知道要学什么，但却不知道为什么去学。如果没有跳出这个陷阱，别看课程上教授的内容很多（我们当年的C++就学了一年呢），但完全没法将学习编程的过程变为自驱的过程—— 也就是学习本身应该是推动你去进一步学习的。 我们回过头来看看编程的基础，总共就四大块：

liunx连接远程服务器同步更新代码 场景需求 使用ubuntu文件系统连接远程服务器 使用vscode添加远程服务器文件 使用vscode连接服务器： 场景需求 跑深度学习实验一般都是在专用的远程服务器，客服端基本上都是windows和ubuntu等系统下，windows下使用mobaxterm连接远程服务器，缺点是阅读代码比较费劲，看代码可能要打开多个页面，不利于阅读，解决方案是VSCode中安装Remote SSH 插件 配置参考博客 。在ubuntu底下如何搭建远程开发？pycharm自带远程开发，但是比较臃肿，同时时不时的会输入激活码。这里，介绍下我的方法(来自组内大佬)。 配置：ubuntu18.04 vscode 使用ubuntu文件系统连接远程服务器 打开文件系点击其他位置，点击后进入连接服务器， sftp://name@ip address（你的服务器用户名@ip地址） 使用vscode添加远程服务器文件 vscode将文件添加到编辑页面，进入文件系统的时候注意选择第一步中文件页面的其他位置，选择对于服务器下面的文件即可。 使用vscode连接服务器： 在vscode中打开运行终端：输入ssh -x name@ip address即可。 是不是很简单，总结来说就是sftp获取远程服务器文件同步更新代码，ssh连接远程服务器，对服务器进行操作。 来源：

神经网络的典型处理如下所示： 定义可学习参数的网络结构（堆叠各层和层的设计）； 数据集的制作和输入； 对输入进行处理（由定义的网络层进行处理）,主要体现在网络的前向传播； 计算loss ，由Loss层计算； 反向传播求梯度； 根据梯度改变参数值,最简单的实现方式（SGD）为: weight = weight - learning_rate * gradient 使用pytorch和auto_grad（torch自动求导功能）： import torch #import numpy #from torch.autograd import Variable EPOCH = 500 LEARNING_RATE = 1e - 6 N , D_in , H , D_out = 64 , 1000 , 100 , 10 # N代表的是样本个数，D_in是样本的维度，H是隐藏层的维度,D_out是输出层的维度 X = torch . randn ( N , D_in ) Y = torch . randn ( N , D_out ) # 先用随机值初始化两层神经网络的权重 w1 = torch . randn ( D_in , H , requires_grad = True ) w2 = torch . randn ( H , D_out , requires_grad = True ) ""

来源：混沌巡洋舰 小样本学习是当下机器学习界的一个核心课题。大数据是当下深度学习的咽喉，面临收集成本昂贵，甚至根本无法采集的弊端， 小样本学习的实践价值不言而喻。对于众多产业来说， 真正能够收集到大量样本的是极少数情况，比如人脸识别，互联网上的文本等。而更广大的行业， 数据本身收集就很难，一些隐私伦理等障碍难以跨越，比收集数据更难的还有标注，大数据支撑的机器学习基本使用无望。 所谓小样本学习，就是使用远小于深度学习所需要的数据样本量， 达到接近甚至超越大数据深度学习的效果，也即是小样本学习的本质就是学习的效果与数据比值的提升， 或者说单位数据产生的模型收益增大了 。 与之高度相关的课题其实是迁移学习， 元学习， 提高模型泛化性能， 这些方法， 本质是在不对数据使用量进行限定的情况下， 如何让同一模型用到更广泛的数据分布和更多的任务， 因此它们是一颗硬币的两面。多一分泛化能力，就少一点数据成本。 那么， 小样本学习究竟有没有可能？这个问题其实是细思恐极。因为这个命题就像永动机一样， 似乎违反了能量守恒。不应该是有多少数据， 有多少模型效果吗？这里事实上一被忽略的盲点是先验知识， 二被忽略的是盲点是数据利用效率。 如果没有任何先验知识， 当然是有多少数据有多少模型。然而， 如果先验知识是充足的， 那么其实可以数据不足， 知识来凑。另一条路则是提高单位数据的使用效率，

大数据文摘出品 作者：龙葳、mickey “权力、专家、数据，正在向少数几家巨头公司汇集。” 2019年，当图灵奖得主Yoshua Bengio说出这句话的时候，所有人其实都早有感知。 的确， 深度学习时代，学术界计算能力的不平等正在进一步加剧不平等。 但最近，第一次有学者将“人工智能资源的垄断”作为研究对象进行了详细的分析，并且将结果用论文呈现了出来。 这一研究来自弗吉尼亚理工大学和西方大学的人工智能研究人员。作为“非精英大学”的代表，他们分析了60场全球顶级人工智能峰会（包括ACL, ICML, and NeurIPS ）的171394篇论文后得出结论，学术界算理的不平等正在加剧，特别是排名中下的大学，学术资源每年都在被蚕食。 论文给出了几个有意思的结论： 自2012年深度学习的意外增长以来，公司，尤其是大型技术公司和精英大学增加了对主要AI会议的参与；这里的精英大学指的是在QS世界大学排名中排名1-50的大学； 此外，研究人员发现了两种策略，可以通过这些策略来提高公司在人工智能研究领域中的影响力：首先，公司为单独发表人的论文研究发布数量在逐年增多；其次，公司主要与精英大学合作进行论文研究。因此，公司和精英大学在人工智能研究中的不断增长，挤占了排名中等（QS排名201-300）和排名靠后（QS排名301-500）大学的资源。 此外，研究还发现，大批研究人员正离开大学