深度学习

来源：人工智能AI技术 作者：唐杰教授 编辑：AI数据派 本文 约 1850 字44图 ，建议阅读 9分钟 。 本文从人工智能发展的历史开始，深入分析人工智能近十年的发展，阐述了人工智能在感知方面取得的重要成果。 唐杰教授从人工智能发展的历史开始，深入分析 人工智能近十年的发展，阐述了人工智能在感知方面取得的重要成果 ，尤其提到 算法 是这个 感知时代 最重要、最具代表性的内容。 如需PPT下载，在订阅号后台回复 ai10 即可。 重点讲解了 BERT、ALBERT、MoCo2 等取得 快速进展的算法 。最后说到 下一波人工智能浪潮的兴起 ，就是实现 具有推理、可解释性、认知的人工智能。 人工智能对社会和经济影响的日益凸显，各国政府也先后出台了对人工智能发展的政策，并将其上升到国家战略的高度。截至目前，包括美国、中国和欧盟在内的多国和地区颁布了国家层面的人工智能发展政策。 在这个时代背景下， 我们需要考虑人工智能未来十年会怎样发展。 首先，我们需要从人工智能的发展历史中找到灵感。 我们再深入分析 AI 近十年的发展，会看到一个重要的标志： 人工智能在感知方面取得重要成果。人工智能在语音识别、文本识别、视频识别等方面已经超越了人类，我们可以说 AI 在感知方面已经逐渐接近人类的水平。 从未来的趋势来看，人工智能将会有一个从 感知到认知逐步发展 的基本趋势，如下图所示： 首先

Batchnorm原理详解 前言 ：Batchnorm是深度网络中经常用到的加速神经网络训练，加速收敛速度及稳定性的算法，可以说是目前深度网络必不可少的一部分。 本文旨在用通俗易懂的语言，对深度学习的常用算法–batchnorm的原理及其代码实现做一个详细的解读。本文主要包括以下几个部分。 Batchnorm主要解决的问题 Batchnorm原理解读 Batchnorm的优点 Batchnorm的源码解读 第一节：Batchnorm主要解决的问题 首先，此部分也即是讲为什么深度网络会需要batchnorm ，我们都知道，深度学习的话尤其是在CV上都需要对数据做归一化，因为深度神经网络主要就是为了学习训练数据的分布，并在测试集上达到很好的泛化效果，但是，如果我们每一个batch输入的数据都具有不同的分布，显然会给网络的训练带来困难。另一方面，数据经过一层层网络计算后，其数据分布也在发生着变化，此现象称为Internal Covariate Shift，接下来会详细解释，会给下一层的网络学习带来困难。batchnorm 直译过来就是批规范化，就是为了解决这个分布变化问题。 1.1 Internal Covariate Shift Internal Covariate Shift ：此术语是google小组在论文 Batch Normalizatoin 中提出来的，其主要描述的是

为了更好地为目标客户服务，嵌入式设计团队今天正在研究新技术，如机器学习（ML）和深度学习（DL）。ML和DL使这些设计人员可以更快，更有限的资源开发和部署复杂的机器和设备。借助这些技术，设计团队可以使用数据驱动方法构建系统或系统的复杂模型。 ML和DL算法不是使用基于物理学的模型来描述系统的行为，而是从数据推断出系统的模型。当要处理的数据量相对较小并且问题的复杂度较低时，传统的ML算法很有用。 但是更多数据的更大问题如自动驾驶汽车呢？这项挑战需要DL技术。这种新兴技术将推动我们进入控制设计和物联网（IoT）应用的下一个时代。 机器学习在工业资产中的应用 首先，考虑ML技术在工业资产状态监测中的应用。ML帮助将基于状态的监控应用从反应式和预防性维护转变为预测性维护。这些技术被用于检测异常行为，诊断问题，并在一定程度上预测工业资产（如电动机，泵和涡轮机）的剩余使用寿命。 图1显示了基于ML开发和部署模型的工作流程。 图1 分析工作流程与机器学习 看看这个工作流程是如何用来监测电动机的健康状况的。数据是从多种类型的传感器收集的，例如加速度计，热电偶和连接到电机的电流传感器。特征工程步骤通常由两部分组成：特征提取和特征缩减（图2）。 图2 特征工程 特征提取用于从原始数据（或波形）中导出有用信息以了解资产的健康状况。例如，如图3所示，来自电机的电流信号的频谱中嵌入了可用于检测故障的信息

互联网一个特点是，从来不缺乏热闹。这几天在网上又引发了一件让人经不住想去凑热闹的事情。《人们日报》在Twitter和facebook上发言，知道这两个网站的人可能不太多，尽管他们是世界上访问量最大的两个网站。《人民日报》是这么说的： 它意思是说，欢迎谷歌回到中国大陆进行商业经营，但前提是它必须遵守大陆的法律法规，所有外国互联网公司要在中国经营的话，都应当遵守中国的网络管理条例。中国日报作为党的喉舌，它的言论虽然不能作为政府官方态度，但在很大程度上传达了政府意志。 看到这则推文，我有喜有悲。喜的是《人民日报》向谷歌释放善意，在某种程度上表达了政府对信息开放的积极态度，它体现了中国政府很多优点：务实，自信，有谈判力，有说服力，能够理解和接纳主流世界的通用规则，最重要的是，它表达了高层愿意进一步推进改革开放的意愿，中国不会在信息传递，文化交流，商业运作上自绝于与外部世界的沟通和连接，这在美国越来越孤立，越来越封闭的情况下，更是难能可贵。悲的是people’s Daily能上这些网站，而我作为people中的一员，根据相关法律法规，我就上不去，这种只许州官放火不许百姓点灯的行为，颇令人无奈。 八年前谷歌退出中国大陆，是一种典型的多输。近来苹果公司的市值突破一万亿美金，谷歌，亚马逊，微软市值在八千亿作用徘徊，苹果能一马当先的主要原因就在于它拥有中国市场，苹果20%的收入来自中国

https://www.zybuluo.com/Dounm/note/1031900 GBDT算法详解　　 http://mlnote.com/2016/10/05/a-guide-to-xgboost-A-Scalable-Tree-Boosting-System/ XGboost: A Scalable Tree Boosting System论文及源码导读 2016/10/29 XGboost核心源码阅读 2016/10/05 XGboost: A Scalable Tree Boosting System论文及源码导读 2016/11/18 简述FastDBT和LightGBM中GBDT的实现 2016/10/29 XGboost核心源码阅读 2016/10/05 XGboost: A Scalable Tree Boosting System论文及源码导读 2016/10/02 Gradient Boosting Decision Tree[下篇] 2016/09/24 Gradient Boosting Decision Tree[上篇] xgboost 解读（2）——近似分割算法 zhihu： -如何理解 Bregman 散度？ -有哪些指标可以描述两个图（graph）的相似度？ -CNN模型可以输入离散特征吗？ - xgboost

最近开源了周志华老师的西瓜书《机器学习》纯手推笔记： 博士笔记 | 周志华《机器学习》手推笔记第一章思维导图 [ 博士笔记 | 周志华《机器学习》手推笔记第二章“模型评估与选择” 博士笔记 | 周志华《机器学习》手推笔记第三章“线性模型” 博士笔记 | 周志华《机器学习》手推笔记第四章“决策树” 博士笔记 | 周志华《机器学习》手推笔记第五章“神经网络” 博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机SVM（上） GitHub地址： 西瓜书纯手推笔记 为方便大家学习，公众号【 计算机视觉联盟 】后台回复【 西瓜书手推笔记 】即可获得 手推笔记 pdf下载链接 为方便大家学习，公众号【 计算机视觉联盟 】后台回复【 吴恩达MLY 】即可获得 吴恩达你书籍 pdf下载链接 **《Machine Learning Yearning》**是吴恩达历时两年，根据自己多年实践经验整理出来的一本机器学习、深度学习实践经验宝典。 作为一本 AI 实战圣经，本书主要教你如何在实践中使机器学习算法的实战经验。 Github ： https://github.com/deeplearning-ai/machine-learning-yearning-cn 在线阅读 ： https://deeplearning-ai.github.io/machine-learning-yearning-cn

《Machine Learning Yearning》 是吴恩达历时两年，根据自己多年实践经验整理出来的一本机器学习、深度学习实践经验宝典。 吴恩达老师讲的机器学习课程比较浅显易懂，很适合数学基础不是很好的人自学，扫码下方的二维码，并在后台回复 ”宝典“ 【建议复制】 后台回复 ”宝典“ 扫码并关注下方二维码，后台回复” 宝典 “获取PDF： 本文分享自微信公众号 - 视学算法（visualAlgorithm）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。 来源： oschina 链接： https://my.oschina.net/u/4586369/blog/4677824

　　从搜索引擎到自动驾驶汽车，人工智能（AI）已经应用于日常生活的方方面面。这与近年来飞跃式的算力进步有很大关系。但 AI 研究的最新结果表明，更简单小巧的神经网络可以更好，更有效且更可靠地解决某些任务。 　　近日，麻省理工学院计算机科学与人工智能实验室（MIT CSAIL），维也纳工业大学和奥地利科技学院的国际研究团队开发出了一种新型 AI 系统。 　　这种新颖的 AI 系统受到线虫等细小动物的大脑的启发，其核心控制系统仅用 19 个神经元就能操控车辆，实现自动驾驶。 　　 　　研究团队表示，该系统比以前的深度学习模型具有决定性的优势。它可以更好地应对噪声的输入，而且由于其构造的简单性，人们可以很好地解释其操作模式，不再是 “复杂的黑匣子”。这种新的深度学习模型现已发布在 Nature Machine Intelligence 上。 　　谷歌软件工程师兼 AI 研究员 Franois Chollet 表示，“神经回路政策是一种受生物神经元启发的有前途的新架构。它生成的模型非常小，但能处理复杂任务。这种简单性使其更强大，更易解释。” 　　类似于大脑，人工神经网络由许多单个神经元组成。当一个神经元处于活动状态时，它将向其他神经元发送信号。下一个神经元会收集所有信号，组合起来并决定其自身是否激活。一个神经元影响下一个神经元的方式决定了整个系统的下一次行为

花下猫语： 如何精确地计算浮点数？这是计算机科学的大难题。那 Python 是如何处理浮点数的四舍五入问题的呢？今天分享的文章，对此展开了深入的剖析。 本文作者 kingname，来自网易，公众号“未闻Code”。如需转载，请联系作者。 今天又有一个Python初学者被中文技术博客中的垃圾文章给误导了。 这位初学者的问题是： 在Python中，如何精确地进行浮点数的四舍五入，保留两位小数？ 如果你在Google或者百度上搜索，你会发现大量的来自CSDN或者简书上面的文章讲到这一点，但是他们的说法无外乎下面几种： 连例子都不举的垃圾文章 如下图所示，懒得吐槽。 使用round函数 他们举的例子为： >>> round ( 1.234 , 2 ) 1.23 这种文章，他只演示了 四舍 ，但是却没有演示 五入 。所以如果你代码稍作修改，就会发现有问题： >>> round ( 11.245 , 2 ) 11.24 先放大再缩小 这种文章稍微好一点，知道多举几个例子： 然而这种文章也是漏洞百出，只要你多尝试几个数字就会发现问题，在Python 2和Python 3下面，效果是不一样的。先来看看Python 2下面的运行效果： 在Python 2里面，直接使用 round ， 1.125 精确到两位小数后为 1.13 ，而 1.115 精确到两位小数后是 1.11 。 再来看看Python

<h3>前边的章节介绍了什么是Tensorflow，本节将带大家真正走进Tensorflow的世界，学习Tensorflow一些基本的操作及使用方法。同时也欢迎大家关注我们的网站和系列教程：<a href="http://www.tensorflownews.com/">http://www.tensorflownews.com</a><a href="http://www.tensorflownews.com/">/</a>，学习更多的机器学习、深度学习的知识！</h3> Tensorflow是一种计算图模型，即用图的形式来表示运算过程的一种模型。Tensorflow程序一般分为图的构建和图的执行两个阶段。图的构建阶段也称为图的定义阶段，该过程会在图模型中定义所需的运算，每次运算的的结果以及原始的输入数据都可称为一个节点（operation ，缩写为op）。我们通过以下程序来说明图的构建过程： 程序2-1： <img class="alignnone size-full wp-image-1620 aligncenter" src="http://www.tensorflownews.com/wp-content/uploads/2018/03/图片57-1.png" alt="" width="623" height="224" /> 程序2-1定义了图的构建过程，