深度学习

来源：机器之心 本文约2800字，建议阅读6分钟如何应用自动机器学习 (AutoML) 加速图机器学习任务的处理？ 清华大学发布全球首个开源自动图学习工具包：AutoGL (Auto Graph Learning)，支持在图数据上全自动进行机器学习。 人工智能的蓬勃发展离不开数据、算力、算法这三大要素。而在浩瀚的数据中，有一种数据结构既普遍又复杂，它就是图（graph）。 图是一种用于描述事物之间关系的结构，其基本构成元素为节点和连接节点的边。 很多不同领域的研究问题都可以很自然地建模成图机器学习，例如蛋白质建模、物理系统模拟、组合优化等基础研究;社交媒体分析、推荐系统、虚假新闻检测等互联网应用;以及金融风控、知识表征、交通流量预测、新药发现等。 社交网络图示例 图结构丰富且具有与生俱来的导向能力，因此非常适合机器学习模型。同时，它又无比复杂，难以进行大规模扩展应用。而且不同的图数据在结构、内容和任务上千差万别，所需要的图机器学习模型也可能相差甚远，这就导致不同任务的模型自动化面临巨大挑战。 如何设计最优的图自动机器学习模型，是一个尚未解决 的难题。 图 + AutoML = ？ 自动机器学习 (AutoML) 旨在将机器学习的过程自动化，在降低机器学习使用门槛的同时，提升机器学习的效果。但现有的自动机器学习工具，无法考虑图数据的特殊性，因此无法应用在图机器学习模型中。

点击上方“ 迈微电子研发社 ”，选择“ 星标★ ”公众号 重磅干货，第一时间送达 你的线性代数，过了没？ 不论是结构力学还是人脸识别，理工类型的科研，深究之后就会发现到处都是线性代数的身影。这样一门课程，要是在大一的时候学不好，可是会要命的。 在国内上过大学的理科同学应该都见过《线性代数》（同济版），就算没有学过，也是听过它的大名。作为一名过来人，只能说，晦涩难懂，章节混杂... 即使不少 985、211 走过高考独木桥的学生，每到期末考试，也要默默祈祷不要挂科。现在想起一些内容：相似矩阵、线性变换、特征值、特征向量…… 真是一个头两个大。 作为一本大学教材，让学习者如此后怕，是该考虑一下教材问题了。如今已经毕业多年，没想到最近在知乎上看到一篇文章《《线性代数》（同济版）——教科书中的耻辱柱》，点赞量快突破五千。对于这篇文章，大家有时间可以读一下，看看是不是同意作者的观点。 线性代数真的很重要，这是很多工程技术人员走上工作岗位的最大感受。好多算法都用到线性代数的知识，就比如现在非常热门的深度学习，它的底层实现方式用到好多线性代数方面的知识。如果底层基础打不好，不明白其中的原理，算法实现方式真的很难理解，更不可能去创新了。好的教材才能起到事半功倍的效果。 目前这本教材已更新了好几版，每次更新的内容看起来也是无关紧要，如果有下次版本更新，还是希望制定教材的老师们听取一下广大学生的建议。

一、单层感知机(perceptron) 　　拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换到达输出层，在输出层得到分类结果； 　　缺点：无法模拟稍复杂一些的函数（例如简单的异或计算）。 　　解决办法：多层感知机。 二、多层感知机（multilayer perceptron） 　　有多个隐含层的感知机。 　　多层感知机解决了之前无法模拟异或逻辑的缺陷，同时，更多的层数使得神经网络可以模拟显示世界中更加复杂的情形。 　　多层感知机给我们的启示是，神经网络的层数直接决定它的刻画能力——利用每层更少的神经元拟合更复杂的函数； 　　缺点：网络层数越多，优化函数越来越容易陷入局部最优解；利用有限数据训练的深层网络，性能可能还不如浅层网络；“梯度消失”现象更加严重； 三、深度学习的起源及其与机器学习、神经网络的区别： 浅层学习： 　　 有限样本和计算单元，对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。 深度学习： 　　 可以通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据的分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力（多层的好处是可以用较少的参数表示复杂的函数）； 　　深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型“是手段，”特征学习

点击上方 “ AI算法与图像处理 ”，选择加"星标"或“置顶” 重磅干货，第一时间送达 作者： Purvanshi Mehta 来源：AI公园 编译：ronghuaiyang 导读 使用深度学习融合各种来源的信息。 多模态数据 我们对世界的体验是多模态的 —— 我们看到物体，听到声音，感觉到质地，闻到气味，尝到味道。模态是指某件事发生或经历的方式，当一个研究问题包含多个模态时，它就具有多模态的特征。为了让人工智能在理解我们周围的世界方面取得进展，它需要能够同时解释这些多模态的信号。 例如，图像通常与标签和文本解释相关联，文本包含图像，以更清楚地表达文章的中心思想。不同的模态具有非常不同的统计特性。 多模态深度学习 虽然结合不同的模态或信息类型来提高效果从直观上看是一项很有吸引力的任务，但在实践中，如何结合不同的噪声水平和模态之间的冲突是一个挑战。此外，模型对预测结果有不同的定量影响。在实践中最常见的方法是将不同输入的高级嵌入连接起来，然后应用softmax。 多模态深度学习的例子，其中使用不同类型的神经网络提取特征 这种方法的问题是，它将给予所有子网络/模式同等的重要性，这在现实情况中是非常不可能的。 所有的模态对预测都有相同的贡献 对网络进行加权组合 我们采用子网络的加权组合，以便每个输入模态可以对输出预测有一个学习贡献(Theta)。 我们的优化问题变成-

记忆是人类智能的关键，我们因为记忆可以把过去和当下整合成为一体， 并且可以预测未来。 记忆不仅是一个信息承载的工具， 更是世界模型的本体， 它无时无刻不在刻画未来， 也被当下影响， 可以说， 没有记忆，就没有智能。 然而当下深度学习模型有关记忆的模型确是一大空缺， RNN模拟了神经网络通过循环传递导致的信息缓存效应（类似人与人之间互相喊话来留存信息），而LSTM利用输入门和遗忘门进一步加强了这个机制引入了更加可控的信息暂留机制。 基于NTM的模型把过去的信息和常识存储在类似硬盘的存储器里，网络只需要学习读和写。 而transformer类模型把这种根据当下的信息索引既往的信息的能力加强到极致，某种程度，它们绕开了基于问题，而是机械的把所有的信息一次并行的输入到模型里， 由于可以微分的强大注意力机制， 使得它们的能力被广为使用。 我们说生物系统与之不同的是， 记忆不是为了存储而是为了预测（ The hippocampus as a predictive map - Kimberly L. Stachenfeld ），这点尤其体现在模仿海马体的模型里。生物系统的灵活记忆机制纳入到系统里，就需要模拟大脑， 尤其是生物系统的海马体。 一种经典的理论认为海马体是感知信息进入生物长期记忆的门户，信息在这里被类似 “指针”一样的东西索引起来， 这个指针既可以是基于时间（情景记忆）也可以是基于空间

在虚拟机中调试深度学习代码，很快发现默认分配的20G硬盘空间不够用了，需要扩容。 这里记录一下关键步骤，之前的步骤可参考下文： VMware虚拟机 Linux系统 Ubuntu 16.04 硬盘/磁盘扩容（超详细图文详解！亲测有效！） https://blog.csdn.net/m0_43403238/article/details/85480314 1. 打开GParted，发现未分配磁盘空间（此空间为在VMware中为Ubuntu磁盘扩增时指定的容量），主分区为sda3（文件系统为ext4） 2. 右键单击主分区，单击Resize/Move 3. 弹出对话框如下所示 4. 在Free space following文本框中输入0（即，用完所有未分配空间），按Enter键，则New size将自动更新，如下所示 5. 点击Resize，出现如下界面 6. 点击对号按钮，点击Apply 7. 操作完成，确认扩容成功。 来源： oschina 链接： https://my.oschina.net/u/4408862/blog/4888571

作者｜李晶阳[1]，牛广林[2]，唐呈光[1]，余海洋[1]，李杨[1]，付彬[1]，孙健[1] 单位｜阿里巴巴-达摩院-小蜜Conversational AI团队[1]，北京航空航天大学计算机学院[2] 摘要 行业知识图谱是行业认知智能化应用的基石。目前在大部分细分垂直领域中，行业知识图谱的 schema 构建依赖领域专家的重度参与，该模式人力投入成本高，建设周期长，同时在缺乏大规模有监督数据的情形下的信息抽取效果欠佳，这限制了行业知识图谱的落地且降低了图谱的接受度。 本文对与上述 schema 构建和低资源抽取困难相关的最新技术进展进行了整理和分析，其中包含我们在半自动 schema 构建方面的实践，同时给出了 Document AI 和长结构化语言模型在文档级信息抽取上的前沿技术分析和讨论，期望能给同行的研究工作带来一定的启发和帮助。 引言 从计算到感知再到认知的人工智能技术发展路径已经成为大多人工智能研究和应用专家的共识。机器具备认知智能，进而实现推理、归纳、决策甚至创作，在一定程度上需要一个充满知识的大脑。知识图谱 [4, 18, 19]，作为互联网时代越来越普及的语义知识形式化描述框架，已成为推动人工智能从感知能力向认知能力发展的重要途径。 知识图谱的应用现在非常广泛：在通用领域，Google、百度等搜索公司利用其提供智能搜索服务，IBM Waston 问答机器人

1、什么是自然语言处理 自然语言处理（Natural Language Processing，简称NLP）就是用计算机来处理、理解以及运用人类语言(如中文、英文等)，它属于人工智能的一个分支，是计算机科学与语言学的交叉学科。由于自然语言是人类区别于其他动物的根本标志，没有语言，人类的思维也就无从谈起，所以NLP体现了人工智能的最高任务与境界。也就是说，只有当计算机具备了处理自然语言的能力时，机器才算实现了真正的智能。 从技术角度看，NLP包括序列标注、分类任务、句子关系判断和生成式任务等。从应用角度看，NLP具有广泛的应用场景，例如：机器翻译、信息检索、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等等。它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。 NLP的兴起与机器翻译这一具体任务有着密切联系。“人工智能”被作为一个研究问题正式提出来的时候，创始人把计算机国际象棋和机器翻译作为两个标志性的任务，认为只要国际象棋系统能够打败人类世界冠军，机器翻译系统达到人类翻译水平，就可以宣告人工智能的胜利。四十年后的1997年，IBM公司的深蓝超级计算机已经能够打败国际象棋世界冠军卡斯帕罗夫。而机器翻译到现在仍无法与人类翻译水平相比，由此可见NLP有多么的复杂和困难！ 2、自然语言处理的发展趋势 目前

注：文末附【深度学习与自然语言处理】交流群，最近赶ACL，比较忙，很多同学加了没有回过期了，可以重新加一下，备注好的一定会回复，敬请谅解。 1月11日-13日，IJCAI2020在线上将正式举办。深度神经网络（DNNs）在计算机视觉、计算语言学和人工智能等领域已经巨大的成功。然而，DNNs成功的基本原理、DNNs的可信性等方向仍然很大程度上缺乏。 于是张拳石和朱占星老师一起带来了这个可解释性的talk，旨在将关注人工智能可解释性、安全性和可靠性的研究人员、工程师以及行业从业人员聚集在一起。也对对当前可解释人工智能算法的优点和局限性的批判性讨论提供了新的前瞻性研究方向。 大纲如下： 完整ppt和资料地址如下： IJCAI Tutorial on Trustworthiness of Interpretable Machine Learning ​ ijcai20interpretability.github.io 机器学习/深度学习算法/自然语言处理交流群 已建立机器学习算-自然语言处理微信交流群！想要进交流群进行学习的同学，可以直接加我的微信号： HIT_NLP 。加的时候备注一下： 知乎+学校+昵称 （不加备注不会接受同意，望谅解） ，即可。然后我们就可以拉你进群了。群里已经有非得多国内外高校同学，交流氛围非常好。 强烈推荐大家关注 机器学习算法与自然语言处理 账号和

现在机器学习行业持续加温，应届毕业生年薪持续走高，2019年毕业生算法岗年薪40万起，上不封顶，吸引着越来越多的人想往机器学习方向转。但是刚接触到算法时，看到那些数学公式都望而生畏，特别是公式的推导。今天本文就介绍机器学习会用到哪些数学知识，让那些想往机器学习方向转的同学心里有底，知道学习的方向。 数学是机器学习的内功。作为机器学习的基石，数学知识无论如何是绕不开的，机器学习中大量的问题最终都可以归结为求解最优化问题，微积分、线性代数是最优化方法和理论的基础，很多机器学习算法的建模涉及到概率论，由此可见学好数学知识多么必要。不少准备或刚刚迈入机器学习的同学，在面临数学基础的学习时，会遇到两个问题： 不知道机器学习和深度学习到底要用到哪些数学知识 无法真正理解这些数学知识，并用于机器学习的推导证明 对此，Summer哥在本文中专门为大家解决这两个问题。 首先，在庞杂的数学系统内，哪些知识是在机器学习中真正有用的，对这些知识掌握到什么程度就足够了？ 其次，掌握了的数学知识怎么在机器学习领域内运用，即怎么从机器学习的角度去理解数学知识？ 一、机器学习所需要的数学知识 很多人对于机器学习中的数学知识，谈之色变，一想到实变函数、随机过程、泛函分析等等就不寒而栗。事实上，要理解和掌握绝大部分机器学习算法和理论，尤其是对做工程应用的人而言，真正所需要的数学知识不过尔尔，主要包括了：<font