无监督学习

　　机器之心报道 　　 编辑：魔王、杜伟 　　 　　 在近期举行的第 43 届国际信息检索年会 (ACM SIGIR2020) 上，Geoffrey Hinton 做了主题为《The Next Generation of Neural Networks》的报告。 　　Geoffrey Hinton 是谷歌副总裁、工程研究员，也是 Vector Institute 的首席科学顾问、多伦多大学 Emeritus 荣誉教授。2018 年，他与 Yoshua Bengio、Yann LeCun 因对深度学习领域做出的巨大贡献而共同获得图灵奖。 　　自 20 世纪 80 年代开始，Geoffrey Hinton 就开始提倡使用机器学习方法进行人工智能研究，他希望通过人脑运作方式探索机器学习系统。受人脑的启发，他和其他研究者提出了「人工神经网络」（artificial neural network），为机器学习研究奠定了基石。 　　那么，30 多年过去，神经网络的未来发展方向在哪里呢？ 　　Hinton 在此次报告中 回顾了神经网络的发展历程，并表示下一代神经网络将属于无监督对比学习 。 　　Hinton 的报告主要内容如下： 　　 人工神经网络最重要的待解难题是：如何像大脑一样高效执行无监督学习。 　　目前，无监督学习主要有两类方法。 　　第一类的典型代表是 BERT 和变分自编码器（VAE

符号主义人工智能经历过古典时期的专家系统阶段， 中期的知识图谱阶段， 和近期深度学习和符号主义的再次联姻。 那么一个很重要的问题是符号主义为什么会复兴，它对当下的机器学习又有何意义？ 参考阅读： Reconciling deep learning with symbolic artificial intelligence: representing objects and relations ​ www.sciencedirect.com 首先， 当下的深度学习有三个最主要的问题，很低的数据使用效率， 泛化能力， 可解释性，都可以从符号主义得到极大帮助。 这一点也不难理解， 所谓符号，多数指我们语言中那些经常被使用的抽象概念，这些概念再不同的任务和环境中被广泛使用组成新的概念，比如红色，圆形等，如果能够在不同任务中学习到这些最基本的元素， 那么无疑将极大的改善数据使用效率和泛化能力。同时， 从视频，声音等信息中提取出的这种符号，几乎一定是和我们的自然语言有所对应，和我们的认知概念有所对应，因此，提取这些符号将极大助力模型的可解释性。从这两个角度看， 符号的确可以解决深度学习的几个根本问题。 更加重要的是，符号的使用和我们的推理认知能力极为相关，这也是为什么在第一代的人工智能时代人们如此重视符号， 因为它是逻辑思维的载体，有了符号我们可以在符号基础上罗列各种运算，进行关系预测和推理等

    自编码器是无监督学习领域中一个非常重要的工具。最近由于图神经网络的兴起，图自编码器得到了广泛的关注。笔者最近在做相关的工作，对科研工作中经常遇到的：自编码器（AE），变分自编码器（VAE），图自编码器（GAE）和图变分自编码器（VGAE）进行了总结。如有不对之处，请多多指正。     另外，我必须要强调的一点是：很多文章在比较中将自编码器和变分自编码器视为一类，我个人认为，这二者的思想完全不同。自编码器的目的不是为了得到latent representation（中间层），而是为了生成新的样本。我自己的实验得出的结论是，变分自编码器和变分图自编码器生成的中间层 不能直接 用来做下游任务（聚类、分类等），这是一个坑。 自编码器（AE）     在解释图自编码器之前，首先理解下什么是自编码器。自编码器的思路来源于传统的PCA，其目的可以理解为非线性降维。我们知道在传统的PCA中，学习器学得一个子空间矩阵，将原始数据投影到一个低维子空间，从未达到数据降维的目的。自编码器则是利用神经网络将数据逐层降维，每层神经网络之间的激活函数就起到了将"线性"转化为"非线性"的作用。自编码器的网络结构可以是对称的也可以是非对称的。我们下面以一个简单的四层对称的自编码器为例，全文代码见最后。    (严格的自编码器是只有一个隐藏层，但是我在这里做了个拓展，其最大的区别就是隐藏层以及神经元数量的多少

在本系列之前的博文里（见： https:// towardsdatascience.com/ tagged/music-by-numbers ），我们探索了音乐串流巨头Spotify如何建立算法，仅基于波形就能描述任何歌曲的音乐特征（见： https:// developer.spotify.com/d ocumentation/web-api/reference/tracks/get-audio-features/ ）。 这些算法可以计算一些明显的音乐成分，如歌曲的速度和调子。然而，他们也有更为细微的度量项目：歌曲有多欢快？它冷淡还是高能？它是不是舞曲？ 为了展示该工作如何进行，我用一些电子乐内容建立了一个播放列表，从Kendrick Lamar到Black Sabbath，从Beatles到Billie Eilish都含在内，当然也有Despacito。 让我们看看Spotify是怎样用多种音频特征指标给这些歌曲分类的。这些指标的完整描述见： https:// towardsdatascience.com/ analysing-the-greatest-show-on-earth-e234f611e110 。 用有稳定、不间断节拍的歌曲被认为是更适合跳舞——因此Rap歌曲如Real Slim Shady和 Humble此项得分较高。 正如我们在前篇博文里注意到的

　　机器之心报道 　　 机器之心编辑部 　　 Geoffrey Hinton 等 6 位图灵奖得主亲临，百余位顶级学者邀请你加入群聊「2020 北京智源大会」，深入系统探讨「人工智能的下一个十年」。 　　 　　自 2009 年深度学习崛起以来，第三波人工智能浪潮席卷全球，推动了新一波技术革命。 　　在这波澜壮阔的 11 年，我们见证了技术突破、应用创新与产业变革。 　　技术上，深度学习首先带来计算机视觉、语音识别等领域的突破，让机器识别的准确率一步步突破人类水平；在应用上，深度学习、强化学习、联邦学习等学习范式在安防、游戏、金融等不同场景带来新的创新。人工智能技术，在这些领域由点到面的落地应用，逐步推动着整个产业的变革。 　　技术变革，需要不断的推陈出新。在这 11 年中，如果说前半期是深度学习的时代，那么近年来我们能够看到更多不同的概念继续推动这人工智能的发展：符号主义、因果关系、联邦学习，等等。 　　2020 年，是一个十年的结束，也是下一个十年的开始。 　　在未来的十年，人工智能技术将如何发展？如何推动 AI 技术在医疗、交通等领域的落地应用？如何构建 AI 基础设置、规范 AI 伦理，都是当前人工智能领域亟待解决的问题。 　　依托北京在人工智能领域的科研和人才优势，第二届北京智源大会将于 6 月 21-24 日线上开幕。 　　此届大会围绕技术、应用、基础设施等话题

AutoRec [1] 可以说是深度学习时代最古老、最简单、最容易理解的模型。该模型模拟无监督学习中用到的数据表征和压缩工具AutoEncoder, 自然地，其模型也可以写成重建函数形式： (1) 其中 和 分别为输出层和隐藏层的激活函数，参数集 , , , , . 对应 个用户和 个条目, 维隐藏层。 跟AutoEncoder类似地，其损失函数为 不过考虑到对模型参数的限制，比如加入L2正则，损失函数变化为： 其中 为Frobenius范数. 一般如原论文中一样，把AutoRec用于协同过滤(Collaborative Filtering). 对于条目协同过滤，AutoRec的模型定义(PyTorch)如下： class Autorec ( nn . Module ): def __init__ ( self , args , num_items ): super ( Autorec , self ) . __init__ () self . args = args #self.num_users = num_users self . num_items = num_items self . hidden_units = args . hidden_units self . lambda_value = args . lambda_value self . encoder =

背景 今天介绍下SimCLR，也是Hinton老爷子在今年提出的工作。首先介绍下为什么下一代神经网络需要无监督对比学习。目前整个人工智能行业的落地，其实都依赖于监督学习模式，无论是OCR、ASR、TTS、ImageDetection，如果没有大量的标注，是很难训练出商业化程度的模型的。这个模式需要被打破，因为世界上存在太多的未知场景，完全依赖人肉标注是不行的。 所以未来无监督学习大势所趋。其实在这方面之前已经有了一些工作，比如Bert模型，就可以基于大量的unlabeled数据训练，然后在小数据集上Fintune来取得效果。类似Bert这一类的训练模式叫做自监督学习。这种模式在NLP领域会有比较好的效果，但是在图像领域效果不明显，因为图像的数据表示会比语意复杂得多。 举个简单例子，“喜欢_ _ _ _的人都会关注凡人机器学习”，这句话虽然空了4个字，但是根据上下文不难猜出这4个字是“机器学习”。所以在NLP领域，自监督是比较好实现的。但是在图像方面，假设戴了墨镜，你能根据一个人的鼻子、嘴和耳朵推测出这个人墨镜后面的样子么？所以图像领域的无监督学习要难的多。 SimCLR基本原理 SimCLR使用无监督对比学习模式在图像领域取得了突破性的成果，可以看下在ImageNet数据集的表现。 那SimCLR究竟是怎么实现的呢，我们分步骤介绍下，看下图： 第一步：Augmentation

IT 运维告警现状 目前 IT 运维领域保证服务运行正常的主要方法是对相关运维指标进行实时监控，并根据经验设定一些规则，通过将实时监控的数据与规则进行对比，当某个指标监控值不符合设定的规则时，则判定为异常的状况，这样的话就会发送对应的告警到告警平台。告警平台收到通知后，会分配给对应的运维人员进行处理，运维人员去根据告警信息来排查，最终定位故障的根本原因，并对故障进行修复。从这个流程可以看出，整个过程是以告警为中心，所以告警的质量是至关重要的。 但在实际运维过程中，我们可以发现这个过程中其实存在很多问题。首先，监控系统的规则难以设定。因为规则是基于专家经验设定的，随着系统规模变大，复杂度提高，监控覆盖的完善，监控指标数量指数性增加，指标形态千变万化，基于专家经验的规则设定力不从心，误报率、漏报率居高不下。运维人员可能会遭遇告警风暴，每天被数千个告警轰炸，难以应付。故障发生后，对若干个告警逐一排查找故障根因，效率极低，大大增加故障的恢复时间。故障有可能无法预知，有些本来可以避免的故障还是发生了。 智能化告警的理念和相关技术 为了解决上述问题，在智能运维领域，智能化告警的概念出现了。智能化告警主要解决 4 个问题：一、精准告警，拒绝告警风暴；二、快速故障定位；三、进行故障预测，避免故障发生；四、规则设置自动化，不再通过人工经验来设置规则。 智能异常检测的核心理念是利用机器学习算法

目录 机器学习是什么 ML和AI 机器学习分类 监督学习 无监督学习 增强式学习RL 算法一览 相关资料 机器学习是什么 ML和AI 把所有的数据和地图都采集了给系统，处理不了突发的事件，所以传统的方法不行，可以采用机器学习的方法或思想，先给自动驾驶系统一些数据，让它学习。 机器学习分类 监督学习 样本的特征，还应有判定的结果。 学习的模型可以用来预测 无监督学习 哪些衣服种类比较相近 在训练集中没有数据标签,没有答案 通过聚类后得到 增强式学习RL 我们人类做事有点像增强学习，如果做错了受惩罚后，后面就不犯相同的错误了 算法一览 值是连续值还是离散的 一般连续的值对应回归 而离散的对应分类 很多应用都是有监督的学习，这样我们也比较放心 对一般的情况做一个总结 相关资料 来源： oschina 链接： https://my.oschina.net/u/4333555/blog/4315251

　　 　　作者 | 青暮、陈大鑫 　　编辑 | 丛 末 　　SIGIR是一个展示信息检索领域中各种新技术和新成果的重要国际论坛，若非疫情影响，今年本定于中国西安市举行。7月25日-7月30日，第43届SIGIR2020在线上举行。 　　7月27日，2018年图灵奖得主Geoffrey Hinton带来了主题为《The Next Generation of Neural Networks》的讲座。讲座由约克大学信息技术学院正教授Jimmy Huang主持，ACM杰出科学家、 吉林大学人工智能学院常毅教授担任嘉宾。 　　在讲座中，Hinton指出： 人工神经网络最重要的未解难题之一，是如何像大脑一样有效地进行无监督学习。 　　当前有两种主要的无监督学习方法： 　　第一种方法，以BERT和变分自编码器为例，使用了深度神经网络来重建其输入。这种方法对于图像来说是有问题的，因为网络的最深层需要对图像的精细细节进行编码。 　　第二种方法是Becker和Hinton在1992年提出的:当给定相同图像的两个不同片段作为输入时，训练深度神经网络的两个副本以产生具有高互信息的输出向量。设计此方法的目的是使表征形式不受输入无关细节的束缚。 　　Becker和Hinton使用的优化互信息的方法存在缺陷（出于一个微妙的原因，讲座中会解释），因此Pacannaro和Hinton将其替换为判别性目标函数