神经网络

在 上一篇 中提到，邻域方法(Neighborhood/Similarity Based Models)基于一个强假设：在观测到用户消费过条目A之后，我们有很高的可能性观测到用户会喜欢与A相似的条目B（Item CF）以及 相似的用户可能喜欢同一个条目。 在这个描述中，我们提到两个相似性：条目相似性 和 用户相似性。在协同过滤中，对于条目，我们可以使用标签、消费用户群体等的相似性来描述其相似性；对于用户，我们可以使用消费过的条目的相似性、性别、年龄、地区等参数来描述其相似性。可见，这里的相似性都是基于现实世界中具有实际意义的语义维度来定义的。在SVM(Support Vector Machine)中，我们需要在高维空间中重新调整坐标轴，以使得数据在新的空间中跟好分。这个思想和实践说明，调整后的空间和维度可以比现实世界中具有实际语义的空间和维度能更好地描述事物对象。也就是说，如果我们可以把事物的描述通过某种转换，变换到一个新的语义空间，可能会更好地描述事物的相似性。 隐语义模型(LFM)就是这样一种描述。在隐语义模型中，我们使用同样的维度来表征(Embedding)条目和用户。对于条目，这个表征就是条目表现出的对应维度的特征强度；对于用户，就是用户表现出的对对应维度特征的偏好强度。这样，我们让用户的表征向量乘以条目的表征向量(数量积)，就可以得到用户对该条目的偏好描述 [1] .

作者|FAIZAN SHAIKH 编译|VK 来源|Analytics Vidhya 介绍 深入学习中最具争议的话题之一是如何解释和理解一个经过训练的模型——特别是在医疗等高风险行业的背景下。“黑匣子”一词经常与深度学习算法联系在一起。如果我们不能解释模型是如何工作的，我们怎么能相信模型的结果呢？这是个合理的问题。 以一个为检测癌症而训练的深度学习模型为例。这个模型告诉你，它99%确定它已经检测到癌症，但它并没有告诉你为什么或者如何做出这个决定。 在核磁共振扫描中找到了重要线索吗？或者只是扫描上的污点被错误地检测为肿瘤？这是病人生死攸关的问题，医生犯了大错后果很严重。 在本文中，我们将探讨如何可视化卷积神经网络（CNN），这是一种深入学习的体系结构，特别用于最先进的基于图像的应用程序。我们将了解可视化CNN模型的重要性，以及可视化它们的方法。我们还将看一个用例，它将帮助你更好地理解这个概念。 目录 CNN模型可视化的重要性 可视化方法 基本方法 绘制模型架构 可视化滤波器 基于激活的方法 最大激活 图像遮挡 基于梯度的方法 显著图 基于梯度的类激活图 CNN模型可视化的重要性 正如我们在上面的癌症肿瘤例子中所看到的，我们知道我们的模型在做什么，以及它如何对预测做出决定，这是绝对重要的。通常，下面列出的原因是一个深度学习实践者要记住的最重要的一点： 了解模型的工作原理 超参数调整

　　 CCAI 2020年8月29日-30日 　　2020年中国人工智能大会（Chinese Congress on Artificial Intelligence 2020，简称“CCAI 2020”）将于8月29日-30日在南京召开。CCAI 2020以“智周万物”为主题，探讨人工智能作为引领未来的战略性技术，如何以周知万物的学术境界赋能未来，带动时代发展，实现互联世界的远大理想。 　　 中国科学技术大学，机器人实验室主任、教授陈小平将出席本次大会作主题演讲。 　　 陈小平： 长期从事人工智能与机器人的交叉研究和教学。提出并较系统地发展了基于“归约蕴含”的认知建模技术。将自然语言理解和自动推理引入服务机器人，在国际上首次实现了一种能够完成复合任务的服务机器人通用机制。提出基于“开放知识”的机器人智能技术路线，并在“可佳”和“佳佳”智能机器人系统中进行了持续性研究和工程实现。 　　自1998年起，中科大开始研究智能机器人，20多年来，陈小平教授始终是其中流砥柱。近年来机器人“佳佳“因自身独特的外表和丰富的功能不断吸引国内外的目光，其前身”可佳“更是在国际大会中数次斩获冠军；这两位来自”可佳工程“的智能机器人结合了导航避障、路径规划、人机对话和用户人脸识别等技术，以期真正实现机器人的自主服务功能，能够在基础的家庭事务中发挥作用。除了“可佳工程”

人类的大部分知识都以概念和不同概念之间的关系形式存在。如果让机器学习智能， 需要让它能够在数据中发现概念和挖掘关系。虽然机器学习和深度学习发展到今天，特别擅长数据之间的统计相关性，比如通过一组线性和非线性的变化把找到 ， 但是这种发现止于相关性， 而相关性仅仅是世界上大部分关系的冰山一角。 而各种逻辑关系，因果关系，比如物理里的作用力，还是剧本里人情世故的变化，则都超出这个范畴。 离开关系当下机器学习对概念的理解也是有限的， 因为概念的存在依赖于它和其他概念的关系，尤其是整体和部分的关系。例如真正理解某种化学物质是什么，就要理解组成该化学物质的原子和其关系，真理解生命，就要理解生物组成生命的细胞和其关系。 那么当下的任务就很明确了， 我们需要做一个机器学习模型， 不但具备基本的统计拟合能力，还可以进行关系推理，就需要把世界的这种关系本质作为一种先验嵌入到系统里。 我之前总结的让符号主义AI和深度学习融合的文章对整个这一思路框架进行了归纳 许铁-巡洋舰科技：AI的下个十年 ​ zhuanlan.zhihu.com 向这个伟大目标前进的第一步，是图网络。 图网络是当下机器学习的热点，这里我们不是从偏工程的角度，而是从关系学习本身来看图网络， 具体来介绍下面这个文章： Relational inductive biases, deep learning, and graph

　　7月26日，由中国人工智能学会主办、新浪新闻联合浙江大学承办的2020全球人工智能技术大会（2020GAITC）“AI时代下的新媒体与社交娱乐”专题论坛拉开帷幕，新浪集团首席信息官、新浪AI媒体研究院院长王巍，浙江大学特聘教授、悉尼科技大学教授、百度研究院访问教授杨易共同担任论坛主席。 　　清华大学大学新闻与传播学院学术委员会主任、教授金兼斌在本次专题论坛上，与来自业界、学术界的嘉宾们分享了《人工智能助力虚假科学信息的监测》。 　　 　　清华大学大学新闻与传播学院学术委员会主任、教授金兼斌作主题演讲。 　　金兼斌认为，社会化媒体时代，虚假科学信息的治理，必须充分依靠对分散在社会各个平台上的民智的整合，而人工智能则是实现这种有效整合的关键。 　　关于应对虚假科学信息，利用人工智能技术进行更好的监测，他提到，基于虚假科学信息的语言特征、内容特征和对象特征，“表示学习”、“知识图谱”、“信息挖掘”是三种有针对性的解决思路。 　　 以下为金兼斌演讲实录，内容经编辑略有删减： 　　各位嘉宾好，首先非常荣幸受新浪新闻和浙江大学的邀请来参加这一论坛。刚才听前面几位专家分享的时候，颇感心有戚戚。诸多内容和观点，嘉宾之间并未事先沟通过，但却遥相呼应。 　　今天我将主要谈谈虚假科学信息的监测问题。借用刚才Amy Bruckman女士的话，知识本质上是一种共识的社会建构。尼采有类似的表述

这篇文章主要介绍卷积神经网络1998年到2019年的20多种经典的网络，体会每种网络的前世今身以及包含的深邃思想。算是一个总结性的博客吧。。。 目录 一、1998年：LeNet 二、2012年：AlexNet 三、2013年：ZFNet 四、2014年:亚军——VGGNet 冠军——GoogLeNet 五、2015年：ResNet 六、2016年：DenseNet 七、2017年：SENet 一、1998年：LeNet 1988年，Yann LeCun（深度学习三巨头之一，2019年获得图灵奖）提出了用于手写字符识别的卷积网络模型LeNet5。其原理结构比较清晰，如图所示。当年，美国很多企业都采用了该模型用于识别现实场景中的数字，例如邮政编码、手写数字等，能够达到商用的程度，可见其在AI领域的开创性地位。 在论文中，LeNet5被用于识别MNIST数据集提供的10个数字。MNIST数据集在人工智能领域的作用是非常重要的，是当时Google实验室的Corinna Cortes和纽约大学的Yann LeCun共同建立的手写数字数据库，由60000张训练图片和10000张测试图片组成。该数据集提供的图片像素统一为28×28，图片中字符像素最大为20×20。 创新点： 提出卷积神经网络 二、 2012 年：AlexNet AlexNet是2012年提出的

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 一个新技术从提出到成熟往往要经历多次热潮，当下热门的AI正是如此。纵观整个AI的发展历程，可以分为三个阶段。目前，AI正在从2.0阶段发展到3.0阶段，此时，重要的一环就是神经拟态计算取得的突破性进展，而这又需要在两个方面发力。 今天距离人类最初探索外太空已经有51年之久了。1969年，美国宇航员阿姆斯特朗踏上了月球表面，他的那句“我的一小步，人类的一大步”仍然被我们所熟记。 正如人类从未停止过对外太空的探索一样，科研人员对人工智能（Artificial Intelligence）领域也从未停止过探索。如果说我们之前的探索是停留在人工智能的“地球表面”，现在的科技进步、软硬件的成熟正带领我们进入人工智能的新领域，即人工智能的“外太空”。其中关键性技术——神经拟态计算的巨大突破就是一个重要的推进器。 英特尔近期在超高能效比的神经拟态计算领域取得了瞩目的进展，例如Loihi芯片已经具备了嗅觉，可以识别10种有害气体；由有768颗Loihi神经形态芯片组成的Pohoiki Springs神经拟态计算系统拥有1亿个神经元，相当于一个小型哺乳动物。可以说，正是这些在神经拟态计算领域的“一小步”，成就了AI发展的“一大步”。 AI3.0——让机器实现从感知到认知 人工智能的“外太空”

降噪自动编码器是一种用于图像去噪无监督的反馈神经网络 原理如下图所示 训练代码如下 from keras.layers import Input, Conv2D, MaxPooling2D, UpSampling2D, ZeroPadding2D from keras.models import Model from keras.callbacks import TensorBoard from keras.datasets import mnist import numpy as np (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train = x_train.astype('float32') / 255. x_test = x_test.astype('float32') / 255. x_train = np.reshape(x_train, (len(x_train), 28, 28, 1)) # adapt this if using `channels_first` image data format x_test = np.reshape(x_test, (len(x_test), 28, 28, 1)) # adapt this if using `channels_first` image

　　 　　编译 | 陈大鑫 　　编辑 | 丛 末 　　首度于线上召开的CVPR 2020 会议已经落下帷幕。今年，大会共有1467篇论文被接收，共举办了29个Tutorial、64个Workshop，线上与会者人数达 7600人。大量的论文，加上今年新采用虚拟会议的形式，曾一度让会议浏览器不堪重负（浏览速度非常慢）。 　　为了让大家更好地掌握今年会议的总体研究趋势，一位深度学习专业的博士生Yassine Ouali 专门撰写了一篇博客，总结了一些引起他关注的论文，以呈现今年会议的大致面貌。 　　 我们先来看下 CVPR 2020 官方的相关统计数据： 　　CVPR 往年的增长趋势仍然继续：作者人数增加了20％，提交论文的数量增加了29％，同时为了适应这种扩张，审稿人和领域主席都有增加 　　 　　今年会议的注册人数共有6424人，相比2019年增加了一千多人。在被接收的1467篇论文中，有335篇 Oral 论文。 　　 　　 　　与去年相似，就接受论文而言，中国是CVPR的第一贡献者，其中来自清华大学的作者数量最多，其次是美国（按国家）和Google（按组织）。 　　 　　不出所料，被接收的论文主题多数集中在与学习、识别、检测和理解有关的主题上。但是，人们对诸如高效标签方法（例如，迁移学习），图像合成和机器人感知等相对较新的领域越来越感兴趣

　　 　　 本文介绍的是IC ML 2020 论文《Channel Equilibrium Networks for Learning Deep Representation》，论文作者 来自香港大学罗平组。 　　作者 | 邵文琪、罗平 　　编辑 | 丛 末 　　 　　论文地址：https://arxiv.org/pdf/2003.00214.pdf 　　 1 　　 前言 　　这篇文章主要介绍我们ICML 2020的一个工作——Channel Equilibrium Networks for Learning Deep Representation。卷积神经网络（CNN）中最重要的一个概念就是通道（Channel），与之相关联的基本结构包括卷积层、归一化层（如BN等）。比如卷积中的一个kernel通常对应着一个输出通道，而常用的BN就是在每一个通道内计算相应的统计量。 　　大量研究表明，网络中有效通道的数量与CNN的表达能力关系密切。比如，WideResNet通过增加通道数量也就是网络宽度来提升CNN的表达能力，而常用的模型剪枝方法（Prunning）也发现对一个训练好的网络，删去一些不重要的通道并不会对网络性能产生太大的影响。 　　在这篇文章中，我们把这些不重要的通道称之为“抑制通道”。抑制通道在特征表示中几乎没有作用，因此网络剪枝即去除抑制通道。与网络压缩不同