监督学习

　　 　　 编译 | 王雪佩 　　 编辑 | 丛 末 　　NLP中的大多数成功案例都是关于监督学习或半监督学习的。从根本上说，这意味着我们的解析器、情感分类器、QA系统和其他一切都和训练数据一样好。基于这一事实，数据和模型工程，对于 NLP 进一步的发展来说同样重要。这就是为什么顶级会议 ACL 通常还专设了一个“资源和评估”通道，并颁发最佳资源论文奖。 　　然而，创建模型和资源这两项任务所需要的技能集并不相同，往往也来自不同的领域，这两个领域的研究者往往也对“论文应该是怎样的”抱有不同的期望。这就使得审稿人的工作进入一个雷区：如果期望得到一个橘子结果得到的却是一个苹果，那么这个苹果看起来就是错的。以双方最大的善意来看，论文被拒绝的原因可能并非论文实际存在任何缺陷，而是它的基本方法论“不合适”。 　　对于这一点比较失望的作者们在线上或线下展开的讨论，是这篇文章的写作缘由。有一件事很明显：如果作者和审稿人不能就“论文应该是怎么样的”达成一致，那么提交论文就是浪费彼此的时间。作者希望，本文能帮助那些使用数据的人，更好地理解那些制作数据的人，并对他们的论文做出更好的评价。 　　 1 　　 同行评审对资源论文的六大误区 　　让我们从消除一些关于资源论文的误区开始。 注：下面所有引用都来自ACL审稿人对论文的真实评论！ 　　 误区1：资源论文不是科学 　

御丽诗妃：本文来源于网络，著作权归宿原作者。 你有被朋友圈掀起的python热“烫到”了吗？ 之前我就被朋友圈的一则python广告惊到了！ 今天见到这个广告的点赞评论依旧那么多！热度丝毫没有要减的意思（目瞪口呆.jpg） 朋友圈里编辑、运营、HR、市场、医生、行政…… 那些本和技术八竿子打不着关系的人，居然开始学起了python？ ！ 为什么大家都在学python 娜娜 26岁 市场销售 娜娜在上海一家公司做了 3 年的市场销售，为了更好地完成业绩，每天都赶着最后一班地铁回家。 毕业 3 年，算上加班时长，说是工作了 5 年也不过分！ 这是娜娜的工作日常： 手指快速在键盘上敲打，把成百上千个文档和表格中的数据，一个个复制、粘贴整理到新的表格…… 好不容易完成了大部分数据的整理，但是由于打开的网页太多，电脑突然死机，之前录入的数据一下子全没了。 繁琐而枯燥无味的工作常常让娜娜崩溃，可又能怎么样呢？还是要擦擦眼泪，打开电脑、扛着疲惫一行行录入数据。 在她朋友的建议下开始“入坑”Python，“真香定律”再次被验证！ ▲python自动生成统计报表 娜娜不再因为复制粘贴的工作忙得团团转，把更多的时间放在如何提高业绩上，娜娜也进入了数据分析能力+业务能力双双提高的良性循环中。 后来公司成立了新部门，领导特意推荐她，现在她已经正式从分部调到公司总部了。所以没有什么是不可能的

​ 机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 它是人工智能的核心，是使计算机具有智能的根本途径。 2020年，似乎没有哪一个方向能比机器学习还要火热了，即使我们不打算从事算法方向，了解一点机器学习的基础知识也不是什么坏事，这一份书单，将带你入门基础的机器学习知识。 机器学习系列书单 ​ 图解机器学习 　　《图解机器学习》用丰富的图示，从ZUI小二乘法出发，对基于ZUI小二乘法实现的各种机器学习算法进行了详细的介绍。第Ⅰ部分介绍了机器学习领域的概况；第Ⅱ部分和第Ⅲ部分分别介绍了各种有监督的回归算法和分类算法；第Ⅳ部分介绍了各种监督学习算法；第Ⅴ部分介绍了机器学习领域中的新兴算法。书中大部分算法都有相应的MATLAB程序源代码，可以用来进行简单的测试。 作者简介 　　杉山将，1974年生于大阪。东京工业大学计算机工程学博士毕业，现为东京大学教授、日本国立信息学研究所客座教授。主要从事机器学习的理论研究和算法开发，以及在信号和图像处理等方面的应用。2011年获日本信息处理学会长尾真纪念特别奖。著有《统计机器学习》、DensityRatioEstimationinMachineLearning等

本文是王家林大咖清华大学新书《企业级AI技术内幕：深度学习框架开发+机器学习案例+Alluxio解密》第2.1章节的内容，清华大学出版社将于9月份出版新书。 目录 盘古人工智能框架引言 盘古人工智能框架 盘古人工智能框架代码实战 实现神经网络的节点结构 新书预发布 新书 前 言 盘古人工智能框架引言 2017年3月21日，王家林大咖在硅谷，利用三个月的时间，于2017年6月22日实现了盘古人工智能框架，在该框架中实现了基本的ANN（Artificial Neural Network）和CNN（Convolutional Neural Network），那时还没实现RNN（Recurrent neural Network），但是实现了另外两个特别重要的算法，一个是自动编码（AutoEncoders），还有一个是非监督学习玻尔兹曼机算法（Boltzmann_ Machines），二者都跟推荐系统相关。对于深度学习中的算法，神经网络算法是必须掌握的，CNN、RNN等都是基于神经网络算法延伸出来的，包括自动编码算法，也是基于神经网络的算法延伸出来的。自动编码算法、玻尔兹曼机算法在实际中可用于推荐系统，在Facebook、谷歌、亚马逊的各种应用场景都可以看见推荐系统的身影；深度学习在图片识别、声音识别中可能暂时不那么重要。从2017年6月开始，用了将近10个月的时间

随着人工智能的巨大进步 – 从无人驾驶汽车领域的进步，到掌握扑克和围棋等游戏，以及自动化客户服务交互 – 这项先进技术将为企业带来革命性的变化。但是，AI，机器学习和深度学习这两个术语经常被随意使用，并且可以互换使用，因为每种技术之间存在重大差异。以下是这三种工具之间差异的指南，可帮助您掌握机器智能。 人工智能（AI） 人工智能是思考先进计算机智能的最广泛途径。1956年在达特茅斯人工智能会议上，该技术被描述为：“学习的每一个方面或智能的任何其他特征原则上都可以被精确地描述，以便机器可以被模拟。” 人工智能可以指任何从玩象棋游戏的计算机程序到亚马逊Alexa解释和响应语音的语音识别系统。该技术大致可以分为三类：狭义人工智能，人工智能（AGI）和超智能人工智能。 IBM的Deep Blue在1996年的比赛中击败国际象棋大师Garry Kasparov，或者在2016年击败了Lee Sedol的Google DeepMind的AlphaGo，它们都是狭义AI-AI的例子，它们擅长于一项特定任务。这与人工智能（AGI）不同，后者是人工智能，可以执行一系列任务。 超级智能AI让事情更进一步。正如尼克·博斯特罗姆所描述的那样，这是“在几乎所有领域都比人类最优秀的智慧更聪明的智慧，包括科学创造力，一般智慧和社交技巧。” 换句话说，就是机器超过了我们。 机器学习（ML）

​ 机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 它是人工智能的核心，是使计算机具有智能的根本途径。 2020年，似乎没有哪一个方向能比机器学习还要火热了，即使我们不打算从事算法方向，了解一点机器学习的基础知识也不是什么坏事，这一份书单，将带你入门基础的机器学习知识。 机器学习系列书单 ​ 图解机器学习 　　《图解机器学习》用丰富的图示，从ZUI小二乘法出发，对基于ZUI小二乘法实现的各种机器学习算法进行了详细的介绍。第Ⅰ部分介绍了机器学习领域的概况；第Ⅱ部分和第Ⅲ部分分别介绍了各种有监督的回归算法和分类算法；第Ⅳ部分介绍了各种监督学习算法；第Ⅴ部分介绍了机器学习领域中的新兴算法。书中大部分算法都有相应的MATLAB程序源代码，可以用来进行简单的测试。 作者简介 　　杉山将，1974年生于大阪。东京工业大学计算机工程学博士毕业，现为东京大学教授、日本国立信息学研究所客座教授。主要从事机器学习的理论研究和算法开发，以及在信号和图像处理等方面的应用。2011年获日本信息处理学会长尾真纪念特别奖。著有《统计机器学习》、DensityRatioEstimationinMachineLearning等

本文总结了数据科学项目失败的最常见原因，希望能够帮助你避免陷阱。 1.问错了问题 如果你问了错问题，你将会得到错误的答案。比如金融业中的欺诈识别问题，这个问题最初可能是“这个特定的交易是否存在欺诈”。为了确定这一问题，你将需要一个包含欺诈和非欺诈交易示例的数据集。这个数据集可以在一组专门负责侦测欺诈行为的专家（SME）的帮助下生成。但是，由于专家们依据的是过去对欺诈行为的认识进行的标记，用该数据集训练的模型只会捕获符合旧模式欺诈，而对于新兴的欺诈方式，这一模型将无法识别。如果将问题改为“这个交易是否反常”，它只需寻找不符合“正常”签名的交易，依靠人类进一步分析预测的欺诈交易以验证模型结果即可。但这种方法的副作用是，它很可能会比以前的模型产生更多的误报。 2.试图用它来解决错误的问题 我们经常会忽视一个问题：我们费尽心思解决了一个问题，但是解决后是否能实现我们的目的。比如，你想出了用人工智能开发出一个将人的全身照传上网站就能根据提醒量身定做一套合身的衣服的项目。完成这个项目我们需要完成以下任务： ·开发AI/ML技术以确定照片中的身体测量值； ·设计并创建一个网站和手机应用，以便与客户进行互动； ·进行可行性研究以确定此产品是否有市场。 作为技术专家，我们最熟悉的就是产品设计与编码，因此我们可能想开始研究前两个任务

　　机器之心报道 　　 编辑：魔王、杜伟 　　 　　 在近期举行的第 43 届国际信息检索年会 (ACM SIGIR2020) 上，Geoffrey Hinton 做了主题为《The Next Generation of Neural Networks》的报告。 　　Geoffrey Hinton 是谷歌副总裁、工程研究员，也是 Vector Institute 的首席科学顾问、多伦多大学 Emeritus 荣誉教授。2018 年，他与 Yoshua Bengio、Yann LeCun 因对深度学习领域做出的巨大贡献而共同获得图灵奖。 　　自 20 世纪 80 年代开始，Geoffrey Hinton 就开始提倡使用机器学习方法进行人工智能研究，他希望通过人脑运作方式探索机器学习系统。受人脑的启发，他和其他研究者提出了「人工神经网络」（artificial neural network），为机器学习研究奠定了基石。 　　那么，30 多年过去，神经网络的未来发展方向在哪里呢？ 　　Hinton 在此次报告中 回顾了神经网络的发展历程，并表示下一代神经网络将属于无监督对比学习 。 　　Hinton 的报告主要内容如下： 　　 人工神经网络最重要的待解难题是：如何像大脑一样高效执行无监督学习。 　　目前，无监督学习主要有两类方法。 　　第一类的典型代表是 BERT 和变分自编码器（VAE

　　机器之心发布 　　 机器之心编辑部 　　 　　 全球计算机视觉顶会 CVPR 2020 上，百度共计有 22 篇论文被接收。这篇 Oral 论文中，百度提出了 ActBERT，该模型可以学习叙述性视频进行无监督视频文本关系，并提出纠缠编码器对局部区域、全局动作与语言文字进行编码。最终在 5 项相关测评任务上取得了 SOTA 结果。 　　ActBERT 在下游视频和语言任务上，即文本视频片段检索、视频描述生成、视频问答、动作步骤定位等任务上明显优于其他技术，展示了其在视频文本表示方面的学习能力。 　　 　　论文：《ActBERT: Learning Global-Local Video-Text Representations》 　　论文链接： http://openaccess.thecvf.com/content_CVPR_2020/papers/Zhu_ActBERT_Learning_Global-Local_Video-Text_Representations_CVPR_2020_paper.pdf 　　现有利用 BERT 训练方式进行视频语言建模一般通过量化视频帧特征的方式，通过聚类离散化将视觉特征转化为视觉单词。但是，详细的局部信息，例如，互动对象，在聚类过程中可能会丢失，防止模型进一步发现细粒度的视频和文字对应关系。本文提出 ActBERT

目录 7-1 什么是PCA 7-2 使用梯度上升法求解PCA问题 7-3 求数据的主成分PCA demean 梯度上升法 使用极端数据集测试 7-1 什么是PCA 降维后 同理去掉特征一，降维则为 那个方案更好呢，右边的，在x轴上点集间距离大，有更好的区分度 将点映射到这条斜线上，数据点变为，其整体与原来变化不大，从二维降到了一维，这时无论是映射到xy上间距大好 方差样本的疏密 所有的样本减去整体样本的均值 dmean后式子化简为这样 X是向量，demean后为零 w是单位方向向量 主成分分析法有很强的数学原理 横纵坐标是两个特征，与线垂直，不同于线性回归， 横特征纵是标记，与坐标垂直 7-2 使用梯度上升法求解PCA问题 X是非监督学习提供的样本，没有标记y 整理式子，不用for循环，通过向量的运算计算 1Xm, mXn == 1Xn 需要nx1的梯度，将上式转置 相清楚谁是矩阵谁是向量，如果是矩阵是多少乘多少的 7-3 求数据的主成分PCA demean 梯度上升法 def f(w, X): return np.sum((X.dot(w)**2)) / len(X) def df_math(w, X): return X.T.dot(X.dot(w)) * 2. / len(X) def df_debug(w, X, epsilon=0.0001): res = np