机器学习

点击上方“ 3D视觉工坊 ”，选择“星标” 干货第一时间送达 目前三维点云数据的获取方法相对快捷，同时三维点云数据的采集不受光照影响，也规避了二维图像遇到的光照、姿态等问题，因此基于点云数据的三维物体识别也引起了人们的重视。 三维点云物体识别方法多是通过提取物体的特征点几何属性、形状属性、结构属性或者多种属性的组合等特征进行比对、学习，从而完成物体的识别与分类。可以分为以下四类方法： 1.基于局部特征的目标识别 基于局部特征的物体识别方法主要是通过局部来识别整体。该方法无需对处理数据进行分割，往往通过提取物体的关键点、边缘或者面片等局部特征并进行比对来完成物体的识别。其中，特征提取是物体识别中非常关键的一步，它将直接影响到物体识别系统的性能。基于局部特征的方式对噪声和遮挡有更好的鲁棒性，同时不受颜色和纹理信息缺乏的限制。由于局部特征描述子仅使用参考点邻域信息，所以不对场景进行分割即可处理复杂场景。但是局部特征描述子维度较高，需要消耗更多的内存，同时存在计算复杂度高，实时性差等问题。 点特征直方图(PFH)和快速点特征直方图(FPFH)是Rusu R B等人提出的相对早期的局部特征描述子。采用统计临近点对夹角的方式构造特征描述子，这也是局部特征描述子构造的典型方式，在此基础上形成了基于局部特征匹配的目标识别和位姿估计的经典框架，如下图所示。表１对典型的局部三维描述符进行了总结

喜报 刚刚，在国家科学技术奖励大会上 阿里巴巴荣获两项国家大奖： 国家技术发明奖、国家科技进步奖 这是互联网公司首次同时 获评两大国家科技奖 我们与清华大学共同研发的 编码摄像关键技术及应用 获得国家技术进步 二等奖。 该技术在软硬件两方面解决了传统成像在 “大纵深场景全清晰、复杂场景的精确深度感知和传感数据高效表示与重建”三个方面面临的挑战。 在成果应用方面，数据的高效表示和迁移学习与阿里巴巴在智能终端（如手机）上 实时视觉算法框架 PixelAI 相结合，在客户端上视频压缩与视觉互动领域取得了很好的技术效果，并在 淘宝直播业务 上带来了可观的商业价值。 感谢这一份莫大的荣誉 这是我们最好的年终奖 再接再厉！ 🎉希望同样优秀的你 快快加入我们🎉 我们是淘系技术部 多媒体算法团队 ，我们依托淘系数十亿级的视频数据，有丰富的业务场景和技术方向。我们持续以技术驱动产品和商品创新，不断探索和衍生颠覆型互联网新技术。我们不断吸引 机器学习、视觉算法、音视频通信、端侧智能 等领域全球顶尖专业人才加入，让科技引领面向未来的商业创新和进步。 简历请投递📮： xiaobo.lixb@alibaba-inc.com 本文分享自微信公众号 - 淘系技术（AlibabaMTT）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入

百度云智能运维产品（Noah）的监控系统（Argus）是保障百度内外服务高可用的基石。它具有诸如机器监控、实例监控、HTTP监控、域名监控、日志监控、自定义监控等多种监控手段，具备“海陆空”全方位的监控能力，让服务异常无处遁形。 如果你看过本公众号之前的系列文章，相信你会觉得我所言非虚。 然而如此强大的监控系统所产生的“辣么多”报警，如果不能及时精准地送达给运维人员，那么一切都还只是个传说。今天我们就聊聊报警如何送达的问题。 注意，我们今天不谈报警，我们只谈报警的搬运工—— 百度云Noah通告平台。 一个都不能少 报警不同于普通的通知，它反映的是线上服务即将或正在遭受损失。如果我们把核心报警搞丢了，造成线上故障得不到及时解决，这个责任是巨大的。由于报警系统天然就这样要求高可靠性，因此我们奉行“at-least-once”的投递原则，确保报警至少有一次能成功抵达用户，做到“该报的报警一个都不能少”。 为了实现这个目标我们经历过不少坑。 机房网络连通性问题 我们发送报警要依赖四个底层发送网关（电话网关、短信网关、IM网关、邮件网关）来向用户发送消息，如下图所示。由于公司网络环境的原因，这些网关部署在某些特定机房，和上游的监控系统部署在不同机房中，这样机房间的网络拥塞或抖动将直接影响报警发送。 解决这种问题 ，可以将底层发送网关主备部署到不同的机房，由上游系统重试解决

作者：RAM SAGAR 机器之心编译 编辑：蛋酱、魔王 原文链接： https://mp.weixin.qq.com/s/NTjTg-enUjArb2umkhcVIg ​ mp.weixin.qq.com 注：文末附【深度学习与自然语言处理】交流群，最近赶ACL，比较忙，很多同学加了没有回过期了，可以重新加一下，备注好的一定会回复，敬请谅解。 盘点 AI 十年来取得的重要突破。 过去十年间，人工智能技术突飞猛进，最疯狂的科幻小说场景现在已经成为我们生活中不可或缺的一部分。十年前，人们在谈论 AI 的理论化和实验，但这些年来，AI 变得更加切实了，也变成了主流。无论是国际标准课程、平台、库、框架、硬件，一切都顺理成章。就算说这十年里取得的成绩奠定了未来的基础，也不为过。 这篇文章将盘点 AI 十年来取得的重要突破。 卷积 2012 年是深度学习历史上重要的一年。那一年，卷积神经网络（CNN）在著名的 ImageNet 挑战赛中大放异彩。由 Alex Krizhevsky 等人设计的卷积神经网络「Alexnet」以远超第二名的成绩夺冠，在 ImageNet 数据集上的视觉识别错误率为 15.3%，降低了一半。该神经网络对猫的检测准确度达到了 74.8%，在 YouTube 视频中检测人脸的准确率为 81.7%。 现在，手机和商场中的人脸识别应用都应该归功于 2012 年的这项工作

↑↑↑点击上方 蓝字 ，回复 资料 ，10个G的惊喜 大数据文摘出品 TikTok再生变动。 昨天， 美国商务部发布禁令 ，表示出于安全考虑，禁止与WeChat和TikTok相关来往交易。TikTok对此项禁令表示强硬抗议，也提出将继续推动诉讼。 今天，据彭博社最新报道， 特朗普“原则上”已经同意了关于TikTok的解决方案 。 不过，该方案要最终生效，还需要各方审核。 “云上加州”反转，最新方案不涉及算法转让 9月20日，TikTok发布声明称，“为了确保1亿美国用户能够继续使用TikTok这款高人气的视频及内容应用软件，满足美国政府监管要求，加强TikTok美国业务，字节跳动、甲骨文、沃尔玛就‘云上加州’方案达成原则性共识。三方将按照此共识，尽快达成满足美国和中国法律要求的合作协议”。 同时，美国商务部也宣布，将把禁止在美国下载TikTok的禁令 至少推迟到9月27日 。关于再次更改最后期限，根据官方的说法，是“考虑到最近的积极进展”而做出的。该禁令原定于9月20日，也就是今天生效。 根据提案，TikTok的总部会继续留在美国，甲骨文会以TikTok在数据安全合规方面的合作伙伴身份，为美国用户提供云架构服务。双方的合作模式类似苹果在中国由云上贵州进行的数据安全合规合作，又因为甲骨文的总部在美国加州，这一方案也被网友们称为 “云上加州” 。 值得注意的是，最新的方案并

　　大数据时代的浪潮袭来，Hadoop作为一种用来处理海量数据分析的工具，是每一个大数据开发者必须要学习和掌握的利器。本文总结了Hadoop入门基础知识，主要包括了Hadoop概述、Hadoop的发展历程和Hadoop的特性。下面一起来看看吧! 　　1、Hadoop概述 　　Hadoop 是 Apache 旗下的一个用 Java 语言实现开源软件框架，它还是一个开发和运行处理大规模数据的软件平台。Hadoop允许使用简单的编程模型，在大量计算机集群上，对大型数据集进行分布式处理。 　　狭义上说，Hadoop 指 Apache 这款开源框架，它的核心组件有：HDFS(分布式文件系统)：解决海量数据存储 ;YARN(作业调度和集群资源管理的框架)：解决资源任务调度;MAPREDUCE(分布式运算编程框架)：解决海量数据计算。 　　广义上来说，Hadoop 通常是指一个更广泛的概念——Hadoop 生态圈。当下的 Hadoop 已经成长为一个庞大的体系，随着生态系统的成长，新出现的项目越来越多，其中不乏一些非 Apache 主管的项目，这些项目对 HADOOP 是很好的补充或者更高层的抽象。比如，HDFS： 分 布 式 文 件 系 统;MAPREDUCE：分布式运算程序开发框架;HIVE：基于 HADOOP 的分布式数据仓库，提供基于 SQL 的查询数据操作;HBASE

玩机器学习的童鞋都知道数据集的重要性，没有数据粮食喂养，好的模型是长不出来的，形象的比喻就是“巧妇难为无米之炊”。 这一年多来一直在摸索文本分析领域，文科生一枚摸着石头过河，很可惜一直没有出什么东西。不过却也在这过程中积累了一些在线评论数据集。大多是在百度网盘、谷歌遇到我觉得有用的数据我一般会下载下来。大邓都整理到csv中，方便大家使用pandas进行数据分析。今天我整理了一下，分享给大家。 中文在线评论数据 中文的数据主要电商平台在线评论数据，且均标注正负情感标签的，领域包括： 计算机 热水器 服装 手机 书籍 洗发水 外卖 通过这些标注的各个领域评论数据，我们可以训练各自领域的情感分析模型。有余力的童鞋也可以构建相关领域属性词典，想想就很激动。大邓这里打开其中一个文件，样子大概是这样的。 此外还有微博评论数据，有人将其标注为4种情绪，数据量10万条。再次感谢他们的辛勤劳动。 亚马逊评论数据集 该数据集的发现要感谢山东烟台的一位网友，向我咨询问题的时候给我留下了 加州大学圣地哥分校Julian McAuley教授的Amazon product ata数据集页面。 数据集简介： 该数据集包含来自亚马逊的产品评论和元数据，其中包括1996年5月至2014年7月的1.4亿条评论。 该数据集包括评论（评分，文字，乐于投票），产品数据（产品描述，类别信息，价格，品牌和图像特征）以及产品链接

　　降维是机器学习中很重要的一种思想。在机器学习中经常会碰到一些高维的数据集，而在高维数据情形下会出现数据样本稀疏，距离计算等困难，这类问题是所有机器学习方法共同面临的严重问题，称之为“ 维度灾难 ”。另外在高维特征中容易出现特征之间的线性相关，这也就意味着有的特征是冗余存在的。基于这些问题，降维思想就出现了。 　　降维方法有很多，而且分为线性降维和非线性降维，本篇文章主要讲解线性降维。 1、奇异值分解(SVD) 　　为什么先介绍SVD算法，因为在后面的PCA算法的实现用到了SVD算法。SVD算法不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是很多机器学习算法的基石。 　　在线性代数中我们学过矩阵（在这里的矩阵必须是$n × n$的方阵）的特征分解，矩阵A和特征值、特征向量之间的关系如下 　　 　　将A矩阵做特征分解，特征向量$Q$是一组正交向量，具体表达式如下 　　 　　在这里因为$Q$中$n$个特征向量为标准正交基，满足$Q^T = Q^{-1}$，也就是说$Q$为酉矩阵。 　　矩阵的特征值分解的局限性比较大，要求矩阵A必须是方阵（即行和列必须相等的矩阵），那么对于一般的矩阵该如何做分解？ 　　奇异值分解就可以处理这些一般性的矩阵，假设现在矩阵A是一个$m × n$的矩阵，我们可以将它的奇异值分解写成下面的形式 　　 　　在这里$U$是$m ×

一、什么是降维 降维，就是将数据由原来的n个特征(feature)缩减为k个特征(可能从n个中直接选取k个，也能根据这n个重新组合成k个)。可起到数据压缩的作用（因而也就存在数据丢失）。 PCA，即主成分分析法，属于降维的一种方法。其主要思想就是 ：根据原始的n个特征（也就是n维），重新组合出k个特征，且这k个特征能最大量度地涵盖原始的数据信息（虽然会导致信息丢失）。 有一个结论：当某一维的方差越大时，其所包含的信息量也越大，表明其越重要；反之则反。所以，PCA的主要工作就是：重构出k个特征，使其所包含的信息量最大。 什么是主成分分析法 举一个简单的例子，上面的图片中这组数据具有两个特征分别为特征一和特征二，我们如果只考虑其中的一个特征的话，那么就需要将这组数据投影到X轴（特征1）或Y轴（特征2）上。 比较两种投影结果，我们认为第一种（投影至X轴）的投影效果更好，因为点与点之间的距离比较稀疏，能更好的区分各个样本，反观投影至Y轴上的结果，点与点之间比较紧凑，样本之间不容易区分。 可是这样的投影方式是不是最好的呢？ 我们继续思考是否存在这样一条直线，当我们把所有的点投影到这条直线上时，所有点之间的距离最大呢？ 因此我们的目标转换为如何寻找到这样一条让样本间距离最大的轴，但是在这之前，我们应该先知道如何来定义样本间的距离？事实上，在统计学中，方差正好满足我们的需求

点击蓝色“ AI专栏 ”关注我 哟 选择“ 星标 ”，重磅干货，第一时间送达 这是站长第 31 期免费送丰富宝贵的干货资源与教程 本期绝对是 满满的干货 ！ 获取更多资源请关注 【AI专栏】 先上车pa 01 PART 五套深度学习算法教程！ 作为AI 初学者来说，最大的问题就是： 资料太多！！！看不完！！！ 不知道如何取舍！！！人的精力有限！！！ 因此，本次站长就为各位站友把 高效有用 的入门和进阶学习材料整理好了， 并限时无套路免费送给各位站友！！！ AI学习不仅仅在于模型掌握了多少，更多的在于你的算法分析和设计能力、工程实践能力、算法模型的优化能力。 5本享誉全球的AI好书和项目 免费 送给大家 ！！！ 机器学习基础 《机器学习基础》来了， 一书吃透机器学习！ 先总体来看，这本书分为17个章节： 从每一个章节的设置可以看出这份教材设置的非常细致，将机器学习中的基础概念拆分开来讲，想深入了解吃透深度学习的基础，按这个目录来学也是个不错的选择。 【AI专栏】 只做 干货！！！ 在这里没有任何套路！你只需要 长按下方二维码 回复【 2020 】 加站长微信即可立即获取 五套深度学习和算法学习教程和三套Python学习视频！！！ 现在关注他，还有机会添加他的个人微信号，进行一对一的交流，坑位有限(微信号有 5000 人的限制)，大家抓紧吧！ PyTorch官方教程中文版