神经网络

1.个性化排名 前面对电影数据集的处理只考虑了明确的反馈，通过观察到的等级进行了训练和测试。这种方法有两个缺点： 在实际应用中，大多数的反馈都是隐式的，显式的反馈往往需要更高的收集成本。 未被观察的哪些用户-项目交互可能用于预测用户的喜好但是被忽略了，当这些缺失不是随机导致的而是由于用户的喜好导致的这些方法将不在适用。很显然，未观测的这些用户-项目对是用户真实的负反馈（用户对这些不感兴趣才没看）和缺失值（正常随机的缺失，跟喜好无关，将来有可能会看）的结合体。如果简单的忽略其实是不对的。 为了解决这个问题，针对从隐式反馈生成排名推荐列表的一类推荐模型已获得普及。通常, 可以使用逐点、逐对以及逐列的方法优化个性化排名模型。逐点方法一次只考虑一次交互，并训练分类器或回归器来预测个人偏好。矩阵分解和AutoRec使用逐点目标进行了优化。 逐对方法为每一个用户考虑一对项目并且致力于为这对项目最优排序。通常, 逐对方法更适合于排序任务，因为预测一对的顺序会使人联想到排序。逐列方法将整列的项目近似排序, 如直接优化排名指标：Normalized Discounted Cumulative Gain ( NDCG )。然而, 列表方法比点方法或成对方法更加复杂且计算量大。 1.1 贝叶斯个性化排序 贝叶斯个性化排序（BPR）是从最大后验估计量得出的成对个性化排序损失

作者 | 陈利鑫 头图 | CSDN 下载自东方 IC 出品 | CSDN（ID：CSDNnews） 从开源（Open Source）一词提出到如今，开源的概念越来越成熟，作为一种创造及协作模式，开源已经不仅仅局限于软件技术的研发，更包括了诸如硬件设计、微型处理器指令集架构、规范、数据模型、协议、标准以及公众以公开模式协作创作的其他技术。开源协作将分布在世界各地的开发者们集结起来，一起开放协作，并向所有人分享成果。 中国开源：机遇与挑战并存的时代 经过三十多年的发展，全球范围内已经形成一个成熟的开源产业链。国外企业如微软通过收购开源平台 GitHub、开源 VS Code 等开源措施，成功刷新人们对微软原本封闭的印象；Google 的 Tensorflow,、Flutter、Kubernetes、Angular、Protobuf 等重量级项目也通过开源而深刻影响到全球范围内的开发者。 在国内，企业对开源技术的接受程度也逐年增高，数据显示，超八成的企业表示认可开源技术，已应用开源技术的企业占比达 86.7%，BAT、华为、滴滴等知名企业都是开源领域的重要参与者，积极拥抱开源。2019 年，国产开源项目更是处于爆发期，国内产商不断有重磅项目开源，包括腾讯的万亿级分布式消息中间件 TubeMQ、业界领先的深度学习框架 Angel，并分别捐赠给 Linux 基金会和 LF AI 基金会

点击上方“ 3D视觉工坊 ”，选择“星标” 干货第一时间送达 这篇文章是激光雷达点云数据分割算法的嵌入式平台上的部署实现。主要的创新点有两点：一是利用多路分支采用不同分辨率输入后再用不同的卷积块进行处理，达到性能和计算量之间的平衡；二是对基于投影的点云分割方法进行了改进。在嵌入式平台上性能不错，代码将在文章被收录后开源，值得关注。 论文地址 ：http://xxx.itp.ac.cn/pdf/2008.09162v1 LiDAR数据的实时语义分割对于自动驾驶车辆至关重要，然而自动驾驶车辆通常配备嵌入式平台并且计算资源有限，这使得点云分割算法的部署具有挑战性。通常的点云分割算法直接在点云上使用复杂的空间聚合操作，这些操作非常昂贵且难以针对嵌入式平台进行优化。因此，它们不适用于带有嵌入式系统的实时场景下应用。作为替代， 基于投影的方法更有效并且可以在嵌入式平台上运行。但是，当前基于投影的最新方法无法实现与基于点的方法相同的精度，并且需要使用数百万个参数。 因此，在本文中， 提出了一种基于投影的方法，称为Multi-scale Interaction Network（MINet） ，该方法有效且准确，具体而言网络使用具有不同尺度的多个通路，并且在不同尺度之间对计算资源进行平衡，同时不同尺度之间的额外密集交互可避免冗余计算，并使网络高效。所提出的网络在准确性

从 2019年开始，淘系技术部内容社交互动团队和北京邮电大学周安福教授一起着手研究更好的基于机器学习的智能拥塞控制算法。 在实验室环境完成原型验证后在淘宝直播的生产环境做实际效果对比，从实际数据来看效果明显。我们将其中的技术要点和数据做了总结，并投稿MobiCom2020，非常幸运地被这家全球最顶级的计算机刊物录用。以下是这篇Paper的中译本。 摘要 机器学习模型，尤其是强化学习(RL)，在优化视频流应用方面已显示出巨大的潜力。然而，目前的解决方案局限于“离线学习”模式，即 RL 模型在仿真器/模拟器中进行训练，然后 在真实网络中部署。因此，上述方案不可避免地会遇到’仿真-现实’环境之间的差异(gap)，在真实网络中的性能远远不如仿真环境下的性能。 在本文中，我们提出了 OnRL，一个实时移动视频通话的在线 RL 框架。OnRL 将单独的 RL agent 直接部署到每个视频通话系统中。这些系统依据 RL 算法，实时地做出视频比特率决策，并随时间实时演化其 RL agent。OnRL 继而聚合这些 agent，形成一个具有高层次信息的 RL 模型，从而使得每个视频通话都能应 对不确定的动态网络条件。 此外，OnRL 还设计融合了新的机制来处理视频特性所带来的系列挑战，并消除由 RL 算法本身的强探索性导致的服务质量下降的风险。我们将 OnRL 应用到主流的视频直播系统—

　　 　　本文首发于AI算法修炼营 　　作者 | SFXiang 　　编辑 | 青暮 　　本文介绍一篇收录于BMVC2020的论文，这篇论文的主要的思想是 减少anchor-free目标检测中的label噪声，在COCO小目标检测上表现SOTA！ 　　性能优于FreeAnchor、CenterNet和FCOS等网络。 　　整体思路可以说相当简单，就是在原来的基础上增加了标签池化和目标框聚合操作，其实可以看作是tricks。 　　 　　论文地址： https://arxiv.org/pdf/2008.01167.pdf 　　代码地址（基于mmdetection实现）： 　　https://github.com/nerminsamet/ppdet 　　当前的anchor-free目标检测器将空间上落在ground truth标签边界框box的预定中心区域内的所有特征标记为正。 　　这种方法会在训练过程中引起 标签噪音Label Noise ，因为 其中一些带有正标签的特征可能位于背景或遮挡物上，或者根本不是有判别性的特征。 　　在本文中，提出了一种新的标记策略，旨在减少anchor-free目标检测器中的标记噪声。具体将源于各个特征的预测汇总为一个预测，这使模型可以减少训练过程中非判别性特征（non-discriminatory features）的贡献。 　　在此基础上

　　机器之心分析师网络 　　 作者：仵冀颖 　　 编辑：Joni 　　 Bengio 认为，未来的深度神经网络应当能够实现 System2（逻辑分析系统），实现的是有意识的、有逻辑的、有规划的、可推理以及可以语言表达的系统。本文所讨论的 Logical Reasoning（逻辑推理）拟实现的就是 System2 中重点关注的有逻辑的（Logical）和可推理的（Reasoning）特点。 　　近年来，深度神经网络的应用获得了巨大的成功，也推动了人工智能的飞速发展。然而，深度神经网络仍存在一些局限性。一般来说，深度神经网络如何进行学习、使用何种算法实现的智能、基于哪些理论分析得出的相关结论并不会在网络架构中有任何的显式或符号表示。也就是说，深度神经网络学习的算法隐式地存储在成千上万甚至是数百万的权重中，这些通常是人类智能体无法破译或验证的。 　　Bengio 在 AAAI 2020 的演讲报告中提出， 人的认知系统包含两个子系统 ：System1（直觉系统），实现的是快速、无意识、非语言的认知，这也是现有的深度神经网络所实现的。他认为，未来的深度神经网络应当能够实现 System2（逻辑分析系统），实现的是有意识的、有逻辑的、有规划的、可推理以及可以语言表达的系统。我们这篇文章中所讨论的 Logical Reasoning（逻辑推理）拟实现的就是 System2 中重点关注的有逻辑的

　　 　　编译 | 龚 倩 　　校对 | 陈彩娴 　　上世纪70年代，已故数学家Paul Cohen因其在数学逻辑方面取得的成就，荣获得菲尔兹奖(Fields Medal)。Cohen曾做出了一个影响深远的预测： “在未来，数学家将被计算机取代。” 这一预测至今仍像梦魇一般萦绕在数学家们的心上，令他们既兴奋，又恼怒。Cohen在集合理论领域的研究方法极其大胆，他还预言： 数学领域里的一切都能被自动化，包括数学证明的编写。 　　证明（proof）是一个循序渐进的逻辑论证，用来验证一个猜想或一个数学命题的真实性。一旦猜想的真实性得到证明，猜想便成为定理。证明的过程既建立论述的效度（validity），又要解释它之所以正确的原因。不过，证明过程是抽象的，不受物质经验的束缚。来自CMU的认知科学家Simon Dedeo专注于通过分析证明结构来研究数学确定性，他说：“证明是意识世界和生物进化物种之间的奇妙联系，但我们不是为了证明才进化的。” 　　虽然计算机利于处理大规模计算，但并不是证明需要的必备条件。 猜想来源于归纳推理（inductive reasoning，指的是对感兴趣的问题的直觉），而证明通常是一步步地进行推理。这两者往往需要用到复杂的创造性思维，并需额外人工来填补漏掉的证明步骤，但机器无法做到这一点。 　　机器化的定理证明器可以分为两类：一是自动化定理证明器（Automated

编者按： 信号在我们的日常生活中随处可见，例如： 声音、图像、视频等。 然而在信号的传输或存储过程中，往往会面临 信号失真、质量变差等问题。 今天这篇文章就来探讨一下信号处理中的信息丢失问题，其中包括 微软亚洲研究院机器学习组与北京大学在 ECCV 2020 上发表的 Oral 论文《可逆图像缩放》（Inv ertible Image Rescaling ） 等工作。 来源 | 微软研究院AI头条 大家是否有过这样的经历：自己拍摄的高清照片/视频，想通过社交账号分享给朋友，然而对方接收到的却是一张低分辨率的模糊照片，甚至有些图片或表情包在经过多次传播之后，糊到惨不忍睹。 这种情况是由于程序为了减轻服务器端的传输和存储压力，主动对信号进行了采样、压缩等操作，而这些操作会不可避免地引起信息丢失（information loss ） 的问题，造成对原始信号还原的挑战性。直到今天，信息丢失问题仍没有被很好地解决。这篇文章将探讨信号处理中的信息丢失问题，其中包括的微软亚洲研究院机器学习组与北京大学在 ECCV 2020 上发表的 Oral 论文《可逆图像缩放》（Invertible Image Rescaling）工作则以图像信号为例，探讨了图像的压缩或缩放后的还原问题。 图像压缩算法是将原始图像压缩为比特流，图像缩放算法则是将高清图像降采样为低分辨率图像，在实际应用中，二者常结合使用。

　　机器之心分析师网络 　　 作者：Yuanyuan Li 　　 编辑：H4O 　　 本文主要对 OpML 2020 大会上的一些议题进行了探讨，如生命周期管理等，并对大会嘉宾提出的一些从业观点以及作者个人的经验进行了整理分析。 　　 　　 1. 介绍 　　受到新冠疫情影响，本届 OpML（USENIX Conference on Operational Machine Learning）和其他许多大会一样，改于八月初在线上举办。但也得益于此，会议上展示的所有 talk 目前都对公众开放，既展示了目前工业界主要关注的机器学习问题，也给了大众一个了解目前机器学习在业内发展情况的窗口。 　　作为专注于可操作的机器学习（Operational Machine Learning）的会议，OpML 关注的重点是将机器学习部署到生产中并对其进行产品生命周期管理 （life cycle management）。OpML 试图将 ML 研究人员和实践者（例如，数据科学家，数据工程师，系统 / IT 管理员和 DevOps 专家）聚集在一起，以开发并付诸实践具有影响力的研究和前沿解决方案。 　　 本届 OpML 共有 8 个 session，分 8 天进行，相当于每天有一个不同的主题 ，包括嵌入数据科学分析算法的框架的搭建（Deep Learning and GPU Accelerated Data

本节涉及： 保存TensorFlow 的模型供其他语言使用 java中调用模型并进行预测计算 一、保存TensorFlow 的模型供其他语言使用 如果用户选择“y” ,则执行下面的步骤： 判断程序执行目录下是否有 export 目录，如果有，调用 shutil 包中的 rmtress 函数将其删除，以免冲突 builder = tf .saved_model . builder . SavedModelBuilder ("export") ———— 用于生成保存神经网络模型的对象builder，并指定保存位置为程序执行目录下的 export 子目录 builder.add_meta_graph_and_variables (sess,["tag"]) ———— 指定保存会话对象 sess 中的默认数据流图和可变参数（即保存模型的主要内容）,并起标记名 “tag”，这个标记名 在以后被其他语言调用时会被引用 builder.save() ———— 保存 完后，会在程序执行目录下生成一个 export 子目录，其中包含了需要传递给其他语言程序的神经网络模型的相关文件。 在其他语言调用时，需要把这个文件夹 整个复制到需要使用的计算机上 二、java中调用模型并进行预测计算 调用模型文件进行预测的示例： import org.tensorflow.Graph; import org