数据融合

Deep Visual-Semantic Hashing for Cross-Modal Retrieval 用于跨模态检索的深度视觉语义哈希 摘要： 由于哈希算法具有较高的存储和检索效率，在大规模多媒体检索中被广泛应用于近似近邻搜索。跨模态哈希能够有效地检索图像以响应文本查询，反之亦然，近年来受到越来越多的关注。现有的大多数跨模态哈希研究工作都没有捕捉到图像的空间依赖性和文本句子的时间动态，从而学习强大的特征表示和跨模态嵌入，从而缓解了不同模式的异质性。摘要提出了一种新的深度视觉语义哈希(DVSH)模型，该模型在端到端深度学习体系结构中生成图像和句子的紧凑哈希码，捕捉视觉数据与自然语言之间的内在跨模态对应关系。DVSH是一种混合的深度架构，它构成了一个用于学习图像和文本句子的联合嵌入空间的可视化语义融合网络，以及两个用于学习哈希函数以生成紧凑二进制代码的特定于模态的哈希网络。我们的架构有效地统一了联合多模态嵌入和交叉模态哈希，它是基于图像上的卷积神经网络、句子上的递归神经网络和一个结构化的最大裕度目标的新组合，该目标将所有东西集成在一起，从而能够学习保持相似性和高质量的哈希码。大量的经验证据表明，我们的DVSH方法在图像-句子数据集的跨模态检索实验中，即标准的IAPR TC-12和大规模的Microsoft COCO中，得到了最先进的结果。 1.介绍 而海量

发展形势 当前全球信息化发展面临的环境、条件和内涵正发生深刻变化。从国际看，世界经济在深度调整中曲折复苏、增长乏力，全球贸易持续低迷，劳动人口数量增长放缓，资源环境约束日益趋紧，局部地区地缘博弈更加激烈，全球性问题和挑战不断增加，人类社会对信息化发展的迫切需求达到前所未有的程度。同时，全球信息化进入 全面渗透、跨界融合、加速创新、引领发展 的新阶段。信息技术创新代际周期大幅缩短，创新活力、集聚效应和应用潜能裂变式释放，更快速度、更广范围、更深程度地引发新一轮科技革命和产业变革。 物联网、云计算、大数据、人工智能、机器深度学习、区块链、生物基因工程 等新技术驱动网络空间 从人人互联向万物互联 演进，数字化、网络化、智能化服务将无处不在。现实世界和数字世界日益交汇融合，全球治理体系面临深刻变革。全球经济体普遍把加快信息技术创新、最大程度释放数字红利，作为应对“后金融危机”时代增长不稳定性和不确定性、深化结构性改革和推动可持续发展的关键引擎。 建立统一开放的大数据体系 加强数据资源规划建设。加快推进政务数据资源、社会数据资源、互联网数据资源建设。全面推进重点领域 大数据高效采集、有效整合、安全利用 ，深化政府数据和社会数据关联分析、融合利用，提高宏观调控、市场监管、社会治理和公共服务精准性和有效性。建立国家关键数据资源目录体系，统筹布局区域、行业数据中心，建立国家互联网大数据平台

　 　Dynamic Label Propagation for Semi-supervised Multi-class Multi-label Classification ICCV 2013 　　在基于Graph的半监督学习方法中，分类的精度高度依赖于可用的有标签数据 和 相似性度量的精度。此处，本文提出一种半监督的 multi-class and multi-label 分类机制，Dynamic Label Propagation（DLP），是在一个动态的过程中传递，执行 transductive learning。现有的半监督方法一般都很难处理多标签/多分类问题，因为缺乏考虑标签的关系；本文所提出的方法重点强调动态度量和标签信息的融合。 　　 　　 监督的度量学习方法 经常学习马氏距离（Mahalanobis distance），努力缩小相同标签之间的距离，与此同时，尽可能保持或者拉大不同标签图像的距离。 基于Graph的监督学习框架 利用少量的有标签信息去挖掘大量的无标签数据的信息。 Label Propagation 具体的认为在一个Graph中通过信息传递，有较大相似性的由边链接的点趋于拥有相同的标签。另外一种类型的办监督学习方法， 协同训练（Co-training） ，利用多视角特征来相互帮助，拉进无标签数据来重新训练并且增强分类器（by pulling out

知识图谱的构建技术与应用研究 知识图谱的概念在2012年由Google正式提出，其目的是以此为基础构建下一代智能化的搜索引擎，改善搜索结果质量。知识图谱技术是人工智能技术的重要组成部分，也是当下非常热门的研究方向。文章从知识图谱的概念和技术架构出发，综述知识图谱构建的关键技术，包括知识抽取、知识表示、知识融合、知识推理四大主要内容。同时，对于知识图谱的当下的现实应用作进一步阐述。 目录 1知识图谱概述 2知识图谱构建技术 2.1知识抽取 2.1.1实体抽取 2.1.2关系抽取 2.1.3属性抽取 2.2知识表示 2.2.1代表模型 2.2.2复杂关系模型 2.2.3多源信息融合 2.3知识融合 2.3.1实体链接 2.3.2知识合并 2.4知识推理 3知识图谱的应用 3.1智能搜索 3.2问答系统 3.3社交网络 3.4垂直应用 4总结 参考文献 1知识图谱概述     说起知识图谱，不由得从信息检索开始，从本质上来说，知识图谱是信息检索新时期的产物。信息检索起源于图书馆的参考咨询和文摘索引工作，19 世纪下半叶开始起步，至 20 世纪 40 年代，索引和检索成为图书馆独立的工具和用户服务项目。信息检索是知识管理的核心支撑技术，伴随知识管理的发展和普及，应用到各个领域，成为人们日常工作生活的重要组成部分[1]。伴随着Web技术的不断演进与发展，人类先后经历了以文档互联为主要特征的

2019双11，支付宝参战的第十一年。 与十一年前相比，双11的许多东西都改变了。比如金额——2684亿，差不多是十一年前的5000倍；比如流量——订单峰值54.4万笔/秒，曾经是想都不敢想的数字；再比如层出不穷的新技术，就是这些惊人数字背后的“秘密武器”，给迎战双11的战士们作最完备的武装。 也有始终不变的东西。大战来临前的紧张、不安、如履薄冰，对每一个细节反复check的“强迫症”，以及胜利之后的欣喜、释然、满心充实，和下一步砥砺前行。 支付宝的技术工作，就是“半年搞建设，半年搞大促”。虽然是一句戏言，但足够从侧面证明大促作为实践战场的重要性。而每当双11圆满落下帷幕，技术人也就到了收获的季节。那些历经双11大考的新技术，就像经历过了“成人式”一样，一一走到台前开始独当一面。 SOFAMesh：金融级云原生第一步 众所周知，金融机构因为肩负的责任重大，面对新技术时，普遍都是比较保守的。支付宝也不例外，尤其是在双11这种场景下，流量大，峰值高，平时不管多小的问题，在这时候都可能被放大成不得了的大问题。 于是，今年的大促迫在眉睫时，SOFAMesh团队还在纠结。来自周围的各种声音，让他们感到压力很大。被问到的最多的问题，就是“这个靠不靠谱？” 一个“行”字，在双11的面前，可能有千钧之重。能不能扛过零点的流量峰值？能不能保障稳定？能不能保证不出差错？ Mesh是一项很新的技术

问题 在对多传感器数据融合时，由于各个传感器采集数据的发布频率的不同，例如odom一般为50Hz、imu一般为100Hz、camera 一般为25Hz，需要将传感器数据进行时间同步后才能进行融合。 方法 分别订阅不同的需要融合的传感器的主题，通过TimeSynchronizer 统一接收多个主题，并产生一个同步结果的回调函数，在回调函数里处理同步时间后的数据。 输入 C++ Python : N separate filters, each of which has signature callback(msg). 输出 C++ Python 示例 #include <message_filters/subscriber.h> #include <message_filters/time_synchronizer.h> #include <sensor_msgs/Image.h> #include <sensor_msgs/CameraInfo.h> using namespace sensor_msgs; using namespace message_filters; void callback(const ImageConstPtr& image, const CameraInfoConstPtr& cam_info) { // Solve all of perception

目前，多模态数据融合主要有三种融合方式：前端融合(early-fusion)或数据水平融合(data-level fusion)、后端融合(late-fusion)或决策水平融合(decision-level fusion)和中间融合(intermediate-fusion)。 前端融合将多个独立的数据集融合成一个单一的特征向量，然后输入到机器学习分类器中。由于多模态数据的前端融合往往无法充分利用多个模态数据间的互补性，且前端融合的原始数据通常包含大量的冗余信息。因此，多模态前端融合方法常常与特征提取方法相结合以剔除冗余信息，如主成分分析（PCA）、最大相关最小冗余算法（mRMR）、自动解码器（Autoencoders）等。 后端融合则是将不同模态数据分别训练好的分类器输出打分(决策)进行融合。这样做的好处是，融合模型的错误来自不同的分类器，而来自不同分类器的错误往往互不相关、互不影响，不会造成错误的进一步累加。常见的后端融合方式包括最大值融合(max-fusion)、平均值融合(averaged-fusion)、 贝叶斯规则融合(Bayes’rule based)以及集成学习(ensemble learning)等。其中集成学习作为后端融合方式的典型代表，被广泛应用于通信、计算机识别、语音识别等研究领域。 中间融合是指将不同的模态数据先转化为高维特征表达，再于模型的中间层进行融合

原文链接 点云拼接，配准，注册有什么联系 点云拼接，配准，注册说的是同一个概念，就是把不同位置的点云通过重叠部分的信息，变换到同一个位置。下面我们就用注册这个名词来描述这个过程。注册一般分为三类：粗注册，精细注册和全局注册。 粗注册：一般用于注册两个位置相差很大的点云，比如两帧位于相机坐标系的点云。粗注册方法大致分为两类：有标记点粗注册和 无标记点粗注册 。标记点可以是用户手动标记的，也可以是物体扫描时贴的标记点。无标记点注册更加方便一些，但是对于一些比较对称或者重合部分很少的情况，可能会有一些失误的。另外还有一些根据设备的参数来计算粗注册变换的方法。 精细注册：这里一般指 ICP注册 方法。主要用于已经粗注册好的点云，需要提升注册精度的情况。ICP可以加入标记点信息。因为众所周知，一些滑动情况会导致ICP注册失败，但是如果数据本身有标记点的话，可以加入标记点信息来提升注册的成功率。 全局注册 ：逐帧注册的点云数据，往往有累积误差。全局注册可以把累积误差分散到每一帧中去，从而减少整体的注册误差。另外，有些时候所有点云已经有了粗注册了，可以应用全局注册一次性把所有点云注册好。如下图所示。 注册连续多帧扫描数据 从扫描数据到注册融合成一个完整的点云数据，有各种各样的工作流方式：可以一边注册一边融合(Frame-to-Model)，也可以 两两注册 后再一起融合(Frame-to

<div id="cnblogs_post_body" class="blogpost-body "> <blockquote> <p>58同城作为中国最大的分类信息网站，向用户提供找房子、找工作、二手车和黄页等多种生活信息。在这样的场景下，推荐系统能够帮助用户发现对自己有价值的信息，提升用户体验，本文将介绍58同城智能推荐系统的技术演进和实践。</p> </blockquote> <p>58同城智能推荐系统大约诞生于2014年（C++实现），该套系统先后经历了招聘、房产、二手车、黄页和二手物品等产品线的推荐业务迭代，但该系统耦合性高，难以适应推荐策略的快速迭代。58同城APP猜你喜欢推荐和推送项目在2016年快速迭代，产出了一套基于微服务架构的推荐系统（Java实现），该系统稳定、高性能且耦合性低，支持推荐策略的快速迭代，大大提高了推荐业务的迭代效率。此后，我们对旧的推荐系统进行了重构，将所有业务接入至新的推荐系统，最终成功打造了统一的58同城智能推荐系统。下面我们将对58同城智能推荐系统展开介绍，首先会概览整体架构，然后从算法、系统和数据三方面做详细介绍。</p> <p>整体架构首先看一下58同城推荐系统整体架构，一共分数据层、策略层和应用层三层，基于58平台产生的各类业务数据和用户积累的丰富的行为数据，我们采用各类策略对数据进行挖掘分析，最终将结果应用于各类推荐场景。</p>

原文链接 KinectFusion简介 KinectFusion是微软在2011年发表的一篇论文里提到的点云重建的方法，论文题目是：KinectFusion: Real-Time Dense Surface Mapping and Tracking。点云是用Kinect采集的，然后算法把这些点云注册对齐，融合成一个整体点云。 Kinect是一个RGBD扫描仪，它可以同时采集彩色图像和深度图像。这是第一代Kinect和第二代Kinect的外观比较。 Kienct每秒可以获取30帧的RGBD图像，光线暗的情况下帧率会下降一些。 这是一个典型的KinectV2的数据。左边是带颜色的点云，右边的点云去掉了颜色，并且计算了法线信息。KinectFusion处理的是深度数据，像右边这种没有带颜色的点云。Kinect数据的详细介绍可以参考专题 Kinect数据 KinectFusion的核心有两个技术，一个是ICP注册，一个是符号距离函数。它的思路是一边注册，一边融合。由于是深度视频，帧与帧之间的位置差别不大，点云可以看作是初始注册好的，所以可以直接应用ICP进行精细注册。融合采用了符号距离函数技术，它在空间中定义了一个曲面的距离场，0等值面则为测量的曲面。 KinectFusion算法 下面介绍一下KinectFusion的算法步骤： 1. 生成三维点云：Kinect采集的原始数据是深度图像