crf

前面总结了马尔科夫决策过程之Markov Processes（马尔科夫过程），见下文：马尔科夫决策过程之Markov Processes（马尔科夫过程） 马尔科夫决策过程之Markov Reward Process（马尔科夫奖励过程），见下文：马尔科夫决策过程之Markov Reward Process（马尔科夫奖励过程） 本文总结一下马尔科夫决策过程之Bellman Equation（贝尔曼方程） 1Bellman Equation for MRPs 首先我们从value function的角度进行理解，value function可以分为两部分： 见下面的推导公式： 我们直接从第一行到最后一行是比较好理解的，因为从状态s到状态s+1,是不确定，还是之前的例子。 比如掷骰子游戏，当前点数是1的情况下，下一个状态有可能是1，2，3，4，5，6的任意一种状态可能，所以最外层会有一个期望符号。 如果我们跟着一直推下来的话：有疑问的会在导出最后一行时，将G(t+1)变成了v(St+1)。其理由是收获的期望等于收获的期望的期望。参考叶强童鞋的理解。 则最后我们得到了针对MRP的Bellman方程： 通过方程可以看出v(s)由两部分组成，一是该状态的即时奖励期望，即时奖励期望等于即时奖励，因为根据即时奖励的定义，它与下一个状态无关。 这里解释一下为什么会有期望符合

题目：给定长度为n的序列，标签数为m（标签值表示为1,2,....,m），发射概率矩阵E（n * m），其中E[i][j]表示第i个词预测为标签j的发射概率，转移概率矩阵T(m*m)，其中T[i][j]为标签i转移到标签j的转移概率。要求返回最优的序列标注结果（一个数组res，res[i]表示第i个词标注的标签值）。 public class Solution { public int [] getBestPath( int m, int n, double [][] E, double [][] T) { double [][] dp = new double [n + 1][m + 1 ]; int [][] his = new int [n + 1][m + 1 ]; for ( int j = 1; j <= m; j++ ) { dp[ 1][j] = E[1 ][j]; } for ( int i = 2; i <= n; i++ ) { for ( int j = 1; j <= m ; j++ ) { for ( int k = 1; k <= m; k++ ) { double score = dp[i - 1][k] + T[k][j] + E[i][j]; if (score > dp[i][j]) { dp[i][j] = score; his[i][j]

本文内容整理自 PaperWeekly 和 biendata 在 B 站组织的直播回顾，点击文末 阅读原文 即可跳转至 B 站收看本次分享完整视频录像，如需嘉宾课件，请在 PaperWeekly 公众号回复关键词 课件下载 获取下载链接。 作者简介： 杨慧宇，现达观数据高级技术专家，负责 NLP，RPA 等技术在金融行业的实践应用。 随着技术的发展和社会的变革，金融行业在近些年逐渐暴露了各种危机。 第一点，金融行业虽然在大众印象中是暴利行业，但实际上行业年均复合增长率已经呈现出下降的趋势，并且面临着诸如即将上市的蚂蚁集团、微信支付以及像陆金所等互联网金融公司所带来的影响和竞争。 第二点是人力成本，中国的人口红利在逐渐消失，劳动力成本也在不断上升，尤其像新时代的 90 后员工不愿意天天进行重复性的工作，希望能够在工作中体现出自己独一无二的价值，这一点实际上也是很大的痛点。 第三点，金融行业领域监管越来越严格。证监会、交易所都在不断地发布新的监管规则，而金融企业内部的合规、风控这些机构就要随之进行更新，这些都离不开信息技术的支持。随着监管的越来越严格，企业内部所造成的文书工作的增加也会带来很多工作上的负担，比如要进行很多信息上的披露，上市公司要发布各种各样事件的曝光，这些都会给大家带来工作上的负担。但是因为文件越来越多，人工处理文本的能力，却无法得到相应的提升，这样就会造成工作上的疏忽

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 这篇文章是激光雷达点云数据分割算法的嵌入式平台上的部署实现。主要的创新点有两点：一是利用多路分支采用不同分辨率输入后再用不同的卷积块进行处理，达到性能和计算量之间的平衡；二是对基于投影的点云分割方法进行了改进。在嵌入式平台上性能不错，代码将在文章被收录后开源，值得关注。 论文地址 ：http://xxx.itp.ac.cn/pdf/2008.09162v1 LiDAR数据的实时语义分割对于自动驾驶车辆至关重要，然而自动驾驶车辆通常配备嵌入式平台并且计算资源有限，这使得点云分割算法的部署具有挑战性。通常的点云分割算法直接在点云上使用复杂的空间聚合操作，这些操作非常昂贵且难以针对嵌入式平台进行优化。因此，它们不适用于带有嵌入式系统的实时场景下应用。作为替代， 基于投影的方法更有效并且可以在嵌入式平台上运行。但是，当前基于投影的最新方法无法实现与基于点的方法相同的精度，并且需要使用数百万个参数。 因此，在本文中， 提出了一种基于投影的方法，称为Multi-scale Interaction Network（MINet） ，该方法有效且准确，具体而言网络使用具有不同尺度的多个通路，并且在不同尺度之间对计算资源进行平衡，同时不同尺度之间的额外密集交互可避免冗余计算，并使网络高效。所提出的网络在准确性

加入AI行业拿到高薪仅仅是职业生涯的开始。 现阶段AI人才结构在不断升级，这也意味着如果目前仍然停留在调用一些函数库，则在未来1-2年内很大概率上会失去核心竞争力的 。 几年前如果熟练使用TensorFlow，同时掌握基本的AI算法就可以很容易找到一份高薪的工作，但现在不一样了，AI岗位的要求越来越高，对知识的深度也提出了更高的要求。 如果现在一个 面试官 让你从零推导SVM的Dual、从零实现CRF、推导LDA、设计一个QP问题、从零编写XLNet、编写GCN/GNN、改造SkipGram模型、用一天时间复现一篇顶级会议.... 这些要求一点都不过分。相反，连这些基本内容都有些吃力，就需要重新审视一下自己的核心技术壁垒了。 目前AI人才竞争越来越激烈， “调参侠” 的时代已慢慢过去，这些事情其实根本不需要AI工程师来做，未来的研发工程师就可以承担这些了！ 我相信不少人曾经遇到过以下的情况或者困惑： 从事AI行业多年，但技术上 总感觉不够深入 ， 而且很难再有提升； 对每个技术点了解，但 不具备体系化的认知 ， 无法把它们串起来； 停留在使用模型/工具上 ， 很难基于业务场景来提出新的模型； 对于机器学习 背后的优化理论、前沿的技术不够深入； 计划从事尖端的科研、研究工作、 申请AI领域研究生、博士生； 打算进入最顶尖的AI公司 比如Google，Facebook，Amazon，

说起来今天还是一个有意思的日子，去年在美团实习，离职的时间也是12月7日。 算起来，自己的算法在岗应该也有一年了，在美团担任算法工程师大概有7个月，OPPO加上实习，估计也一年多吧，时间过的好快，这周末给大家谈谈我的感想吧，相比各位大佬，我的经验尚属稚嫩，但是也希望能给一些准备入行的、刚入行的人一些经验和建议吧，相关文章其实我也聊得不少，这里有部分重点我可能还会聊到，但是不见得都会说到，所以可以看看我以前的文章： 我从研究生生活中得到的经验 NLP.TM | 我的NLP学习之路 懒人目录： 算法工作的一天都要干什么。 特别的经验。 有关学习。 写在最后。 算法工作一天都要干什么 很多人可能再想想着每天在研究模型，看论文，实现模型之类的，这方面虽然非常重要，但是实际上并非如此。 每天这些时间会花的更多： 和产品沟通，技术方案设计。 数据层面花费的时间最多。 需要什么样的数据。 写SQL。 检查数据质量，空的、错的、不合法的。 特征工程。 有监督学习，需要标注数据，怎么标，标注本身是否可靠。 模型选择与开发。这块可以这么说，随着工作经验提升，这块时间会越来越少。 模型选择的话，把问题抽象出来，其实都比较好选，第一版模型一般是业内基线或者最简单的模型，像我，二分类先搞LR（logistic regression），序列标注就是CRF。 模型开发也基本不耗时

1.随机场 当给每个位置中，按照某种分布随机赋予相空间(值空间)的值，其全体就叫做随机场。简单说就是给定一些候选值，然后随机的把这些候选值填入到每个位置。 2.概率图模型 概率图模型就是用图来表示变量概率的依赖关系，如下图所示我们看到概率图模型主要分为有向图模型和无向图模型。有向图模型如我们之前所介绍过的 贝叶斯网络 和 隐马尔科夫模型 ；无向图网络如马尔科夫随机场、条件随机场等； 3.马尔科夫随机场 马尔科夫随机场就是符合马尔科夫性质的随机场，如下图所示，是一种概率无向图模型。马尔科夫性质如下： 局部马尔科夫性 ：给定了某个变量的邻接变量，则该变量和所有其它的变量无关(独立) 全局马尔科夫性 ：将局部马尔科夫性由变量扩展到集合，给定某个变量集的邻接变量集，则该变量集和其它的变量其无关。 成对马尔科夫性 ：将局部马尔科夫性反推，所有其它变量都已给定的情况下，两个不相邻的变量无关。 符合上面性质中任意一条，我们称为马尔科夫随机场。 4.条件随机场概述 条件随机场就是有条件的马尔科夫随机场，即给定X的条件下，Y的分布符合马尔科夫随机场性质。有点类似于隐马尔可夫模型，不同的是条件随机场是一种 判别式 的 概率无向图 模型。 生成式 ：使用联合概率分布进行建模，更关注的是变量和结果之间的关系，通俗的来说就是通过条件直接得到结果(可以理解为一道填空题)。常见的生成式模型有：隐马尔可夫模型

文本纠错 ，是自然语言处理领域检测一段文字是否存在错别字、以及将错别字纠正过来的技术，一般用于文本预处理阶段，同时能显著缓解智能客服等场景下语音识别（ASR）不准确的问题。 本文将通过以下几个章节简要介绍文本纠错相关知识。 1. 文本纠错示例与难点 2. 文本纠错常用技术 3. 如何将 BERT 应用于文本纠错 4. 文本纠错最优模型 ： Soft - Masked BERT （ 2020 - ACL ） 5. 立马上手的纠错工具推荐 一.文本纠错示例与难点 生活中常见的文本错误可以分为（1）字形相似引起的错误（2）拼音相似引起的错误 两大类；如：“咳数”->“咳嗽”；“哈蜜”->“哈密”。错别字往往来自于如下的“相似字典”。 相似发音中文字典 相似字形中文字典 其他错误还包括方言、口语化、重复输入导致的错误，在ASR中较为常见。 现有的NLP技术已经能解决多数文本拼写错误。剩余的 纠错难点 主要在于，部分文本拼写错误需要 常识背景（world-knowledge） 才能识别。例如： Wrong : "我想去埃及金子塔旅游。" Right : "我想去埃及金字塔旅游。" 将其中的“金子塔”纠正为“金字塔”需要一定的背景知识。 同时，一些错误需要模型像人一样具备 一定的推理和分析能力 才能识破。例如： Wrong : "他的求胜欲很强，为了越狱在挖洞。" Right :

点击上方“ 3D视觉工坊 ”，选择“星标” 干货第一时间送达 这篇文章是激光雷达点云数据分割算法的嵌入式平台上的部署实现。主要的创新点有两点：一是利用多路分支采用不同分辨率输入后再用不同的卷积块进行处理，达到性能和计算量之间的平衡；二是对基于投影的点云分割方法进行了改进。在嵌入式平台上性能不错，代码将在文章被收录后开源，值得关注。 论文地址 ：http://xxx.itp.ac.cn/pdf/2008.09162v1 LiDAR数据的实时语义分割对于自动驾驶车辆至关重要，然而自动驾驶车辆通常配备嵌入式平台并且计算资源有限，这使得点云分割算法的部署具有挑战性。通常的点云分割算法直接在点云上使用复杂的空间聚合操作，这些操作非常昂贵且难以针对嵌入式平台进行优化。因此，它们不适用于带有嵌入式系统的实时场景下应用。作为替代， 基于投影的方法更有效并且可以在嵌入式平台上运行。但是，当前基于投影的最新方法无法实现与基于点的方法相同的精度，并且需要使用数百万个参数。 因此，在本文中， 提出了一种基于投影的方法，称为Multi-scale Interaction Network（MINet） ，该方法有效且准确，具体而言网络使用具有不同尺度的多个通路，并且在不同尺度之间对计算资源进行平衡，同时不同尺度之间的额外密集交互可避免冗余计算，并使网络高效。所提出的网络在准确性

上两个月参加了个比赛，做的是对遥感高清图像做语义分割，美其名曰“天空之眼”。这两周数据挖掘课期末project我们组选的课题也是遥感图像的语义分割，所以刚好又把前段时间做的成果重新整理和加强了一下，故写了这篇文章，记录一下用深度学习做遥感图像语义分割的完整流程以及一些好的思路和技巧。 数据集 首先介绍一下数据，我们这次采用的数据集是CCF大数据比赛提供的数据（2015年中国南方某城市的高清遥感图像），这是一个小数据集，里面包含了5张带标注的大尺寸RGB遥感图像（尺寸范围从3000×3000到6000×6000），里面一共标注了4类物体，植被（标记1）、建筑（标记2）、水体（标记3）、道路（标记4）以及其他(标记0)。其中，耕地、林地、草地均归为植被类，为了更好地观察标注情况，我们将其中三幅训练图片可视化如下：蓝色-水体，黄色-房屋，绿色-植被，棕色-马路。更多数据介绍可以参看 这里 。 现在说一说我们的数据处理的步骤。我们现在拥有的是5张大尺寸的遥感图像，我们不能直接把这些图像送入网络进行训练，因为内存承受不了而且他们的尺寸也各不相同。因此，我们首先将他们做随机切割，即随机生成x,y坐标，然后抠出该坐标下256*256的小图，并做以下数据增强操作： 原图和label图都需要旋转：90度，180度，270度 原图和label图都需要做沿y轴的镜像操作 原图做模糊操作