tabular

概述 什么是动态规划 # 算法导论 15 章 开篇 Dynamic programming, like the divide-and-conquer method, solves problems by combining the solutions to subproblems. (“Programming” in this context refers to a tabular method, not to writing computer code.) # 翻译 动态规划和分治策略类似，通过将子问题的解组合起来解决整个问题。 (这里的programming指的不是计算机的写代码，而是一种表格法,或者叫做字典法) 观后感 表格法是一种空间换时间的策略。 将需要重复求解的子问题的解记录下来，在下一次求解的时候可以直接获取。 消耗一定的内存来节省重复计算的时间开销。 学习之后个人觉得最难的还是根据现象来分析问题，怎样构建动态规划的最优子结构。 有时候问题的解法不仅仅动态规划，还有很多，可能相比下来动态规划更加的费时费力。 动态规划的要素只有几个，主要在于对问题进行抽象。 动态规划要素 最优子结构 整个大的问题由若干个相似结构的子问题组成。 也就是说动态规划是可以用递归求解的。 递归那么就需要列出其递归方程和状态转换。 重复子问题 分析出了最优子结构

如今，在金融、零售、电商、互联网等领域的 AI 应用中，表数据都是最为常见且应用广泛的数据格式。将表数据进行准确的分类预测，对业务的提升起着至关重要的作用。 日前，第四范式提出了全新的深度神经网络表数据分类模型——深度稀疏网络（Deep Sparse Network，又名 NON），通过充分捕捉特征域内信息、刻画特征域间潜在相互作用、深度融合特征域交互操作的输出，获得超过 LR、GBDT 等常用算法以及 FFM、Wide&Deep、xDeepFM、AutoInt 等基于深度学习算法的分类效果，提升了表数据的预测准确度。 论文标题： Network On Network for Tabular Data Classificationin Real-world Applications 论文作者： 罗远飞、周浩、涂威威、陈雨强、戴文渊、杨强 论文链接： https://arxiv.org/abs/2005.10114 表数据分类模型的现状 在表格数据中，每行对应一个实例（样本），每列对应一个特征域。表数据分类是根据实例的特征域，将其分到对应的类别中。表数据通常同时具有连续特征域和类别特征域，而类别特征域通常是高维稀疏的。例如在在线广告中，类别特征域“advertiser_id”可能包含数百万个不同的广告主 id。 过往，包括随机森林、GBDT 在内的树模型常用于表数据分类

本文是对PBI Desktop新功能计算组的一点补充说明。具体理论和应用，请参考文末所列的文章及资料，我不会做任何关于此的重复劳动，这些资料已经非常完美 计算组在Power BI Desktop已获支持 昨天，微软Power BI和往常一样，发布了Desktop的 月度更新 ，不同以往的是，这次更新不仅仅新增了一部分来自Excel的金融类DAX函数，最令人惊喜的是，这个版本的Power BI表格模型已经潜在地支持了计算组。 注：在旧版本Power BI Desktop，比如最近的2020年6月版本，尽管它的模型兼容级别一样是1520，但你无法强行为数据模型添加计算组，即使按要求将下图的参数值设置为true. 如图： 事实上，该功能在半年前就已经发布，并且新增了计算组的所有配套DAX函数，然而，和微软Power BI在最近一年发布的其他黑科技一样，这仅仅面向Premium 用户，因为Premium 用户可以利用XMLA终结点直接对表格模型进行写入（这使得Power BI Premium在一定程度上取代了Azure AS的地位，当然这是另一个话题了），利用这种方式来创建新的度量值组。 但现在，它已不再是Premium 用户的专利了 ，Pro 用户一样可以在Power BI Desktop中，利用外部工具Tabular Editor创建计算组

论文传送门 视频 作者 浙江大学 Honghui Mei Wei Chen Yating Wei Yuanzhe Hu Shuyue Zhou Bingru Lin 中南大学 Ying Zhao Jiazhi Xia 摘要 分析师通常会调查从统计数据汇总中得出的数据分布，这些统计汇总由图表（如直方图和合并的散点图）表示，以可视化和分析大型数据集。聚合查询是通过这样的过程隐式执行的。数据集时常会非常大；因此，应通过计算预定义的数据立方体来加快响应时间。但是，查询仅限于预处理数据多维数据集的预定义合并方案。这种局限性阻碍了分析师灵活调整视觉规格，以有效地调查数据中的隐式模式。特别地，RSATree通过利用三种方案来实现任意查询和灵活的分箱策略，这三种方案分别是：基于R树的空间分区方案以捕获数据分布，局部敏感哈希技术以实现对数据项的保留局部性的随机访问以及一个求和的面积表示方案，以线性计算复杂度支持对聚合值的交互式查询。这项研究提出并实现了一个基于Web的可视查询系统，该系统支持视觉规范，查询和用户可调整粒度的大规模表格数据的浏览。我们通过在现实世界的数据集上进行各种实验并分析时间和空间复杂度来证明我们的方法的效率和实用性。 Introduction Exploratory data analysis (EDA) Large and high-dimensional dataset