sac

简介 下面内容为github作者的Pandas学习笔记，目前是我看到最好的资料，没有之一。搬砖： https://github.com/datawhalechina/joyful-pandas/blob/master/README.md ​ github.com Joyful-Pandas 【本教程与Pandas官方最新发行版本保持同步，当前版本： v-1.0.3 】 【注意】使用教程前请务必将Pandas升级到最新版本，否则可能会有代码运行报错 一、写作初衷 在使用Pandas之前，几乎所有的大型表格处理问题都是用xlrd/xlwt和python循环实现，虽然这已经几乎能完成一切的需求，但其缺点也显而易见，其一就是速度问题，其二就是代码的复用性几乎为0。 曾经也尝试过去零星地学Pandas，但不得不说这个包实在太过庞大，每次使用总觉得盲人摸象，每个函数的参数也很多，学习的路线并不是十分平缓。如果你刚刚上手使用Pandas，那么在碎片的学习过程中，报错是常常发生的事，并且很难修（因为不理解内部的操作），即使修好了下次又不会，令人有些沮丧。 2019秋季，我偶然找到了一本完全关于Pandas的书，Theodore Petrou所著的Pandas Cookbook，现在可在网上下到pdf，不过现在还没有中文版。寒假开始后，立即快速地过了一遍，发现之前很多搞不清的概念得到了较好的解答

pixel-based RL 算法逆袭，BAIR 提出将对比学习与 RL 相结合的算法，其 sample-efficiency 匹敌 state-based RL。 选自arXiv，作者：Aravind Srinivas等，机器之心编译，参与：Racoon、Jamin。 此次研究的本质在于回答一个问题—使用图像作为观测值（pixel-based）的 RL 是否能够和以坐标状态作为观测值的 RL 一样有效？传统意义上，大家普遍认为以图像为观测值的 RL 数据效率较低，通常需要一亿个交互的 step 来解决 Atari 游戏那样的基准测试任务。 研究人员介绍了 CURL：一种用于强化学习的无监督对比表征。CURL 使用对比学习的方式从原始像素中提取高阶特征，并在提取的特征之上执行异策略控制。在 DeepMind Control Suite 和 Atari Games 中的复杂任务上， CURL 优于以前的 pixel-based 的方法（包括 model-based 和 model-free），在 100K 交互步骤基准测试中，其性能分别提高了 2.8 倍以及 1.6 倍 。在 DeepMind Control Suite 上，CURL 是第一个几乎与基于状态特征方法的 sample-efficiency 和性能所匹配的基于图像的算法。 论文链接： https:// arxiv.org

使用背景 公司近期上线了一个新应用，底层数据库采用了 国产的分布式数据库 – SequoiaDB 。 因为需要将 SequoiaDB 集群纳入到公司的整个监控体系中，所以需要对 SequoiaDB 的状态、性能指标等信息收集起来，然后提供监控系统使用。 SequoiaDB 数据库本身提供了一个图形化的监控界面 – SAC，但是里面的监控项，和我们公司过去常用的指标有很大出入。所以在咨询了 SequoiaDB 的相关人员后，决定自己开发一套监控程序。 SequoiaDB 存储引擎的监控 在 SequoiaDB 数据库，存在两个大的体系，一个是计算层，像我们就是使用了 MySQL 实例，另外一个就是 SequoiaDB 的分布式存储层，也是整个数据库对性能影响最大的部分。 关于 MySQL 的监控，公司本来就已经存在一整套完备的监控程序，所以这块就不需要再额外的开发了。但是对于 SequoiaDB 底层的分布式，还是非常有必要将相关指标收集起来的。 SequoiaDB 在监控体系上，其实做得还是比较完整的，只是在展现方式上，还需要再打磨一下。SequoiaDB 底层分布式的所有运行信息，用户都可以通过snapshot，或者是list 命令获取。 我从 SequoiaDB 的技术人员中了解到，其实像 SAC，或者 sdbtop 等这种 SequoiaDB 官方提供的监控工具

看完摘要，领域主席：我觉得你这篇论文不太行。 机器之心报道，参与：泽南、蛋酱。 「我收到了 NeurIPS 发来的拒稿邮件，感到有苦说不出。」今年 NeurIPS 新提出的「提前拒稿」机制，对于很多人来说有些猝不及防。 在两次推迟 Deadline 之后，全球人工智能顶会 NeurIPS 2020 终于到了论文评审阶段。最近，有关收到大会领域主席 Desk reject 的消息时常出现在社交网络上。 在一些人收到的邮件中，NeurIPS 表示：「由于 NeurIPS 近年来论文提交数量大幅增长，会方难以找到足够数量的评审者。我们今年收到了史无前例的 9467 篇论文提交。因此，我们今年使用了摘要拒稿程序：每篇论文都会经过两名不同有经验的研究者评估（领域主席 AC 和高级领域主席 SAC），决定论文是否需要接受进一步的评审。」 根据 NeurIPS 官方统计，今年大会的论文提交数量比上一年增长了 38%，再次刷新了 NeurIPS 史上的提交数量记录。 在今年提交论文的研究类型中，算法领域占据 29%，深度学习领域占据 19%，应用领域占据 18%，三者占据了绝大多数。其余分别为强化学习和规划领域 (9%) 、理论领域 (7%) 、概率方法领域 (5%) 、机器学习与社会 (5%) 、优化领域 (5%) 、神经与认知科学领域 (3%) 、数据、挑战、实现和软件等领域 (1%)。与

[toc] 前言：上一篇博文已经介绍了Unity ml-agents的环境配置( https://www.cnblogs.com/KillerAery/p/10629963.html )了。 个人建议先敲demo再摸清概念比较容易上手，因此本文先提供一个demo示例简单阐述下。 由于过了差不多2年，Unity ml-agents项目API已经更新了很多，以前的demo教程已经不适合了，因此决定翻新Unity ml-agents机器学习系列博客。 本次示例：训练一个追踪红球的白球AI 1. 新建Unity项目，导入package 进入Unity项目，在上方 Window => Package Manager，，然后安装 Barracuda 这个package（如果没看见，一般就是没有显示All packages或没显示preview package）： <img src="https://img2020.cnblogs.com/blog/1409576/202003/1409576-20200309202859875-769795640.png" width="70%" height="70%"> 并将之前下载的ml-agents项目com.unity.ml-agents目录下Editor、Plugin、Runtime复制进新建Unity项目里（建议放在Assets文件夹内）

2020/1/1 UOJ #275. 【清华集训2016】组合数问题 Lucas+数位DP UOJ #276. 【清华集训2016】汽水 二分答案+点分治 Luogu P3690 【模板】Link Cut Tree （动态树） LCT UOJ #274. 【清华集训2016】温暖会指引我们前行 LCT 2020/1/2 UOJ #277. 【清华集训2016】定向越野 计算几何+最短路 UOJ #285. 数据分块鸡 DP+决策单调性+可持久化线段树+二分 UOJ P1501 [国家集训队]Tree II LCT Luogu P5887 Ringed Genesis 模拟+BFS Luogu P2147 [SDOI2008]洞穴勘测 LCT 2020/1/3 Luogu P5891 Fracture Ray 暴力+线段树(Hacked) UOJ #336. 【清华集训2017】无限之环 费用流 UOJ #337. 【清华集训2017】Hello world! 分块+并查集 UVA 10843 Anne's game Prufer 2020/1/4 UOJ #338. 【清华集训2017】小 Y 和地铁 搜索 Hello 2020 A B C rank1144 2020/1/5 UOJ #339. 【清华集训2017】小 Y 和二叉树 贪心 UOJ #340. 【清华集训2017】小

1 前言 分布式数据库已经成为许多金融级大型企业基础数据平台的一个核心组成部分，承担着，在线交易，数据中台，历史数据管理，非结构化影像平台等多个重要业务的支撑工作。 不同于传统的应用/数据库一对一的部署方式，新一代数据平台使用一个统一的存储，对接着上层几十甚至上百个不同的应用，这种情况下，不同应用之间对于资源的调度会成为系统是否能够正常对外提供服务的重要因素。但是在像数据中台、历史数据平台这类应用中，对外提供服务的应用与对内进行分析的应用明显不应该使用相同的优先级。因此，在数据库集群中，引入一个完善的资源管理调度系统至关重要。 我们根据资源管理调度，整理了一套分布式数据库的资源负载管理的技术方案。由于企业场景中，数据平台除了分布式数据库以外还存在其他组件和模块，该资源管理调度系统可以在今后被扩展到大数据平台的多种模块，为除了巨杉数据库之外的其他模块和组件提供统一的企业级资源管理调度平台。本文就将介绍分布式数据库集群如何实现资源管理调度功能。 2 设计原理和功能说明 管理对象分类 巨杉集群资源管理平台具有对被监控模块当前资源使用情况的总览、细化；定义任务组群、组群优先级、任务优先级、任务列表浏览；以及对不同任务组群、单个任务优先级的在线调节功能。 主要涉及到的管理对象分为三类： 1）资源管理 该类对象主要以监控和分配为主。系统中的资源分为CPU、IO、内存以及网络四大部分

目录 ML-Agents（七）训练指令与训练配置文件 一、背景 二、训练命令 三、训练配置文件 四、用PPO训练 配置文件参数 训练统计参数 五、用SAC训练 配置文件参数 训练统计参数 六、奖励信号（Reward Signals） 开启奖励信号 奖励信号类型 外部奖励信号（Extrinsic Reward Signal） 好奇心奖励信号（Curiosity Reward Signal） GAIL奖励信号 七、总结 ML-Agents（七）训练指令与训练配置文件 一、背景 到现在为止，官方的示例已经研究三个了，但是说实话自己去按官方的配置文件训练，有时候并不能完全训练出好的模型，而且官方的配置文件配置项都不是很明白，因此想在看下一个示例之前，先来研究一下官方关于配置文件的文档，通俗点就是翻译一下，有可能其中会找到我之前在训练模型时遗漏的点。 当然如果大家有时间的话，还是可以去学习一下ML-Agents的理论，就是机器学习那套。我自己的话直接把ML-Agents当黑盒来用了，一般我的理念就是先学会怎么用，要知道能解决什么问题，然后遇到不懂得再看原理，这样就是有好有坏，主要看个人喜好。 以下翻译内容主要来自ml-agents的github文档： https://github.com/Unity-Technologies/ml-agents/blob/master/docs

目录 ML-Agents（七）训练指令与训练配置文件 一、背景 二、训练命令 三、训练配置文件 四、用PPO训练 配置文件参数 训练统计参数 五、用SAC训练 配置文件参数 训练统计参数 六、奖励信号（Reward Signals） 开启奖励信号 奖励信号类型 外部奖励信号（Extrinsic Reward Signal） 好奇心奖励信号（Curiosity Reward Signal） GAIL奖励信号 七、总结 ML-Agents（七）训练指令与训练配置文件 一、背景 到现在为止，官方的示例已经研究三个了，但是说实话自己去按官方的配置文件训练，有时候并不能完全训练出好的模型，而且官方的配置文件配置项都不是很明白，因此想在看下一个示例之前，先来研究一下官方关于配置文件的文档，通俗点就是翻译一下，有可能其中会找到我之前在训练模型时遗漏的点。 当然如果大家有时间的话，还是可以去学习一下ML-Agents的理论，就是机器学习那套。我自己的话直接把ML-Agents当黑盒来用了，一般我的理念就是先学会怎么用，要知道能解决什么问题，然后遇到不懂得再看原理，这样就是有好有坏，主要看个人喜好。 以下翻译内容主要来自ml-agents的github文档： https://github.com/Unity-Technologies/ml-agents/blob/master/docs

一、成本与利润概述 1、成本的含义： 成本：企业进行生产经营活动所使用的生产要素的价格，或生产要素的所有者必须得到的报酬或补偿。生产要素的价格+人的工资 2、成本的分类 固定成本和变动成本 显性成本和隐性成本 会计成本和机会成本 增量成本和沉没成本 ==================固定成本和变动成本================== 分类标准：成本按照其总额与产量的关系，可分为固定成本和变动成本。 固定成本：在一定限度内成本的总额不随产量变动而变动的成本。 变动成本：在一定限度内成本的总额随产量变动而变动的成本。 ==================显性成本和隐性成本============== 分类标准：成本按其收回后归属的不同，可分为显性成本和隐性成本 显性成本：企业购买或租用所需要的生产要素的实际支出。 隐性成本：在形式上没有支付义务的，企业为使用自己提供的那一部分生产要素而支付的作为报酬的费用。 =================会计成本和机会成本================ 会计成本：在财务分析中使用的一种成本概念。它是指企业在生产活动中按市场价格支付的一切生产要素的费用。（显性成本=会计成本） 机会成本：生产者所放弃的使用相同生产要素在其他生产用途中所能得到的最高收入。在做管理决策时，必须使用机会成本 =================增量成本和沉没成本===