epoch

https://zhuanlan.zhihu.com/p/88923770 博弈论和机器学习能擦出怎样的火花？本文作者王子嘉通过回顾总结近年来博弈论和机器学习领域的交叉研究工作，为读者展示了这一领域最新的研究图景。 机器之心原创，作者：王子嘉，编辑：Joni Zhong。 「博弈论」这个词可能对于一些仅仅致力于机器学习前沿算法的人并不算熟悉。其实，有意无意的，博弈论的思想一直存在于很多机器学习的探索过程中，不管是经典的 SVM，还是大火的 GAN，这些模型的背后都有博弈论的影子。 近年来，随着机器学习的发展，机器学习要应用的场景越来越复杂，开始有人有意识的将博弈论与机器学习联系起来。总的来说，博弈论在机器学习研究中的作用主要有三个：(1) 解释机器学习模型的原理与思想；(2) 建立合适的学习策略；(3) 预测人类参与者（人机交互时）的行为。基于这三个方面，本文首先解释了博弈论的基本概念及其如何解释机器学习中的一些模型，然后介绍了博弈论在 Multi-Agent Reinforcement Learning（MARL）中的应用，最后介绍了博弈论与机器学习结合所产生的新分支——博弈机器学习。 博弈论是什么 严格来说，博弈论主要是研究理性决策者之间的冲突与合作的数学模型。这个定义有些抽象，没接触过博弈论的人也很难很直观的从「博弈论」这个名字知晓博弈论到底是什么。这个词可以拆开来看，「博弈

文章目录 1. ZooKeeper 是什么？ 2. ZooKeeper 提供了什么？ 3. Zookeeper 文件系统 4. Zookeeper 怎么保证主从节点的状态同步？ 5. 四种类型的数据节点 Znode 6. Zookeeper Watcher 机制 -- 数据变更通知 7. 客户端注册 Watcher 实现 8. 服务端处理 Watcher 实现 9. 客户端回调 Watcher 10. ACL 权限控制机制 11. Chroot 特性 12. 会话管理 13. 服务器角色 14. Zookeeper 下 Server 工作状态 15. 数据同步 16. zookeeper 是如何保证事务的顺序一致性的？ 17. 分布式集群中为什么会有 Master主节点？ 18. zk 节点宕机如何处理？ 19. zookeeper 负载均衡和 nginx 负载均衡区别 20. Zookeeper 有哪几种几种部署模式？ 21. 集群最少要几台机器，集群规则是怎样的？集群中有 3 台服务器，其中一个节点宕机，这个时候 Zookeeper 还可以使用吗？ 22. 集群支持动态添加机器吗？ 23. Zookeeper 对节点的 watch 监听通知是永久的吗？为什么不是永久的? 24. Zookeeper 的 java 客户端都有哪些？ 25. chubby 是什么，和

项目：强化学习走迷宫 我们将会应用 Q-learning 算法完成一个经典的 Markov 决策问题 -- 走迷宫！ 请查看项目详情 https://github.com/udacity/MLND_CN_P5_Reinforcement_Learning Section 0 问题描述与完成项目流程 1. 问题描述 在该项目中，你将使用强化学习算法，实现一个自动走迷宫机器人。 如上图所示，智能机器人显示在右上角。在我们的迷宫中，有陷阱（红色炸弹）及终点（蓝色的目标点）两种情景。机器人要尽量避开陷阱、尽快到达目的地。 小车可执行的动作包括：向上走 u 、向右走 r 、向下走 d 、向左走 l 。 执行不同的动作后，根据不同的情况会获得不同的奖励，具体而言，有以下几种情况。我们需要通过修改 robot.py 中的代码，来实现一个 Q Learning 机器人，实现上述的目标。 撞到墙壁：-10 走到终点：50 走到陷阱：-30 其余情况：-0.1 我们需要通过修改 robot.py 中的代码，来实现一个 Q Learning 机器人，实现上述的目标。 2. 完成项目流程 配置环境，使用 envirnment.yml 文件配置名为 robot-env 的 conda 环境，具体而言，你只需转到当前的目录，在命令行/终端中运行如下代码，稍作等待即可。 conda env create -f

一、Ceph简单介绍 1） OSDs: Ceph的OSD守护进程（OSD）存储数据，处理数据复制，恢复，回填，重新调整，并通过检查其它Ceph OSD守护程序作为一个心跳 向Ceph的监视器报告一些检测信息。Ceph的存储集群需要至少2个OSD守护进程来保持一个 active + clean状态.（Ceph默认制作2个备份，但可以调整它） 2） Monitors:Ceph的监控保持集群状态映射，包括OSD(守护进程)映射,分组(PG)映射，和CRUSH映射。 Ceph 保持一个在Ceph监视器, Ceph OSD 守护进程和 PG的每个状态改变的历史（称之为“epoch”）。 3） MDS: MDS是Ceph的元数据服务器，代表存储元数据的Ceph文件系统（即Ceph的块设备和Ceph的对象存储不使用MDS）。Ceph的元数据服务器使用POSIX文件系统，用户可以执行基本命令如 ls, find,等，并且不需要在Ceph的存储集群上造成巨大的负载。 Ceph把客户端的数据以对象的形式存储到了存储池里。利用CRUSH算法，Ceph可以计算出安置组所包含的对象，并能进一步计算出Ceph OSD集合所存储的安置组。CRUSH算法能够使Ceph存储集群拥有动态改变大小、再平衡和数据恢复的能力。 二、Ceph存储特点 Object：有原生的API，而且也兼容Swift和S3的API

【技术沙龙002期】数据中台：宜信敏捷数据中台建设实践|宜信技术沙龙 将于5月23日晚8点线上直播，点击报名 项目描述： 在该项目中，你将使用强化学习算法，实现一个自动走迷宫机器人。 如上图所示，智能机器人显示在右上角。在我们的迷宫中，有陷阱（红色炸弹）及终点（蓝色的目标点）两种情景。机器人要尽量避开陷阱、尽快到达目的地。 小车可执行的动作包括：向上走 u 、向右走 r 、向下走 d 、向左走 l 。 执行不同的动作后，根据不同的情况会获得不同的奖励，具体而言，有以下几种情况。 撞到墙壁：-10 走到终点：50 走到陷阱：-30 其余情况：-0.1 我们需要通过修改 robot.py 中的代码，来实现一个 Q Learning 机器人，实现上述的目标。 Section 1 算法理解 1.1 强化学习总览 强化学习作为机器学习算法的一种，其模式也是让智能体在“训练”中学到“经验”，以实现给定的任务。但不同于监督学习与非监督学习，在强化学习的框架中，我们更侧重通过智能体与环境的交互来学习。通常在监督学习和非监督学习任务中，智能体往往需要通过给定的训练集，辅之以既定的训练目标（如最小化损失函数），通过给定的学习算法来实现这一目标。然而在强化学习中，智能体则是通过其与环境交互得到的奖励进行学习。这个环境可以是虚拟的（如虚拟的迷宫），也可以是真实的（自动驾驶汽车在真实道路上收集数据）。

时间戳和时区是两个概念，互不影响。同一时刻在不同时区获取的时间戳是相同的。比如，同一时刻，北京时间（东 8 区）和东京时间（东 9 区）是不同的，东京时间比北京时间快 1 个小时，这里提到的北京时间和东京时间都是本地时间。在同一时刻，这些本地时间的时间戳是相同的（之前，我就错误的认为时间戳分本地时间戳和 UTC 时间戳，不同时区的时间戳是不同的，直到有次和技术部的平台组对需求后，才明白原来我一直搞错了，惭愧惭愧！）。 什么是时间戳以及如何获取时间戳呢，可以参考 cplusplus time 和 cppreference time 。 下面示例展示了将时间戳 time since epoch 分别转换成以 UTC 和本地时间表示的 calendar time 。由于我处于东 8 区，所以当前时间是 5 月 5 日，而 UTC 时间还是 5 月 4 日。 // gcc -std=gnu11 test.c #include <stdio.h> #include <time.h> void print(struct tm *t, const char *desc) { printf("%s: %d-%02d-%02d %02d:%02d:%02d wday:%d yday:%d isdst:%d\n", desc, 1900+t->tm_year, t->tm_mon, t->tm

Π-model 和 temporal ensemble 都出自论文 Temporal Ensembling for Semi-Supervised Learning ，都是利用一致性约束（consistency regularization）来进行半监督学习（semi-supervised learning）。 Π-model Π-model 可以说是最简单的一致性约束半监督学习方法了，训练过程的每一个 epoch 中，同一个无标签样本前向传播（forward） 两次 ，通过 data augmentation 和 dropout 注入扰动（或者说随机性、噪声），同一样本的两次 forward 会得到不同的 predictions，Π-model 希望这两个 predictions 尽可能一致，即模型对扰动鲁棒。 Temporal Ensembling for Semi-Supervised Learning 这篇文章应该是正式提出 Π-model 的论文， Semisupervised learning with ladder networks 这篇提出的是 Γ-model，Π-model 是其简化版。Π-model 在一个 epoch 对每个无标签样本只 forward 两次，而如果是 forward 多次，那么就是 transform/stability 方法，所以 Π

一、synchronized概述基本使用 　　为确保共享变量不会出现并发问题，通常会对修改共享变量的代码块用 synchronized 加锁，确保同一时刻只有一个线程在修改共享变量，从而避免并发问题。 　　synchronized结论： 　　　　1、java5.0之前，协调线程间对共享对象的访问的机制只有synchronized和volatile，但是内置锁在功能上存在一些局限性，jdk5增加了Lock以及ReentrantLock。 　　　　2、java5.0，增加了一种新的机制：显式锁ReentrantLock，注意它并不是替代内置锁synchronized的机制，而是当内置锁不适用时，作为一种可选的高级功能。 　　　　3、jdk6之后，synchronized与java.util.concurrent包中的ReentrantLock相比，由于JDK1.6中加入了针对锁的优化措施，使得synchronized与ReentrantLock的性能基本持平。ReentrantLock只是提供了synchronized更丰富的功能，而不一定有更优的性能，所以在synchronized能实现需求的情况下，优先考虑使用synchronized来进行同步。 　　　　synchronized在JDK5之前一直被称为重量级锁，底层是使用操作系统的mutex lock实现的，是一个较为鸡肋的设计

当我们实现神经网络时，反向传播的过程中更容易出错。 因此，如果我们能够实现一些使我们能够轻松调试神经网络的工具，那将是多么酷。 在这里，我们将看到“梯度检查”的方法。 简而言之，该方法使用数值方法近似梯度。 如果实际的梯度接近计算得出的梯度，则可以正确实施反向传播。 还有很多其他方法，让我们一起看看。 有时，可以看到网络在几个epoch内陷入僵局，然后继续快速收敛。 我们还将看到如何解决这个问题。 让我们开始吧！ 梯度的数值近似法 为了使我们能够构建“梯度检查”函数，我们首先需要了解如何在数值上近似梯度。 我发现用一个例子很容易解释此方法，所以让我们采用一个函数f（θ）=θ³。 让我们看一下这个函数的图像。 您可能已经猜到了。 让我们像往常一样从θ的某个值开始，现在我们说θ=1。我们要做的是不仅将θ推到右边以获得（θ+ ϵ），还将θ推到左边而得到（θ-ϵ）。 出于示例的目的，我们仅表示ϵ = 0.01。现在我们将其可视化。忽略该图中的比例。 现在我们说（θ-ϵ）的点称为B，而（θ+ ϵ）的点称为C。在此图中，我们之前使用的是三角形DEF，并计算出其梯度。在这种情况下是EF / DE。 事实证明，如果您使用（θ+ ϵ）和（θ-ϵ）中的一个较大的三角形，则可以得到更好的梯度估计，我的意思是用下图中的红色表示此处的三角形。

一、前述 TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。 Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。 TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。 二、相关概念和安装 TensorFlow中的计算可以表示为一个 有向图（DirectedGraph) 或者称 计算图（ComputationGraph) 其中每一个运算操作（operation)将作为一个节点（node) 计算图描述了数据的计算流程，也负责维护和更新状态 用户通过python，C++，go,Java语言设计这个这个数据计算的有向图 计算图中每一个节点可以有任意多个输入和任意多个输出 每一个节点描述了一种运算操作，节点可以算是运算操作的实例化（instance) 计算图中的边里面流动（flow)的数据被称为张量（tensor),故得名TensorFlow 安装流程： pip install tensorflow==1.1.0 三、代码规范 详细源码在本人github上 https://github.com/LhWorld/AI_Project.git 代码一：tensorflow 基本语法 import tensorflow