epoch

上一篇 我们模拟了单机器下哨兵模式的搭建，那么接下来我们看下哨兵模式的实现与工作。 为什么又分成两篇呢？因为篇幅太长（偷懒），再一个这篇主要说的是Sentinel的初始化以及信息交换，下一篇着重说下状态检查、Sentinel头领选举与故障转移 。 启动并初始化Sentinel 当一个Sentinel启动时，需要执行以下步骤： （1）初始化服务器。 因为Sentinel本事上是一个运行在特殊模式下的Redis服务器，所以启动时的第一步也就是初始化一个普通的Redis服务器。不同点是在初始化的时候不会载入RDB或AOF文件。 （2）将普通的Redis服务器使用的代码替换成Sentinel专用代码。 端口替换Redis服务器使用redis.h/REDIS_SERVERPORT（6379）常量作为服务器端口，而Sentinel则使用sentinel.c/REDIS_SENTINEL_PORT（26379）常量作为服务器端口。 另外Redis服务器使用redisCommandTable服务器作为命令表，而Sentinel则使用sentinelcmds作为服务器的命令表，并且其中的info命令会使用Sentinel模式下专用的sentinelInfoCommand函数，而不是普通redis服务器使用的redis.c/infoCommand函数。 （3）初始化Sentinel状态。

API 。训练神经网络需要很多步骤。需要指定如何输入训练数据、初始化模型参数、在网络中执行向前和向后传递、基于计算的梯度更新权重、执行模型检查点等。在预测过程中，最终会重复这些步骤中的大多数步骤。对于新手和有经验的开发人员来说，所有这些都是非常令人望而生畏的。 幸运的是，MXNet在module（简称mod）包中模块化了用于训练和推理的常用代码。Module提供了用于执行预定义网络的高级和中级接口。两个接口都可以互换使用。在本教程中，我们将展示这两个接口的用法。 Preliminary 首先是一个初级用法demo： import logging import random logging.getLogger().setLevel(logging.INFO) import mxnet as mx import numpy as np mx.random.seed( 1234 ) np.random.seed( 1234 ) random.seed( 1234 ) fname = mx.test_utils.download( ' https://s3.us-east-2.amazonaws.com/mxnet-public/letter_recognition/letter-recognition.data ' ) data = np.genfromtxt(fname,

前言 Zab（Zookeeper Atomic Broadcast）是为ZooKeeper协设计的崩溃恢复原子广播协议，它保证zookeeper集群数据的一致性和命令的全局有序性。 概念介绍 在介绍zab协议之前首先要知道zookeeper相关的几个概念，才能更好的了解zab协议。 集群角色 Leader：同一时间集群中只允许有一个Leader，提供对客户端的读写功能，负责将数据同步至各个节点； Follower：提供对客户端读功能，写请求则转发给Leader处理，当Leader崩溃失联之后参与Leader选举； Observer：与Follower不同的是但不参与Leader选举。 服务状态 LOOKING：当节点认为群集中没有Leader，服务器会进入LOOKING状态，目的是为了查找或者选举Leader； FOLLOWING：follower角色； LEADING：leader角色； OBSERVING：observer角色； 可以知道Zookeeper是通过自身的状态来区分自己所属的角色，来执行自己应该的任务。 ZAB状态 Zookeeper还给ZAB定义的4种状态，反应Zookeeper从选举到对外提供服务的过程中的四个步骤。状态枚举定义： public enum ZabState { ELECTION, DISCOVERY, SYNCHRONIZATION,

参加学校的国创比赛的时候，我们小组的项目有一部分内容需要用到利用摄像头实现实时检测人脸的表情，因为最近都在看深度学习方面的相关知识，所以就自己动手实现了一下这个小Demo.参考网上的资料，发现大部分是使用CNN和DNN进行学习，经过本人亲自实践，我发现DNN的识别效果更佳~（楼主接下来就要讲的是基于DNN的模型，要是你对CNN的模型感兴趣，欢迎私戳楼主~） 所需环境：opencv + tensorflow1.8 + pycharm 代码以及模型的下载地址： https://github.com/tgpcai/Microexpression_recognition (如果喜欢请帮楼主点个start~) 最后实现的结果图： 目录 1.数据集简介 2.代码实现 （0）实现Demo的代码组织结构 （1）数据预处理 （2）训练模型 （3）调用模型实现人脸微表情识别 3.个人遇坑以及总结 1.数据集简介 人脸表情识别程序所采用的数据集为FER2013（facial-expression-recognition 2013）以及中科院的微表情数据，该数据集需要在kaggle网 站上进行下载，下载地址为： https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition

在我们处理有关图像的任务，比如目标检测，分类，语义分割等等问题当中，我们常常需要对训练集当中的图片进行数据增强（data augmentation）,这样会让训练集的样本增多，同时让神经网络模型的泛化能力更强。在进行图片的数据增强时，我们一般会对图像进行翻转，剪裁，灰度变化，对比度变化，颜色变化等等方式生成新的训练集，这就是计算机视觉当中的数据增强。我们来看看使用图像增强的手段，对一个猫狗图像分类的具体问题是怎么处理的。 首先我们导入各种包，像tensorflow之类的就不说了，其中的一个包叫做glob，这个包主要是用于读取本地计算机上的图片数据所用的，使用起来十分方便，只需几行代码即可将图片数据读入进来，比pathlib包读取图片方便多了，代码如下所示： import tensorflow as tf from tensorflow import keras import matplotlib.pyplot as plt import numpy as np import glob import os 然后读取图片，我把我的猫狗图片数据都放在了train文件夹下，这个文件夹下又有两个文件夹，分别是dog和cat，在调用glob库写图片路径的同时，我们直接用“*”号来表示一个文件夹下的所有文件都读取，代码如下所示： # 首先获取图片,glob这个库明显感觉更加好用 train

分布式系统八大谬论： 1.网络相当可靠 2.延迟为0 3.传输带宽是无限的 4.网络相当安全。 5.拓扑结构不会改变 6.必须要有一名管理员 7.传输成本为0 8.网络同质化。 分布式最常出现的问题： 1.通信异常。表现为网络通信成功，失败，超时这三种。 2.节点故障。表现为宕机，OOM 因此我们不要秀技术而分布式。特殊场景特殊使用。 Zookeeper设计目的 1.最终一致性：client不论连接到哪个Server，展示给它都是同一个视图，这是zookeeper最重要的性能。 2.可靠性：具有简单、健壮、良好的性能，如果消息被到一台服务器接受，那么它将被所有的服务器接受。 3.实时性：Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息，或者服务器失效的信息。但由于网络延时等原因，Zookeeper不能保证两个客户端能同时得到刚更新的数据，如果需要最新数据，应该在读数据之前调用sync()接口。 4.等待无关（wait-free）：慢的或者失效的client不得干预快速的client的请求，使得每个client都能有效的等待。 5.原子性：更新只能成功或者失败，没有中间状态。 6.顺序性：包括全局有序和偏序两种：全局有序是指如果在一台服务器上消息a在消息b前发布，则在所有Server上消息a都将在消息b前被发布；偏序是指如果一个消息b在消息a后被同一个发送者发布

随着预训练技术的到来，作为深度学习重要应用领域之一，自然语言处理也迎来了新的春天。通过使用预训练模型可以大大减少模型训练对数据的依赖，仅需要使用少量数据在下游任务中微调（Fine-tune），就可以获得效果非常优秀的模型。不过如果希望获得更好的效果，该怎么办呢？有人也许会说：多训练几个epoch嘛！但是对于这种单一任务且有监督学习的微调方式，单独增加训练epoch并不是一个好方法，过度的训练容易损害模型的泛化能力，发生过拟合现象。 ​ 要知道训练一个模型就像在养育一个孩子一样。在子女的教育问题上，每个家长都会投入尽可能多的人力和资源，希望把自己孩子教育成才，能够举一反三、触类旁通，成为一个“学霸”。 但是如果到考试时发现自己的孩子只会做课本上的原题，题目稍微改改就做不好，我想家长一定会欲哭无泪吧。相比模型训练又何尝不是呢？开发者不仅要投入大量的服务器硬件资源，还要辛辛苦苦写代码，结果最后训练出的模型泛化能力极差，跳出训练数据的范围，就啥也干不了，相信这绝对不是任何一个开发者希望看到的。 那么有什么方法可以提高模型的泛化能力，让模型可以更加聪明呢？其实可以在微调阶段引入辅助任务信号，通过多任务学习的方式，即将多个目标任务场景联合学习，就可以显著提高模型所学到的表征的通用性，使得模型具备更强的泛化能力。 但是基于传统的深度学习框架，多任务学习方式的代码实现门槛较高，策略调整不够灵活

1.引言 锵锵锵，好久不见，我又肥来了，前一段时间上网找资料的时候偶然发现一篇关于人脸关键点检测的文章，应该说这篇论文是关键点检测的看山鼻祖，论文主页：http://mmlab.ie.cuhk.edu.hk/archive/CNN_FacePoint.htm，一篇中文翻译的博客：基于DCNN的人脸特征点定位。我大概看了一遍发现这个论文的思路对我有很大的帮助，同时整体神经网络结构的搭建也不算太复杂，因此决定将论文复现一下看看效果，同时我对论文提出的网络也进行了一点细微的修改，但是中间有点事所以这个计划在进行了一半后就搁浅了，直到这几天才将后续的部分完成，让我们一起看一看实现的过程。 我的训练环境是使用Python3.6，Tensorflow—gpu，CUDA9.1，CUDNN7版本，每个网络进行1000epoch训练，最终训练效果如下图所示,红色点是网络预测的坐标点，蓝色点为数据集中给出的坐标点，该网络的预测效果相对来说还是可以的，但是在嘴角部分的预测还有一定差距。 2.网络结构 论文提出的网络整体思想是将网络分为两个模块，第一模块是通过适应openCV、faster rcnn或者训练的其他网络将原始图片裁剪出人脸部分用作第二模块关键点检测的数据，由于我使用的是Kaggle上提供的人脸关键点定位数据集，因此我没有使用第一模块