epoch

英文详细版参考： https://www.cnblogs.com/jins-note/p/10243716.html Dataset API是TensorFlow 1.3版本中引入的一个新的模块，主要服务于数据读取，构建输入数据的pipeline。 此前，在TensorFlow中读取数据一般有两种方法： 使用placeholder读内存中的数据 使用queue读硬盘中的数据（关于这种方式，可以参考我之前的一篇文章： 十图详解tensorflow数据读取机制 ） 相Dataset API同时支持从内存和硬盘的读取，相比之前的两种方法在语法上 更加简洁易懂。此外，如果想要用到TensorFlow新出的Eager模式，就必须要使用Dataset API来读取数据。 本文就来为大家详细地介绍一下Dataset API的使用方法（包括在非Eager模式和Eager模式下两种情况）。 Dataset API的导入 在TensorFlow 1.3中，Dataset API是放在contrib包中的： tf . contrib . data . Dataset 而在TensorFlow 1.4中，Dataset API已经从contrib包中移除，变成了核心API的一员： tf . data . Dataset 下面的示例代码将以TensorFlow 1.4版本为例，如果使用TensorFlow

训练模型，是换脸过程中最重要的一部分，也是耗时最长的一部分。很多人会问到底需要多少时间？有人会告诉你看loss值到0.02以下就可以了。我会告诉你，不要看什么数值，看预览窗口的人脸。看第二列是否和第一列一样清晰，看最后一列是否清晰，如果答案是“是”，那么恭喜你可以进入下一个环节了。 这个环节主要包括6个文件，每个文件代表一种模型，你只需选择一种即可。目前用的比较多的是， H64,H128,SAE 。 如果你玩这个软件，建议选着H64，出效果快，参数简单。 如果你需要更高的清晰度可选H128 如果你需要自定义更多参数选SAE。 6) train H64.bat 这个步骤虽然是最重要的，但是操作其实非常简单，比如你使用H64模型。只需双击文件。 双击文件文件之后一路回车，当跳出带头像的预览窗口就代表已经开始训练。刚开始训练的时候，第二列和第四列是空的，什么都没有，随着时间的推移会出现模糊的头像，继续训练头像会越来越清晰。 6) train H128.bat 这是H128，点击后出现的预览图明显比H64要大很多，这也是他们唯一的区别。 6) train SAE.bat 这是SAE的效果图。默认SAE的头像是128×128，等同于H128。 但是SAE的参数会更多。 下面说说模型训练环节常见的几个概念 Batch_size 这是一个深度学习中最常见的数字，也是每个模型必备参数

本文主要讲述在无外网条件下安装ceph存储集群的过程。具体的安装环境如下： [root@ceph001-node1 /]# lsb_release -a LSB Version: :core-4.1-amd64:core-4.1-noarch Distributor ID: CentOS Description: CentOS Linux release 7.1.1503 (Core) Release: 7.1.1503 Codename: Core [root@ceph001-node1 /]# uname -a Linux ceph001-node1 3.10.0-229.el7.x86_64 #1 SMP Fri Mar 6 11:36:42 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux 这里采用了3台虚拟机： 主机IP 部署组件 主机名 10.133.134.211 node1 ceph001-node1 10.133.134.212 node2 ceph001-node2 10.133.134.213 node3 ceph001-node3 1. 下载软件安装包 因为我们是在无外网环境下安装ceph，因此我们需要在另外一台能够联网的机器上下载到对应的软件安装包。 注意：这里我们的下载软件包的主机环境最好与实际的安装环境一致

初识Kafka Kafka是一个分布式的发布-订阅消息系统，能够支撑海量数据的数据传递。在离线和实时的消 息处理业务系统中，Kafka都有广泛的应用。Kafka将消息持久化到磁盘中，并对消息创建了备份保证了 数据的安全。Kafka在保证了较高的处理速度的同时，又能保证数据处理的低延迟和数据的零丢失。 特性 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个主题可以 分多个分区, 消费组对分区进行消费操作； 可扩展性：kafka集群支持热扩展； 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失； 容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）； 高并发：支持数千个客户端同时读写； 使用场景 日志收集：一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放 给各种consumer，例如Hadoop、Hbase、Solr等； 消息系统：解耦和生产者和消费者、缓存消息等； 用户活动跟踪：Kafka经常被用来记录web用户或者app用户的各种活动，如浏览网页、搜索、点 击等活动，这些活动信息被各个服务器发布到kafka的topic中，然后订阅者通过订阅这些topic来做实时 的监控分析，或者装载到Hadoop、数据仓库中做离线分析和挖掘； 运营指标：Kafka也经常用来记录运营监控数据

问题： There is this example code, but then it starts talking about millisecond / nanosecond problems. 有此示例代码，但随后开始谈论毫秒/纳秒问题。 The same question is on MSDN, Seconds since the Unix epoch in C# . 自M＃的Unix时代以来 ，同样的问题在MSDN上，以 秒为单位 。 This is what I've got so far: 到目前为止，这是我得到的： public Double CreatedEpoch { get { DateTime epoch = new DateTime(1970, 1, 1, 0, 0, 0, 0).ToLocalTime(); TimeSpan span = (this.Created.ToLocalTime() - epoch); return span.TotalSeconds; } set { DateTime epoch = new DateTime(1970, 1, 1, 0, 0, 0, 0).ToLocalTime(); this.Created = epoch.AddSeconds(value); } } 解决方案： 参考一： https:/

https://www.confluent.io/blog/enabling-exactly-kafka-streams/ https://cwiki.apache.org/confluence/display/KAFKA/KIP-98+-+Exactly+Once+Delivery+and+Transactional+Messaging Exactly Once Delivery and Transactional Messaging in Kafka https://docs.google.com/document/d/11Jqy_GjUGtdXJK94XGsEIK7CP1SnQGdp2eF0wSw9ra8/edit# Overview Kafka stream其实就是重用的samza，流pipeline上的所有节点都是解耦合的，所以所有节点的snapshot和恢复策略都是local的。 其实Global或local的checkpoint策略没有好坏之分，是全局还是局部，关键是在哪里replay数据 如果你只能在source去replay数据，那么就必须要采用global的snapshot，否则无法保证全局一致 但是如果我们可以在每个处理节点去replay数据，那就没有必要做global snapshot， 而kafka天然作为replay数据的基础设施

词向量模型之CBOW模型的原理与实现 关于词向量模型word2rec，平台里只有skip-gram一个模型的代码实现，本项目将对word2rec算法的第二个模型——CBOW模型进行补充 此项目用于交流与学习，如有问题，请大家积极指出，作者将第一时间在后续的版本中进行改正与优化，感谢大家支持！ 欢迎大家来逛我的主页 来AI Studio互粉吧~等你哦~ https://aistudio.baidu.com/aistudio/personalcenter/thirdview/218138 CBOW的原理 2013年，Mikolov提出了经典的word2vec算法，该算法通过上下文来学习语义信息。word2vec包含两个经典模型，CBOW（Continuous Bag-of-Words）和Skip-gram. 我们重点介绍一下CBOW模型的原理： 举个例子：Two boys are playing basketball. 在这个句子中我们定'are'为中心词，则Two，boys，playing，basketball为上下文。CBOW模型的原理就是 利用上下文来预测中心词 ，即利用Two，boys，playing，basketball预测中心词：are。这样一来，are的语义就会分别传入上下文的信息中。不难想到，经过大量样本训练，一些量词，比如one，two就会自动找到它们的同义词，

「道可道，非常道」，AI 领域的表征却一直在向着「常道可道」的方向前进，让可以表征的东西越来越接近「常道」。2017 年，DARPA 提出的第三波机器学习概念 [1] 中，其中一个方向也是找到更加通用的表征，从而让 AI 从当前「精心定义」过的任务中解脱出来，能够完成更加复杂的任务，更进一步接近人类的表现。为了解决这个问题，主要有两个方向——找到新的表征方式 [2]（更有效的计算方式或是全新的表征）或是提升当前表征计算方法的通用性 [3, 4]。本文涉及了在今年 CVPR 中提出的三个解决方案，先是说明了如何改进现有的表征，然后说明了如何提升表征的表现，最后基于多任务学习说明了如何处理不太相关的两个任务的表征。本文对每篇论文的描述中会先说明任务和算法概述（方便大概了解论文），再进行算法细节的讨论（如果想深入了解可以把后面部分也看完）。 机器之心分析师网络，作者：王子嘉，编辑：Joni Zhong。 1. Distribution-Aware Coordinate Representation for Human Pose Estimation 论文链接： https:// arxiv.org/abs/1910.0627 8 1.1 任务描述 本文的目标任务是人类姿态估计（human pose estimation），主要目的就是检测任意图片中人类关节的空间位置（坐标）

补充： 特征归一化，意义、方法、使用场景 一：单变量线性回归 （一）导入需要使用的包 import numpy as np import pandas as pd import matplotlib.pyplot as plt （二）导入数据集 注意：一定要将数据文件放在和程序同一个文件夹中，否则要使用绝对路径访问文件。 将csv文件读入并转化为数据框DataFrame形式,需要知道路径，指定哪一行作为表头，默认为0，即甚至第一行作为表头，若没有表头，则设置参数header=None,并主动指定列的名称,用列表表示，来添加列名。 6.1101 , 17.592 5.5277 , 9.1302 8.5186 , 13.662 7.0032 , 11.854 5.8598 , 6.8233 8.3829 , 11.886 7.4764 , 4.3483 8.5781 , 12 6.4862 , 6.5987 5.0546 , 3.8166 5.7107 , 3.2522 14.164 , 15.505 5.734 , 3.1551 8.4084 , 7.2258 5.6407 , 0.71618 5.3794 , 3.5129 6.3654 , 5.3048 5.1301 , 0.56077 6.4296 , 3.6518 7.0708 , 5.3893 6.1891 , 3.1386

概念 运维 配置 监控 生产者与消费者 流处理 <span id="concept"> ####分区partition 一定条件下，分区数越多，吞吐量越高。分区也是保证消息被顺序消费的基础，kafka只能保证一个分区内消息的有序性 ####副本 每个分区有一至多个副本(Replica)，分区的副本分布在集群的不同代理上，提高可用性。分区的每个副本在存储上对应与日志对象log对应 ####AR 每个分区的多个部分之间称为AR(assigned replicas)，包含至多一份leader副本和多个follower副本 ###ISR kafka在zookeeper中动态维护了一个ISR(In-sync Replica)，即保存同步的副本列表。列表中保存的是与leader副本保持消息同步的所有副本对应的代理节点id ####优先副本 AR列表中的第一个副本。理想情况下，优先副本是该分区的leader副本。所有的读写请求都有分区leader副本处理，kafka要保证优先副本在集群中均匀分布，保证了所有分区leader均匀分布， ####代理 每一个kafka实例称为代理（broker），每个代理都有唯一标示id即broker id，一台服务器上可以配置一个或多个代理 ####kafka streams java语言实现的用于流处理的jar文件 ####controller_epoch