epoch

3 月，跳不动了？>>> 在上个数字识别的例子中，我们使用了一个简单的3层神经网络来识别给定图片的中的数字。 这次我们在上次的例子中在提升一下，这次我们选用条件生成对抗模型(Conditional Generative Adversarial Networks)来生成数字图片。 下面就让我们开始吧！ 第一步：import 我们需要的数据库 %matplotlib inline from __future__ import print_function, division import numpy as np import pandas as pd import matplotlib.pyplot as plt import matplotlib.image as mpimg import matplotlib.cm as cm import seaborn as sns sns.set_style('white') from keras.layers import Input, Dense, Reshape, Flatten, Dropout, multiply from keras.layers import BatchNormalization, Activation, Embedding, ZeroPadding2D from keras.layers.advanced

3 月，跳不动了？>>> Zookeeper中的事务都有一个全局唯一的ID成为ZXID ，ZXID由两部分组成：一部分为 leader周期epoch ，另一部分为 递增计数器 。 (/ZXID是一个长度64位的数字,其中低 32 位可以看作是一个简单的 递增计数器 ，针对客户端的每一个事务请求，Leader 都会产生一个新的事务 Proposal 并对该计数器进行 + 1 操作。高32位是 leader周期的epoch编号 ，每当选举出一个新的leader时，新的leader就从本地事物日志中取出最大事务 Proposal 的 ZXID，并从该 ZXID 中解析出对应的 epoch 值，然后再对这个值+1，再将低32位的全部设置为0。高 32 位代表了 每代 Lea der 的唯一性 ，低 32 代表了 每代Leader 中事务的唯一性， 这样就保证了每次新选举的leader后，保证了ZXID的唯一性而且是保证递增的。同时，也能让 Follower 通过高 32 位识别不同的 Leader，简化了数据恢复流程。 基于这样的策略 ：当 Follower 链接上 Leader 之后，Leader 服务器会根据自己服务器上最后被提交的 ZXID 和 Follower 上的 ZXID 进行比对，比对结果要么回滚，要么和 Leader 同步。/) 从算法的角度描述数据同步的过程： 1

3 月，跳不动了？>>> ZAB （Zookeeper Aotmic Broadcast） 协议 是专门为Zookeeper实现分布式协调服务而设计的一种支持 崩溃恢复和原子广播 协议。 基于该协议，Zookeeper 实现了一种 主备模式的系统架构 来保持集群中各个副本之间数据一致性。ZAB协议只允许有一个主进程（即leader）接收客户端事务请求并进行处理。当leader收到事务请求后，将请求事务转化成事务proposal，由于leader会为每个follower创建一个队列，将该事务proposal放入响应队列，保证事务的顺序性。之后会在队列中顺序向其它节点广播该提案，follower收到后会将其以事务的形式写入到本地日志中，并且向leader发送Ack信息确认，当有一半以上的follower返回Ack信息时，leader会提交该提案并且向其它节点发送commit信息。 ZAB协议包括两种模式： 即崩溃恢复模式和消息广播模式。 当 Leader 不可用时,(/即 当系统启动或者leader服务器出现故障等现象时 /） ， 则进入崩溃恢复模式, 将会开启新的一轮选举，选举产生的leader会与过半的follower进行同步，使数据一致。当同步结束后，退出恢复模式，进入消息广播模式。 消息广播模式： ZAB 协议的消息广播过程使用的是一个原子广播协议，类似一个 二阶段提交过程

3 月，跳不动了？>>> 目前中国视障人士数量多达700万，占全世界视障人士总数的18%。此外，全国还有约1200万弱视人群，两者总和约占全国总人口的1.5%。严重的视觉障碍给他们日常生活带来了巨大困难。视障人群需要专人陪同，或借助辅助工具例如导盲杖、导盲犬等才能正常生活。这些传统解决方案，始终存在普及率低、成本高以及使用困难等问题。如何有效助力视障人士日常生活与出行，改善他们的生活质量，是当下全社会亟待解决的问题。 ​ 图 1 视障人士的困境（图片来自网络） 幸运的是，当前广泛使用的手机芯片，不仅具备高效能、超低功耗、开发设计弹性，也满足特殊行业应用的定制系统整合设计需求，因此非常适合用来开发智能出行类产品应用。例如，手机搭配百度端侧推理引擎Paddle Lite，不仅能够加速设备开发，同时能提供设备持续维护、优化的设计弹性，加上目前手机完善的生态链和自身高可靠度表现，可大大降低智能眼镜设备开发过程的风险。此外，通过设计出合理的并行运算机制，可以对人工智能算法进一步优化，特别是那些利用深度学习技术进行训练或推理的场合。百度飞桨支持并行计算，可以很容易设计出符合要求的系统结构；其丰富的程序资源和硬件支持，可以满足更广泛的市场需求。 因此，我们基于人工智能技术，开发出一套视觉辅助智能眼镜系统。该系统首先通过百度深度学习平台飞桨进行大规模日常生活环境图像的训练

3 月，跳不动了？>>> 目前中国视障人士数量多达700万，占全世界视障人士总数的18%。此外，全国还有约1200万弱视人群，两者总和约占全国总人口的1.5%。严重的视觉障碍给他们日常生活带来了巨大困难。视障人群需要专人陪同，或借助辅助工具例如导盲杖、导盲犬等才能正常生活。这些传统解决方案，始终存在普及率低、成本高以及使用困难等问题。如何有效助力视障人士日常生活与出行，改善他们的生活质量，是当下全社会亟待解决的问题。 ​ 图 1 视障人士的困境（图片来自网络） 幸运的是，当前广泛使用的手机芯片，不仅具备高效能、超低功耗、开发设计弹性，也满足特殊行业应用的定制系统整合设计需求，因此非常适合用来开发智能出行类产品应用。例如，手机搭配百度端侧推理引擎Paddle Lite，不仅能够加速设备开发，同时能提供设备持续维护、优化的设计弹性，加上目前手机完善的生态链和自身高可靠度表现，可大大降低智能眼镜设备开发过程的风险。此外，通过设计出合理的并行运算机制，可以对人工智能算法进一步优化，特别是那些利用深度学习技术进行训练或推理的场合。百度飞桨支持并行计算，可以很容易设计出符合要求的系统结构；其丰富的程序资源和硬件支持，可以满足更广泛的市场需求。 因此，我们基于人工智能技术，开发出一套视觉辅助智能眼镜系统。该系统首先通过百度深度学习平台飞桨进行大规模日常生活环境图像的训练

我有一个Python datetime 对象，我想将其转换为Unix时间，即自1970年以来的秒/毫秒。 我该怎么做呢？ #1楼 在我看来，最简单的方法是 import datetime epoch = datetime.datetime.utcfromtimestamp(0) def unix_time_millis(dt): return (dt - epoch).total_seconds() * 1000.0 #2楼 这是我的方法： from datetime import datetime from time import mktime dt = datetime.now() sec_since_epoch = mktime(dt.timetuple()) + dt.microsecond/1000000.0 millis_since_epoch = sec_since_epoch * 1000 #3楼 >>> import datetime >>> import time >>> import calendar >>> #your datetime object >>> now = datetime.datetime.now() >>> now datetime.datetime(2013, 3, 19, 13, 0, 9, 351812) >>> #use

前言 前面几篇分享了PCA和SVD降维，今天分享一下另一种降维方式-自编码降维（auto encoding）。 什么是自编码 自编码是一种数据压缩算法，编码器和解码器特点是： 针对特定数据 有损压缩 自动学习 自编码的编码器和解码器都是通过神经网络实现的。 自编码是面向特定数据的，以为着他只能压缩相似的数据，如果你用图片训练的，然后去压缩声音肯定是不行的。 自编码是有损压缩，训练的时候的输入和输出并不是完全一致。训练的目的其实就是寻找最小损失的参数。 自编码是自动学习的，这个好处就是不需要太多的领域知识，比如给你一堆图让你训练，你可以不管他是什么图，扔进去train就好了，当然效果或者说速度无法保证。 自编码由两个重要组成部分组成：编码器，解码器。 网络结构如下： 编码器（encoder）：将输入数据压缩到指定维度 解码器（decoder）：将压缩的数据还原成原数据 训练的主要工作就是找到编码器和解码器的参数从而让原始数据和解码结果数据的差距最小，也就是loss损失最小。 自编码可以用来干啥 首先自编码不能用来压缩图片，自编码只是压缩数据维度，让这些维度的数据也能代表原数据，而图片压缩的目的是抽取一些像素，看上去跟原来图片尽量一样。看上去像，跟数据上的代表性是两码事，不完全一样。举个例子，下面的图，上面色块和下面色块颜色一样吗？对计算机就是一样的。 那自编码能用来干啥呢

在之前的Demo中，我们使用了条件GAN来生成了手写数字图像。那么除了生成数字图像以外我们还能用神经网络来干些什么呢？ 在本案例中，我们用神经网络来给口袋妖怪的线框图上色。 第一步: 导入使用库 from __future__ import absolute_import, division, print_function, unicode_literals import tensorflow as tf tf.enable_eager_execution() import numpy as np import pandas as pd import os import time import matplotlib.pyplot as plt from IPython.display import clear_output 口袋妖怪上色的模型训练过程中，需要比较大的显存。为了保证我们的模型能在2070上顺利的运行，我们限制了显存的使用量为90%, 来避免显存不足的引起的错误。 config = tf.compat.v1.ConfigProto() config.gpu_options.per_process_gpu_memory_fraction = 0.9 session = tf.compat.v1.Session(config=config) 定义需要使用到的常量。

要查看图文版教程，请移步： 点击这里 这是关于如何训练使用 nn.Transformer module的序列到序列模型的教程。 PyTorch-1.2 版本包括一个基于论文 Attention is All You Need 的标准transformer模块。transformer模型在能够处理多个序列到序列问题的同时具有更好的并行性。 nn.Transformer 模块完全依赖于注意机制 (最近实现的另一个模块是 nn.MultiheadAttention ） 来绘制输入和输出之间的全局依赖关系。 nn.Transformer 模块现在高度模块化，因此单个组件 （如本教程中的 nn.TransformerEncoder ） 可以很容易地进行调整/组合。 ../_images/transformer_architecture.jpg 定义模型 在本教程中，我们将在语言建模任务中训练 nn.TransformerEncoder 模型。语言建模任务是为给定单词（或一系列单词）跟随另外一系列单词出现的可能性指定一个概率。 先将一系列标记(tokens)传递到嵌入层(embedding layer)，然后是位置编码层(positional encoding layer)， 以说明单词的顺序（有关详细信息，请参阅下一段）。 nn.TransformerEncoder 由多层 nn

要查看图文并茂版教程，请移步： http://studyai.com/pytorch-1.4/beginner/text_sentiment_ngrams_tutorial.html 本教程演示如何在 torchtext 中使用文本分类数据集，包括 - AG_NEWS, - SogouNews, - DBpedia, - YelpReviewPolarity, - YelpReviewFull, - YahooAnswers, - AmazonReviewPolarity, - AmazonReviewFull 此示例演示如何使用 TextClassification 数据集中的一个训练用于分类文本数据的监督学习算法。 使用ngrams加载数据 一个ngrams特征包(A bag of ngrams feature)被用来捕获一些关于本地词序的部分信息。 在实际应用中，双字元(bi-gram)或三字元(tri-gram)作为词组比只使用一个单词(word)更有益处。例如： "load data with ngrams" Bi-grams results: "load data", "data with", "with ngrams" Tri-grams results: "load data with", "data with ngrams" TextClassification