epoch

1. Model Log 介绍 Model Log 是一款基于 Python3 的轻量级机器学习(Machine Learning)、深度学习(Deep Learning)模型训练评估指标可视化工具，与 TensorFlow、Pytorch、PaddlePaddle结合使用，可以记录模型训练过程当中的 超参数、Loss、Accuracy、Precision、F1值等，并以曲线图的形式进行展现对比 ，轻松三步即可实现。 GitHub项目地址： https://github.com/NLP-LOVE/Model_Log 通过调节超参数的方式多次训练模型，并使用 Model Log 工具进行记录，可以很直观的进行模型对比，堪称调参神器。以下是使用工具后模型训练时 Loss 的变化曲线图。访问线上体验版： http://mantchs.com/model_log.html 通过上图可以很清晰的看出两个模型的训练效果，而且在表格当中高亮显示修改过的超参数，方便进行模型分析。 2. Model Log 特性 轻量级、无需任何配置、极简API、开箱即用。 只需要把模型的超参数和评估指标数据通过API添加即可，轻松三步即可实现。 高亮显示修改过的超参数，方便进行模型分析。 自动检测和获取正在训练的模型数据，并进行可视化，无需人工参与。 使用 SQLite 轻量级本地数据库存储，可供多个用户同时使用

首次体验Pytorch，本文参考于： github and PyTorch 中文网人脸相似度对比 本文主要熟悉Pytorch大致流程，修改了读取数据部分。没有采用原作者的 ImageFolder 方法： ImageFolder(root, transform=None, target_transform=None, loader=default_loader)。而是采用了一种更自由的方法，利用了 Dataset 和 DataLoader 自由实现，更加适合于不同数据的预处理导入工作。 Siamese网络不用多说，就是两个共享参数的CNN。每次的输入是 一对图像+1个label ，共3个值。注意label=0或1（又称正负样本），表示输入的两张图片match（匹配、同一个人）或no-match（不匹配、非同一人）。 下图是Siamese基本结构，图是其他论文随便找的，输入看做两张图片就好。只不过下图是两个光普段而已。 1. 数据处理 数据采用的是AT&T人脸数据。共40个人，每个人有10张脸。数据下载： AT&T 首先解压后发现文件夹下共40个文件夹，每个文件夹里有10张pgm图片。这里生成一个包含图片路径的train.txt文件共后续调用： def convert(train= True): if (train): f =open(Config.txt_root, ' w ' )

1. Model Log 介绍 Model Log 是一款基于 Python3 的轻量级机器学习(Machine Learning)、深度学习(Deep Learning)模型训练评估指标可视化工具，与 TensorFlow、Pytorch、PaddlePaddle结合使用，可以记录模型训练过程当中的 超参数、Loss、Accuracy、Precision、F1值等，并以曲线图的形式进行展现对比 ，轻松三步即可实现。 GitHub项目地址： https://github.com/NLP-LOVE/Model_Log 通过调节超参数的方式多次训练模型，并使用 Model Log 工具进行记录，可以很直观的进行模型对比，堪称调参神器。以下是使用工具后模型训练时 Loss 的变化曲线图。访问线上体验版： http://mantchs.com/model_log.html 通过上图可以很清晰的看出两个模型的训练效果，而且在表格当中高亮显示修改过的超参数，方便进行模型分析。 2. Model Log 特性 轻量级、无需任何配置、极简API、开箱即用。 只需要把模型的超参数和评估指标数据通过API添加即可，轻松三步即可实现。 高亮显示修改过的超参数，方便进行模型分析。 自动检测和获取正在训练的模型数据，并进行可视化，无需人工参与。 使用 SQLite 轻量级本地数据库存储，可供多个用户同时使用

在 JSON 文档中,日期表示为字符串.Elasticsearch 使用一组预先配置的格式来识别和解析这些字符串表示为 milliseconds-since-the-epoch in UTC. 除了内置格式,你可以使用熟悉的 yyyy/MM/dd 语法指定自己的自定义格式. curl -XPUT 'localhost:9200/my_index?pretty' -H 'Content-Type: application/json' -d' { "mappings": { "my_type": { "properties": { "date": { "type": "date", "format":"yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis" } } } } } 来源： oschina 链接： https://my.oschina.net/u/3727895/blog/4316817

最近开发反馈sentry遇到mongodb写入报 objectid 重复的情况，类似下图： 我们生产用的是mongo3.4的版本 官方文档介绍3.4的 objectid生成规则如下： https://docs.mongodb.com/v3.4/reference/method/ObjectId/ a 4-byte timestamp value , representing the ObjectId’s creation, measured in seconds since the Unix epoch 4 个字节表示时间戳， unixtime a 5-byte random value 5 个字节随机数 a 3-byte incrementing counter , initialized to a random value 3 个字节表示一个自增的数 举例子： 24位的objectid，我们按照上面的规则来拆分成3段： 5ec428fca413e054714e7fb2拆分： 5ec428fc --> 1589913852 --> 2020-05-20 02:44:12 a413e05471 -->704708105329 4e7fb2 --> 5144498 5ec428fca413e054714e7fb3拆分： 5ec428fc --> 1589913852 --> 2020

1. 基本数据结构 　　和pytorch等中的tensor类似，mxnet中的ndarray或者nd，用来操作矩阵或者张量数据。基本操作类似于Numpy， 支持计算，索引等。 创建矩阵 from mxnet import nd #或者 from mxnet import ndarray as nd #创建矩阵 x1 = nd.array([[ 1 , 2 ,], [ 3 , 4 ]]) x2 = nd.random.uniform( 1 , 10 , shape=( 3 , 3 )) # 3 * 3的矩阵 x3 = nd.random.randn( 2 , 3 ) # 2 * 3 的矩阵 x4 = nd.random.randint( 1 , 10 , shape=( 2 , 3 )) # 2 * 3 的矩阵 x5 = nd.ones(shape=( 2 , 2 )) # 2 * 2 的矩阵 x6 = nd.full(shape=( 2 , 3 ), val= 2 ) # 2 * 3 的矩阵, 值为2 print(x1.shape, x1.size, x1.dtype) #( 2 , 2 ) 4 < class ' numpy.float32 ' > 　　操作矩阵 x = nd.random.randn( 2 , 3 ) y = nd.random.randn( 2 , 3 )

本章节主要介绍pg创建的流程，主要包括两部分，第一部分是创建pg在mon上跳转的流程。第二部分是osd端的pg创建流程。 以下源码分析以函数调用栈展开分析： ps：以下代码以L版本为准； 一、mon节点处理 1.函数调用栈1 1.void OSDMonitor::update_from_paxos() -> PGMonitor::check_osd_map() -> void PGMapUpdater::register_new_pgs() ->void PGMapUpdater::register_pg() void PGMonitor::check_osd_map(epoch_t epoch) { if (mon->is_peon()) return; // whatever. PGMapUpdater::register_new_pgs(osdmap, pg_map, &pending_inc);//a--- propose_pending();//b--- } a.PG的注册创建 b.完成推行，形成一致的PGMap void PGMapUpdater::register_new_pgs( const OSDMap &osd_map, const PGMap &pg_map, PGMap::Incremental *pending_inc) { for (ps_t ps =

引言 对神经网络进行量化可以减小模型参数量和提升速度，并且一些硬件设备只支持特定的量化网络，因此在一些场景中常被采用。最常见的是对一个已经训练好的模型进行处理来做到int8量化，但这种方式一般会对网络的效果有些影响，特别是对一些图像生成任务。所以希望通过量化感知训练的方式能做一些特殊处理，以减少量化带来的效果影响。但是像pytorch这样的框架吗目前对量化感知训练支持的还不是特别好， 另外一些特殊硬件设备的量化策略跟常用的一些量化策略不太一样，因此最近在学习这方面的内容，在这其中踩了一些数值稳定性方面的坑，分享给大家。 网络的计算量很大部分来自于卷积，而卷积的计算过程可以由下面的公式表示 y = W x + b (1) y=Wx+b \tag{1} y = W x + b ( 1 ) 其中W是卷积的权重，b是偏置bias。以int8为例，最简单的就是非对称量化，也就是希望将W的范围其量化到 [ 0 , 255 ] [0,255] [ 0 , 2 5 5 ] ， s c a l e = 255 m a x ( W ) − m i n ( W ) (2) scale = \frac{255}{max(W)-min(W)} \tag{2} s c a l e = m a x ( W ) − m i n ( W ) 2 5 5 ​ ( 2 ) 因此量化后的权重计算就可以用 w q = (

在自然语言处理领域，文本表示学习技术可以帮助我们将现实世界转化为计算机可以处理的数据，以求更精准地建立学习模型。而在中文搜索场景下，同音词、易混词、错别字等文本的召回和相似度匹配一直存在着棘手的问题，本文将尝试从图计算的角度来进行中文词向量的训练，并取得了积极的效果，希望与大家一同分享交流。文章作者：翟彬旭，腾讯云大数据高级研发工程师。 一、技术背景 在中文搜索场景下，同音词、易混词、错别字等文本的召回和相似匹配是一个常见且棘手的问题。NLP(自然语言处理)社区对文本的匹配和召回已经经历从早期的基于分词和倒排索引的全文检索过渡到如今流行的文本向量检索。 向量检索通过训练和学习文本的分布式表征得到文本向量，可以解决倒排索引无法解决的语义相似度匹配问题，而且针对高维向量的大规模快速检索在业界已经有相当成熟的解决方案，如Faiss、Nmslib等。 但目前业内常用的表示学习方法很少考虑中文场景下由于输入法输入错误、发音问题等导致的文本相似匹配问题。 例如，在笔者所在的腾讯云企业画像产品研发过程中，就经常遇到类似的需求。当用户在我们的产品中搜索“腾迅科技集团股份有限责任公司”时，此时用户希望搜索的企业工商注册名称应该是“腾讯科技（深圳）有限公司”，但由于输入法错误（将“腾讯”错输为“腾迅”）、认知错误（将“有限责任公司”误认为“集团股份有限责任公司”）等原因

参考了Mask-RCNN实例分割模型的训练教程： pytorch官方的Mask-RCNN实例分割模型训练教程： TORCHVISION OBJECT DETECTION FINETUNING TUTORIAL 官方Mask-RCNN训练教程的中文翻译： 手把手教你训练自己的Mask R-CNN图像实例分割模型（PyTorch官方教程） 在Mask-RCNN实例分割模型训练的基础上稍作修改即可实现Faster-RCNN目标检测模型的训练 相关网页： torchvision自带的图像分类、语义分割、目标检测、实例分割、关键点检测、视频分类模型： TORCHVISION.MODELS torchvision Github项目地址： https://github.com/pytorch/vision 1. 准备工作 除了需要安装pytorch和torchvision外，还需要安装COCO的API pycocotools windows系统安装pycocotools的方法： Windows下安装pycocotools 导入相关包和模块： import torch import os import numpy as np import cv2 import matplotlib.pyplot as plt from torchvision import datasets, transforms