epoch

nginx配置--expires

你。 提交于 2021-02-06 04:31:40
配置expires expires起到控制页面缓存的作用,合理的配置expires可以减少很多服务器的请求 要配置expires,可以在http段中或者server段中或者location段中加入 location ~ \.(gif|jpg|jpeg|png|bmp| ico)$ { root /var/www/img/ ; expires 30d; } 控制图片等过期时间为30天,当然这个时间可以设置的更长。具体视情况而定 比如 location ~ \.(wma|wmv|asf|mp3|mmf|zip|rar|swf| flv)$ { root /var/www/upload/ ; expires max; } expires 指令可以控制 HTTP 应答中的“ Expires ”和“ Cache-Control ”的头标(起到控制页面缓存的作用) 语法:expires [time|epoch|max|pff] 默认值:off expires指令控制HTTP应答中的“Expires”和“Cache-Control”Header头部信息,启动控制页面缓存的作用 time:可以使用正数或负数。“Expires”头标的值将通过当前系统时间加上设定time值来设定。 time值还控制"Cache-Control"的值: 负数表示no-cache 正数或零表示max-age=time

全网最硬核 JVM TLAB 分析 6. TLAB 相关热门Q&A汇总

泪湿孤枕 提交于 2021-02-04 19:01:52
今天,又是干货满满的一天。这是全网最硬核 JVM 系列的开篇,首先从 TLAB 开始。由于文章很长,每个人阅读习惯不同,所以特此拆成单篇版和多篇版 全网最硬核 JVM TLAB 分析(单篇版不包含额外加菜) 全网最硬核 JVM TLAB 分析 1. 内存分配思想引入 全网最硬核 JVM TLAB 分析 2. TLAB生命周期与带来的问题思考 全网最硬核 JVM TLAB 分析 3. JVM EMA期望算法与TLAB相关JVM启动参数 全网最硬核 JVM TLAB 分析 4. TLAB 基本流程全分析 全网最硬核 JVM TLAB 分析 5. TLAB 源代码全解析 全网最硬核 JVM TLAB 分析 6. TLAB 相关热门Q&A汇总 全网最硬核 JVM TLAB 分析(额外加菜) 7. TLAB 相关 JVM 日志解析 全网最硬核 JVM TLAB 分析(额外加菜) 8. 通过 JFR 监控 TLAB 10. TLAB 流程常见问题 Q&A 这里我会持续更新的,解决大家的各种疑问 10.1. 为何 TLAB 在退还给堆的时候需要填充 dummy object 主要保证 GC 的时候扫描高效。由于 TLAB 仅线程内知道哪些被分配了,在 GC 扫描发生时返回 Eden 区,如果不填充的话,外部并不知道哪一部分被使用哪一部分没有,需要做额外的检查,如果填充已经确认会被回收的对象

TensorFlow(九):卷积神经网络

三世轮回 提交于 2021-02-02 16:31:50
一:传统神经网络存在的问题 权值太多,计算量太大 权值太多,需要大量样本进行训练 二:卷积神经网络(CNN) CNN通过感受野和权值共享减少了神经网络需要训练的参数个数。 三:池化 四:卷积操作 五:CNN结构 六:基于卷积神经网络的手写数字识别 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data # 载入数据集 mnist=input_data.read_data_sets( ' MNIST_data ' ,one_hot= True) # 每个批次的大小 batch_size=100 # 计算一共有多少个批次 n_batch=mnist.train.num_examples// batch_size # 初始化权值 def weight_variable(shape): initial =tf.truncated_normal(shape,stddev=0.1) # 生成一个截断的正态分布 return tf.Variable(initial) # 初始化偏置 def bias_variable(shape): initial =tf.constant(0.1,shape= shape) return tf.Variable(initial) # 卷积层 def

深度学习框架PyTorch的技巧总结

邮差的信 提交于 2021-02-02 10:44:02
1.在训练模型时指定GPU的编号 设置当前使用的GPU设备仅为0号设备,设备名称为"/gpu:0", os.environ["CUDA_VISIBLE_DEVICES"]="0" ; 设置当前使用的GPU设备为0,1两个设备,名称依次为"/gpu:0","/gpu:1", os.environ["CUDA_VISIBLE_DEVICES"]="0,1" ;根据顺序优先表示使用0号设备,然后使用1号设备; 同样,也可以在训练脚本外面指定, CUDA_VISIBLE_DEVICES=0,1 python train.py ,注意,如果此时使用的是8卡中的6和7, CUDA_VISIBLE_DEVICES=6,7 python train.py ,但是在模型并行化的时候,仍然指定0和1, model=nn.DataParallel(mode, devices=[0,1] ; 在这里,需要注意的是,指定GPU的命令需要放在和网络模型操作的最前面; 2.查看模型每层的输如输出详情 1.需要安装torchsummary或者torchsummaryX(pip install torchsummary); 2.使用示例如下: from torchvision import models vgg16 = models . vgg16 ( ) vgg16 = vgg16 . cuda ( ) # 1

redis之Sentinel(哨兵)

不想你离开。 提交于 2021-01-31 09:11:01
一、Sentinel背景 如上图所示,客户端连接master进行正常的请求,当master挂掉后,客户端连接断开,和replica之间的连接也断开了,需要人工干预,将其中某个replica配置为master,并且修改客户端,使其连接到新的master。在人工干预期间,服务不可用。因此出现了sentinel(哨兵),用其来进行redis的监控以及故障切换。 二、Sentinel是什么 redis提供高可用的一种方式。哨兵,顾名思义, 站岗、放哨、巡逻、稽查的士兵。哨兵实时检查redis状态,进行相应的处理,实现了无人工干预的能自主进行各种故障处理的系统。 三、Sentinel的功能有哪些 Sentinel主要有四大功能: (Monitoring)监控 Sentinel不断的检查redis(master/replica)是否按照预期在运行。 (Notification)通知 Sentinel可以通过API在redis异常时通知系统管理员或者其他程序。 (Automatic failover)自动故障转移 如果master出现异常,Sentinel将会重新选举一个新的master,并且重新配置其余replica,让其连接到新的master。 (Configuration provider)配置中心 Sentinel还可以作为一个配置管理中心,服务发现。客户端连接到Sentinel后

目标检测算法之YOLOv1与v2

有些话、适合烂在心里 提交于 2021-01-30 14:05:13
YOLO:You Only Look Once(只需看一眼) 基于深度学习方法的一个特点就是实现端到端的检测,相对于其他目标检测与识别方法(如Fast R-CNN)将目标识别任务分成目标区域预测和类别预测等多个流程,YOLO将目标区域预测和类别预测整合到单个神经网络中,将目标检测任务看作目标区域预测和类别预测的回归问题。速度非常快,达到每秒45帧,而在快速YOLO(Fast YOLO,卷积层更少),可以达到每秒155帧。 与当前最好系统相比,YOLO目标区域定位误差更大,但是背景预测的假阳性(真实结果为假,算法预测为真)优于当前最好的方法。 一、YOLO的核心思想 1. YOLO的核心思想就是利用整张图作为网络的输入,直接在输出层回归bounding box(边界框)的位置及其所属类别 2. Faster R-CNN中也直接用整张图作为输入,但是Faster R-CNN整体还是采用了RCNN那种proposal + classifier的思想,只不过将提取proposal的步骤放在CNN中实现,而YOLO则采用直接回归的思路。 二、YOLO的实现方法 1. YOLO首先将图像分为SxS个网格(grid cell)。如果一个目标的中心落入格子,该格子就负责检测其目标。每一个网格中预测B个Bounding box和置信值(confidence score)

使用多尺度空间注意力的语义分割方法

大憨熊 提交于 2021-01-30 09:37:33
点击上方“AI公园”,关注公众号,选择加“星标“或“置顶” 作者: Abhinav Sagar 编译:ronghuaiyang 导读 用于自动驾驶的新的state of the art的网络。 本文提出了一种新的神经网络,利用不同尺度的多尺度特征融合来实现精确高效的语义分割。 重点 我们在下采样部分使用了膨胀卷积层,在上采样部分使用了转置卷积层,并在concat层中对它们进行拼接。 alternate blocks之间有跳跃连接,这有助于减少过拟合。 我们对我们的网络训练和优化细节进行了深入的理论分析。 我们在Camvid数据集上使用每个类的平均精度和IOU作为评价指标来评估我们的网络。 我们的模型在语义分割上优于之前的state of the art网络,在超过100帧每秒的速度下,平均IOU值为74.12。 语义分割 语义分割需要对输入图像的每个像素预测一个类,而不是对整个输入图像进行分类。为了预测图像中每个像素的内容,分割不仅需要找到输入图像中的内容,还需要找到它的位置。语义分割在自动驾驶、视频监控、医学影像等方面都有应用。这是一个具有挑战性的问题,因为要在准确性和速度之间进行权衡。由于模型最终需要在现实环境中部署,因此精度和速度都应该很高。 数据集 在训练和评估中使用了CamVid数据集。数据集提供了ground truth标签,将每个像素与32个类中的一个相关联

Adding missing time in pandas dataframe

て烟熏妆下的殇ゞ 提交于 2021-01-27 18:31:45
问题 I have a pandas.DataFrame with timestamps in a column. The values are in epoch and 0.1 seconds apart. Values like 1488771900.100000, 1488771900.200000 and so on. However, there are missing values. So I have 1488794389.500000 and then 1488794389.900000 with 3 missing values between. I want to insert rows in the dataframe with missing values between the max and min in this column. So if the min is 1488771900.000000 and max is 1488794660.000000 , I want to insert rows with all values separated

炼丹的不二法门

天涯浪子 提交于 2021-01-26 07:54:19
1.数据增广 简单,行之有效地增加训练数据量,提高模型的泛化能力。 水平翻转(horizontally flipping) 位移 裁剪 颜色抖动(color jittering) 组合操作   例如同时做旋转和随机尺度变换,此外还可以把每个patch中所有像素在HSV颜色空间中的饱和度和明度提升0.25-4次幂方,乘以0.7-1.4之间的一个因子,再加一个-0.1-0.1之间的值。同样你可以在色调通道(H)对每张图片或patch  的所有像素增加一个-0.1~0.1之间的值。 2.预处理 零均值化和标准化   零均值化: X - = numpy.mean( X, axis = 0 )   数据有 过大的均值可能导致参数的梯度过大 ,如果有后续的处理,可能要求数据零均值,比如主成分分析 PCA。零均值化并没有消除像素之间的相对差异,人们对图像信息的摄取通常来自于像素之间的相对色差,而不是像素值的高  低。归一化是为了 让不同维度的数据具有相同的分布 。假如二维数据(X1,X2)两个维度都服从均值为零的正态分布,但是X1方差为100,X2方差为1。那么对(X1,X2)进行随机采样在二维坐标系中绘制的图像,应该是狭长的椭圆  形。 归一化后 加快了梯度下降求最优解的速度并有可能提高精度 。考虑数据特征提取的表达式:   S = w1*x1 + w2*x2 + b   梯度计算:   dS

【大数据哔哔集20210123】别问,问就是Kafka最可靠

社会主义新天地 提交于 2021-01-25 03:48:32
高可靠性分析 Kafka的高可靠性的保障来源于其健壮的副本(replication)策略。通过调节其副本相关参数,可以使得Kafka在性能和可靠性之间运转的游刃有余。Kafka从0.8.x版本开始提供Partition级别的复制,replication数量可以配置文件(default.replication.refactor)中或者创建Topic的时候指定。 这里先从Kafka文件存储机制入手,从最底层了解Kafka的存储细节,进而对存储有个微观的认知。之后通过Kafka复制原理和同步方式来阐述宏观层面的概念。最后从ISR,HW,leader选举以及数据可靠性和持久性保证等等各个维度来丰富对Kafka相关知识点的认知。 Kafka文件存储机制 Kafka中消息是以Topic进行分类的,生产者通过Topic向Kafka Broker发送消息,消费者通过Topic读取数据。然而Topic在物理层面又能以Partition为分组,一个Topic可以分成若干个Partition,那么Topic以及Partition又是怎么存储的呢?Partition还可以细分为Segment,一个partition物理上由多个Segment组成,那么这些Segment又是什么呢?下面我们来一一揭晓。 为了便于说明问题,假设这里只有一个Kafka集群,且这个集群只有一个Kafka Broker