梯度

在压力测试时，可能需要使用jmeter的梯度加压。而在使用梯度加压时，大部分tester会对这一点疑惑：设置的总线程是100，但聚合报告中线程数远超100个 ，为什么梯度加压会有这样的现象？用事实说话，本文用示例去解释这一点。 环境： 先设置梯度加压的场景，访问某网站，具体如下： 从这个梯度加压设置的参数，我们可以看出设置的总线程数为50个，每2s增加5个，在1s内增加完成；然后线程保持30s；再然后，每2s停掉5个线程。 要正确理解最终请求数，需要明白每一秒钟线程释放了多少请求 分析： 在梯度加压有三个阶段：梯度加压、持续负载、线程释放。 梯度加压： 如果该请求的平均响应时间是100ms，那么1s钟该请求可以迭代10次； 那么在1s内如果启动了5个线程，这1s内发出的请求数就是5*10=50次 接着运行2s后才开始加载下一波线程，在这2s内，它发出的请求数是2*5*10=100次 在2s之后，线程组又在1s内释放5个请求，并运行2s，在这2s内，它发出的请求数是2*10*10=200次（此时是10个线程在运行） 以此类推，直到50个线程加载完之前，线程释放的请求数是这样的：(2*5*10)+(2*10*10)+(2*15*10)+(2*20*10)+(2*25*10)+....+(2*45*10)=4500次 持续负载： （注意：为什么最后不是2*50*10呢

PyTorch中在反向传播前为什么要手动将梯度清零？ - Pascal的回答 - 知乎 https://www.zhihu.com/question/303070254/answer/573037166 这种模式可以让梯度玩出更多花样，比如说梯度累加（gradient accumulation） 传统的训练函数，一个batch是这么训练的： for i,(images,target) in enumerate(train_loader): # 1. input output images = images.cuda(non_blocking=True) target = torch.from_numpy(np.array(target)).float().cuda(non_blocking=True) outputs = model(images) loss = criterion(outputs,target) # 2. backward optimizer.zero_grad() # reset gradient loss.backward() optimizer.step() 获取loss：输入图像和标签，通过infer计算得到预测值，计算损失函数； optimizer.zero_grad() 清空过往梯度； loss.backward() 反向传播， 计算当前梯度 ；

pytorch 为了节省显存，在反向传播的过程中只针对计算图中的叶子结点(leaf variable)保留了梯度值(gradient)。但对于开发者来说，有时我们希望探测某些中间变量(intermediate variable) 的梯度来验证我们的实现是否有误，这个过程就需要用到 tensor的 register_hook 接口。一段简单的示例代码如下，代码主要来自 pytorch开发者的回答 ，笔者稍作修改使其更符合最新版的pytorch 语法(v1.2.0)。 grads = {} def save_grad ( name ): def hook ( grad ): grads [ name ] = grad return hook x = torch . randn ( 1 , requires_grad = True ) y = 3 * x z = y * y # 为中间变量注册梯度保存接口，存储梯度时名字为 y。 y . register_hook ( save_grad ( 'y' )) # 反向传播 z . backward () # 查看 y 的梯度值 print ( grads [ 'y' ]) 一个示例输出是： tensor ([- 1.5435 ]) 来源：博客园 作者： SivilTaram 链接：https://www.cnblogs.com

挖坑，做完实验来填 来源：51CTO 作者： canaryW 链接：https://blog.csdn.net/cobracanary/article/details/100860258

1、GBDT模型介绍； 2、GBDT回归算法 3、GBDT分类算法 4、GBDT的损失函数 5、正则化 6、GBDT的梯度提升与梯度下降法的梯度下降的关系； 7、GBDT的优缺点 1、GBDT模型介绍； GBDT(Gradient Boosting Decision Tree) 又名：MART（Multiple Additive Regression Tree) 适用于分类和回归问题； 加法模型（基分类器的线性组合） 根据当前损失函数的负梯度信息来训练新加入的弱分类器，再将训练好的弱分类器以累加的形式结合到现有模型； 以决策树为基学习器的提升方法；一般会选择为CART（无论用于分类还是回归），也可以选择其他弱分类器的，选择的前提是低方差和高偏差，每次走一小步逐渐逼近结果的效果; 在训练过程中希望损失函数能够不断的减小，且尽可能快的减小。所以用的不是单纯的残差，而是损失函数的负梯度方向，这样保证每轮损失函数都在稳定下降，而且递减速度最快，类似于梯度下降法，来求损失函数的极小值； Shrinkage（缩减）的思想认为，每次走一小步逐渐逼近结果的效果，要比每次迈一大步很快逼近结果的方式更容易避免过拟合。即它不完全信任每一个棵残差树，它认为每棵树只学到了真理的一小部分，累加的时候只累加一小部分，通过多学几棵树弥补不足。 2、GBDT回归算法描述 步骤： 1、初始化

nn：w比1大，会造成激活函数、梯度爆炸。w比1小，梯度会消失。随机化初始权重有助于解决这个问题。 RNN同样有梯度消失问题，反向传播时后面的梯度很难传到前面的层，从而影响到前面的层的计算。梯度爆炸会发生数值溢出，可以通过修剪、缩放来解决。 GRU：记忆细胞C <t> 的作用是提供记忆的能力。候选值C ^<t> 重写记忆细胞。更新门Γ u 是一个介于0和1之间的数，决定是否更新记忆细胞。相关Γ r 代表候选值和记忆细胞的相关性。 LSTM：更新门，遗忘门，输出门。更新门和遗忘门给了记忆细胞选择权去维持旧的值和更新新的值。偷窥孔连接其实就是三个门值不仅取决于a <t-1> ,x <t> ,还取决于c <t-1> . GRU简单点，适合创建大型结构，计算性能快。LSTM更灵活，大多数人还是会选择LSTM。 来源：博客园 作者： 喜琅琅 链接：https://www.cnblogs.com/biwangwang/p/11432803.html

前人栽树，后人乘凉，既然前人已经完成了的工作，我觉得没必要做重复的工作，“拿来主义”对于我个人的入门和学习是必要的。在此谢谢他们。内容来自： https://cloud.tencent.com/developer/article/1326787，如果有侵权，联系我删除。 梯度下降算法 先上个公式，镇一下： Θ 1 = Θ 0 α J ( Θ ) \Theta^{1}=\Theta^{0}-\alpha \nabla J(\Theta) Θ 1 = Θ 0 α J ( Θ ) 其中 J ( Θ ) \nabla J(\Theta) J ( Θ ) 就是梯度， \nabla 称为梯度算子。此公式的意义是：J是关于Θ的一个函数，我们当前所处的位置为 Θ 0 \Theta^{0} Θ 0 点，要从这个点走到J的最小值点，也就是山底。首先我们先确定前进的方向，也就是梯度的反向，然后走一段距离的步长，也就是α，走完这个段步长，就到达了 Θ 1 \Theta^{1} Θ 1 这个点！下面就这个公式的几个常见的疑问： α是什么含义？ α在梯度下降算法中被称作为学习率或者步长，意味着我们可以通过α来控制每一步走的距离，以保证不要步子跨的太大扯着蛋，哈哈，其实就是不要走太快，错过了最低点。同时也要保证不要走的太慢，导致太阳下山了，还没有走到山下。所以α的选择在梯度下降法中往往是很重要的

Regression 1、首先，什么是regression（回归） 2、然后，实现回归的步骤（机器学习的步骤） 　　step1、model（确定一个模型）――线性模型 　　step2、goodness of function（确定评价函数）――损失函数 　　step3、best function（找出最好的一个函数）――梯度下降法 3、进一步，如何做得更好（优化step1） 　　方法1、select another model（选择另一个模型） 　　方法2、consider the hidden factors（考虑其他隐藏因素） 4、再进一步，防止过拟合（优化step2） 　　方法：正则化 5、最后，总结 1、首先，什么是regression（回归） 　　 Regression 就是找到一个函数 function，通过输入特征 x ，输出一个数值 Scalar 。 股市预测（Stock market forecast） 　　　　输入：过去10年股票的变动、新闻咨询、公司并购咨询等 　　　　输出：预测股市明天的平均值 自动驾驶（Self-driving Car） 　　　　输入：无人车上的各个sensor的数据，例如路况、测出的车距等 　　　　输出：方向盘的角度 商品推荐（Recommendation） 　　　　输入：商品A的特性，商品B的特性 　　　　输出：购买商品B的可能性 2

现代的机器学习系统均利用大量的数据，利用梯度下降算法或者相关的变体进行训练。传统上，最早出现的优化算法是SGD，之后又陆续出现了AdaGrad、RMSprop、ADAM等变体，那么这些算法之间又有哪些区别和联系呢？本文试图对比的介绍目前常用的基于一阶梯度的优化算法，并给出它们的(PyTorch)实现。 SGD 随机梯度下降法(Stochastic Gradient Descent，SGD)是对传统的梯度下降算法(Gradient Descent,GD)进行的一种改进。在应用GD时，我们需要对整个训练集进行一次反向传播计算梯度后再进行参数更新，对系统的计算能力和内存的需求较高，而SGD在计算梯度更新参数时刚好相反，每次只使用整个训练集中的一个样本，因此具有更快地计算速度和较少的内存占用。同时，因为每次只使用一个样本更新参数，使得参数更新更加频繁，更新的参数间具有更高的方差，损失函数会朝不同的方向有较大的波动，这有助于发现新的极值点，避免优化器陷入一个局部极值点。但是也由于这种频繁的震荡，出现了一种折中的方法，即小批量(mini-batch)梯度下降法，每次只取训练集中一个batch的样本进行梯度的计算与参数更新，一般batch的大小为4的倍数。原始SGD的更新法则如下： θ = θ η θ J ( θ ) (1) 传统的SGD在训练的过程中主要存在以下几个问题：

https://blog.csdn.net/u013713117/article/details/56281715 下面的代码是双向lstm+crf计算损失的部分，但是思路是通用的。 with tf.variable_scope('crf'): self.log_likelihood, self.transition_params = crf.crf_log_likelihood(inputs=self.logits,tag_indices=self.targets,sequence_lengths=self.sequence_length) with tf.name_scope('loss'): #因为我们希望self.log_likelihood最大，所以相当于求-self.log_likelihood的最小值 self.log_loss = tf.reduce_mean(-self.log_likelihood) #正则 self.l2_loss = tf.contrib.layers.apply_regularization( regularizer=tf.contrib.layers.l2_regularizer(0.0001), weights_list=tf.trainable_variables()) self.loss = self.log_loss+self