梯度提升与梯度下降
梯度提升与梯度下降 梯度是什么 梯度是谁的 梯度下降 梯度提升 总结 梯度是什么 “梯度提升”与“梯度下降”中的“梯度”是什么？梯度是损失函数对需要求解的模型参数的导数。梯度方向是参数导数中绝对值最大的方向，因此梯度方向有两个，一个是梯度最大方向，另一个是梯度最小方向。 梯度是谁的 “梯度”是目标函数在当前点的梯度（不是参数的梯度），因此有了目标函数、样本点，才会有梯度。 梯度下降 在参数空间中，梯度下降是指目标函数在当前点的取值下降（最小化目标函数），参数自身沿着负梯度的方向下降。因此梯度下降，是目标函数对最优参数的搜索，其变量是参数。 梯度下降通常用来求解这种无约束最优化问题，它是一种迭代方法：初选取参数初值（还包括算法终止距离参数和学习率参数），不断迭代，更新参数的值，进行损失函数的最小化。 为什么梯度的负方向是函数局部下降最快的方向？下面开始证明。 假设迭代公式为： θ t = θ t − 1 + Δ θ \theta_{t}=\theta_{t-1}+\Delta \theta θ t = θ t − 1 + Δ θ ，将 L ( θ t ) L\left(\theta_{t}\right) L ( θ t ) 在 θ t − 1 \theta_{t-1} θ t − 1 处进行泰勒展开： L ( θ t ) = L ( θ t − 1 + Δ θ ) ≈