梯度下降_机器学习-李宏毅

梯度下降

调整学习率learning rate

学习率过大，发生震荡。学习率过小，学习效率低
较好的方法是在较平坦的地方步子迈大些，陡峭的地方步子迈小些

自适应学习率

随着迭代次数的增加，通过因子来减小学习率
刚开始，初始点距离最低点远，使用大的学习率
迭代若干次数后靠近最低点，采用小的学习率

Adagrad算法

一般梯度下降： $$ L=\sum_n(\tilde{y}^n - (b+\sum w_ix_i^n))^2 \ w^{t+1}\gets w^t-\eta^tg^t\ \eta^t=\frac{\eta}{\sqrt{t+1}} $$ Adagrad： $$ w^{t+1}\gets w^t-\frac{\eta^t}{\sigma}g^t\ g^t=\frac{\partial L(\theta^t)}{\partial w}\ \eta^t = \frac{\eta}{\sqrt{t+1}}\ \sigma^t=\sqrt{\frac{1}{t=1}\sum^t_{i=0}(g^i)^2} $$ 化简： $$ w^{t+1}\gets w^t-\frac{\eta}{\sqrt{\sum^t_{i=0}(g^i)^2}}g^t\ $$

随机梯度下降 Stochastic Gradient Descent

常规梯度下降是将所有训练集数据处理后才开始更新参数
随机梯度下降是计算一个例子的损失函数 $L$ 后就开始更新梯度
更新既可以按顺序更新，也可以随机挑选数据更新

特征缩放

两个输入数据分布的范围不一样，差别较大，建议进行缩放处理，使得数据分布的范围一样
数据不进行处理，会导致特征间的影响程度差异大，对于同一个学习率，更新数据偏差大
实际上就是将数据分布由椭圆进行坐标变换，化为同心圆。
常规做法：$$x_i^r \gets \frac{x_i^r - \bar{x}}{\sigma _i}，\bar{x}是平均值，\sigma_i是标准差$$

泰勒展开式

如果$h(x)在x=x_0$ 点的某个领域内有无限阶导数，则有泰勒级数： $$ \begin{split} h(x)&=\sum^\infty_{k=0}\frac{h^k(x_0)}{k!}(x-x_0)^k\ &=h(x_0)+h'(x_0)(x-x_0)+\frac{h''(x_0)}{!}(x-x_0)^2+... \end{split} $$ 二元泰勒： $$ h(x,y)=h(x_0,y_0)+\frac{\partial h(x_0,y_0)}{\partial x}(x-x_0)+\frac{\partial h(x_0,y_0)}{\partial y}(y-y_0)+... $$