一阶导数

函数极限 设函数 \(f(x)\) 在点 \(x_0\) 的某一去心邻域内有定义，如果存在常数 \(A\) ，对于任意给定的正数 \(\varepsilon\) （无论它多么小），总存在正数 \(\delta\) ，使得对于 \(0<|x-x_0|<\delta\) ，均有 \(f(x)-A<\varepsilon\) ，那么常数 \(A\) 就叫做函数 \(f(x)\) 当时 \(x\rightarrow x_0\) 的极限，记作 \[ \lim\limits_{x\rightarrow x_0} f(x)=A \] 夹逼定理 ：求函数的极限时，我们可以通过上界和下界两个函数去夹某个函数 \(f(x)\) ；如 \[ \sin(x)<x<\tan(x)\\ \Rightarrow \frac{\sin(x)}{x}<\frac{\sin(x)}{\sin(x)}=1,\frac{\sin(x)}{x}>\frac{\sin(x)}{\tan(x)} =\cos(x)\\ \Rightarrow \lim\limits_{x\to 0} \frac{\sin(x)}{x}=1 \] 导数与斜率 斜率 ：对于一次函数 \(y=kx+b\) ， \(k\) 即为斜率； 导数 ： \(f’(x)=\lim\limits_{\Delta x\to 0} \frac{f(x+\Delta x

导言 最优化问题在机器学习中有非常重要的地位，很多机器学习算法最后都归结为求解最优化问题。在各种最优化算法中，梯度下降法是最简单、最常见的一种，在深度学习的训练中被广为使用。在本文中， SIGAI 将为大家系统的讲述梯度下降法的原理和实现细节问题。 最优化问题是求解函数极值的问题，包括极大值和极小值。相信所有的读者对这个问题都不陌生，在初中时我们就学会了求解二次函数的极值（抛物线的顶点），高中时学习了幂函数，指数函数，对数函数，三角函数，反三角函数等各种类型的函数，求函数极值的题更是频频出现。这些方法都采用了各种各样的技巧，没有一个统一的方案。 真正的飞跃发生在大学时，微积分为我们求函数的极值提供了一个统一的思路：找函数的导数等于0的点，因为在极值点处，导数必定为0。这样，只要函数的可导的，我们就可以用这个万能的方法解决问题，幸运的是，在实际应用中我们遇到的函数基本上都是可导的。 在机器学习之类的实际应用中，我们一般将最优化问题统一表述为求解函数的极小值问题，即： 其中x称为优化变量，f称为目标函数。极大值问题可以转换成极小值问题来求解，只需要将目标函数加上负号即可： 有些时候会对优化变量x有约束，包括等式约束和不等式约束，它们定义了优化变量的可行域，即满足约束条件的点构成的集合。在这里我们先不考虑带约束条件的问题。 一个优化问题的全局极小值是指对于可行域里所有的x，有：