介绍牛顿法和拟牛顿法

数值分析

牛顿法

牛顿法是解方程 $f(x)=0$ 的一种方法，取根附近的一点 $x_0$ 做为初值，反复迭代得到最终近似解。迭代方法如下：
首先将 $f(x)$ 泰勒展开
$f(x)\approx f(x_0)+f^{'}(x_0)(x-x_0)$
于是方程可以近似表示为
$x \approx x_0-\frac{f(x_0)}{f^{'}(x_0)}$
将此f(x)比f(x_0)更接近0（严格上需要数学证明收敛性，这里略）
得到递推公式：
$x_{k+1} =x_k-\frac{f(x_k)}{f^{'}(x_k)}$
下面用一个例子加深理解：
解方程： $xe^x-1=0$
迭代公式为：
$x_{k+1} =x_k-\frac{x_ke^{x_k}-1}{x_ke^{x_k}+e^{x_k}}$
将 $x_0=0.5代入计算得到每次结果：$ 在这里插入图片描述同样对于多变量 $f(x_1,x_2,....x_n)$ 也有自己的泰勒公式，具体推导过程略复杂，笔者在这里不给出，有兴趣的可以参考从一阶泰勒公式到高维泰勒公式。高维泰勒展开公式为：
$f(X)\approx f(X_0)+(X-X_0)\nabla f(X_0)+\frac{1}{2}(X-X_0)H(f(x_0))(X-X_0)^T$
其中 $\nabla f(X_0)$ 是 $f$ 在 $X_0$ 处梯度=（ $\frac{\partial f(x_1,x_2,....x_n)}{x_1},\frac{\partial f(x_1,x_2,....x_n)}{x_2},......\frac{\partial f(x_1,x_2,....x_n)}{x_n}$ ）
H(X)是著名的黑塞矩阵
在这里插入图片描述
只是高维牛顿法目标求 $f(X)$ 的极值点，而不是找到 $f(X)=0$ 的点。 两边同时对 $X$ 求导（作用一个 $\nabla$ ）。
$\nabla f(X)=\nabla f(X_0)+(X-X_0)H(f(X_0))$
令左边等于0，得到牛顿法高阶表达式：
$X_{k+1}=X_k-H^{-1}(f(X_0))*\nabla f(X_0)$