最优化理论与方法学习笔记

最优化理论与方法学习笔记

一、引论

1、范数

 

 

Frobenius范数：

 

加权Frobenius范数和加权l₂范数（其中M是n x n的对称正定矩阵）：

 

 椭圆向量范数：

 

特别，我们有

 

 

关于范数的几个重要不等式是： 

 

 

 

 

 

 

 

二、一维搜索

 

三、牛顿法

1、最速下降法（梯度下降法，简称梯度法）—— P118

 

 

 

 

收敛性：线性收敛

 

2、两点步长梯度法 —— P127

或

 

 

 

 其中，

 

收敛性：R-超线性收敛

 

来源：https://www.cnblogs.com/lucifer1997/p/11525084.html