凸函数

第九章: 镜像下降法 文章目录 第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法 本章讨论 镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 PSGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法 考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv) 问题

第九章: 镜像下降法 文章目录 第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法 本章讨论 镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 PSGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法 考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv) 问题

第九章: 镜像下降法 文章目录 第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法 本章讨论 镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 PSGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法 考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv) 问题

第九章: 镜像下降法 文章目录 第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法 本章讨论 镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 PSGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法 考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv) 问题

第九章: 镜像下降法 文章目录 第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法 本章讨论 镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 PSGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法 考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv) 问题

第九章: 镜像下降法 文章目录 第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法 本章讨论 镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 PSGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法 考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv) 问题

泰勒公式 带佩亚诺余项的泰勒公式 微分的意义是用线性函数去逼近一个复杂的函数。实际上，我们还可以引入更高次的多项式取逼近一个复杂的函数，这就是Taylor公式表达的观点。 定理5.1 f ( x ) f(x) f ( x ) 在 x 0 x_0 x 0 ​ 的某个邻域上有直到 n − 1 n-1 n − 1 阶导数，并且在 x 0 x_0 x 0 ​ 具有 n n n 阶导数，则 f ( x ) = ∑ k = 0 n f ( k ) ( x 0 ) k ! ( x − x 0 ) k + o ( ( x − x 0 ) n ) f(x) = \sum_{k=0}^{n}\frac{f^{(k)}(x_0)}{k!} {(x-x_0)^k} +o((x-x_0)^n) f ( x ) = k = 0 ∑ n ​ k ! f ( k ) ( x 0 ​ ) ​ ( x − x 0 ​ ) k + o ( ( x − x 0 ​ ) n ) 证： 首先， n = 1 n=1 n = 1 时结论显然成立。 假设，如果函数 f ( x ) f(x) f ( x ) 在 x 0 x_0 x 0 ​ 处有直到 m m m 阶导数，有 f ( x ) = ∑ k = 0 m f ( k ) ( x 0 ) k ! ( x − x 0 ) k + o ( ( x − x 0 ) m ) f(x)

第九章: 镜像下降法 文章目录 第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法 本章讨论 镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 PSGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法 考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv) 问题

第九章: 镜像下降法 文章目录 第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法 本章讨论 镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 PSGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法 考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv) 问题

第九章: 镜像下降法 文章目录 第九章: 镜像下降法 1. 从投影次梯度法到镜像下降法 2. 收敛性分析 2.1 分析工具 2.2 固定迭代数目的步长选取准则 2.3 变步长准则 3. 求解组合模型的镜像下降法——镜像-C算法 本章讨论 镜像下降法 (mirror descent method, MDM)及其变体. 镜像下降实际上是 PSGM在非欧情形下的推广 . 因此本章的讨论不再限制在欧式空间中. 1. 从投影次梯度法到镜像下降法 考虑优化问题 ( P ) min ⁡ { f ( x ) : x ∈ C } . (\mathrm{P})\quad\min\{f(\mathbf{x}):\mathbf{x}\in C\}. ( P ) min { f ( x ) : x ∈ C } . 我们对其做如下假设: 假设条件1 (i) f : E → ( − ∞ , ∞ ] f:\mathbb{E}\to(-\infty,\infty] f : E → ( − ∞ , ∞ ] 是正常闭凸函数; (ii) C ⊂ E C\subset\mathbb{E} C ⊂ E 是非空闭凸集; (iii) C ⊂ i n t ( d o m ( f ) ) C\subset\mathrm{int}(\mathrm{dom}(f)) C ⊂ i n t ( d o m ( f ) ) ; (iv) 问题