矩阵微分

$vec(\cdot)$ 表示矩阵化为列向量， $rvec(\cdot)$ 表示矩阵化为行向量， $vec(\cdot)$ 称为向量化算子， $vec(\cdot)$ 又分为按行展开和按列展开，没有特殊说明的向量都为列向量。 $unvec(\cdot)$ 表示列向量化为矩阵， $unrvec(\cdot)$ 表示行向量化为矩阵

设矩阵 $A=(a_{ij})\in R_{m\times n}$ ，把矩阵 $A$ 的元素按行的顺序排列成一个列向量：
$vecA=(a_{11},a_{12},\cdots,a_{1n},a_{21},a_{22},\cdots,a_{2n},\cdots,a_{m1},a_{m2},\cdots,a_{mn})^T$ ，则称向量 $vecA$ 为矩阵 $A$ 按行展开的列向量。

设矩阵 $A=(a_{ij})\in R_{m\times n}$ ，把矩阵 $A$ 的元素按列的顺序排列成一个列向量：
$vecA=(a_{11},a_{21},\cdots,a_{n1},a_{12},a_{22},\cdots,a_{n2},\cdots,a_{1n},a_{2n},\cdots,a_{mn})^T$ ，则称向量 $vecA$ 为矩阵 $A$ 按列展开的列向量。

向量对向量求偏导，才涉及到分子、分母布局。
分子布局（称为 $Jacobian$ 形式）。比如 $y_{m\times 1}$ 和 $x_{n\times 1}$ ，则 $Jacobian$ 形式为 $\frac {\partial y}{\partial x^T}$ 即按照 $y$ 和 $x^T$ 的维数相乘为 $m \times 1 \times 1 \times n = m\times n$ ，因为分子没有变化（转置），所以称为分子布局（个人记法）。
分母布局（称为 $Hessian$ 形式）。比如 $y_{m\times 1}$ 和 $x_{n\times 1}$ ，则 $Hessian$ 形式为 $\frac {\partial y^T}{\partial x}$ 即按照 $x$ 和 $y^T$ 的维数相乘为 $n \times 1 \times 1 \times m = n\times m$ ，因为分母没有变化（转置），所以称为分母布局（个人记法）。有的也称该布局为梯度，区别于 $Jacobian$ 形式。

协梯度矩阵

$\frac {\partial Scalar}{\partial Vector / Matrix}$

$1 \times m \;行向量的偏导算子$	$D_x \overset {def}{=}\frac {\partial}{\partial x^T}\overset {\Delta }{=}\left [ \frac{\partial }{\partial x_1} , \cdots , \frac {\partial}{\partial x_m} \right ]$
$标量函数f(x)的行向量偏导$	$D_x f(x)=\frac{\partial f(x)}{\partial x^T}=\left [ \frac {\partial f(x)}{\partial x_1},\cdots,\frac{\partial f(x)}{\partial x_m} \right ]$
$矩阵形式定义实值标量函数f(X)的行向量偏导$	$D_{vec^T(X)}f(X)=\frac{\partial f(X)}{\partial vec^T(X)} \\ =\left [ \frac {\partial f(X)}{\partial X_{11}}, \cdots ,\frac {\partial f(X)}{\partial X_{m1}}, \cdots,\frac {\partial f(X)}{\partial X_{1n}}, \cdots , \frac {\partial f(X)}{\partial X_{mn}} \right ]$
$矩阵形式定义实值标量函数f(X)在X处的偏导$	$D_Xf(X)=\left [ \begin{matrix}\frac{\partial f(X)}{\partial X_{11}} & \cdots &\frac{\partial f(X)}{\partial X_{m1}}\\ \vdots & \ddots & \vdots \\ \frac{\partial f(X)}{\partial X_{1n}} & \cdots &\frac{\partial f(X)}{\partial X_{mn}}\\ \end{matrix} \right ] \in R^{n\times m}$ $D_Xf(X)=\frac {\partial f(X)}{\partial X^T}=\left [ \frac{\partial f(X)}{\partial X_{ji}}\right ] _{j=1,i=1}^{m,n}$
$备注$	$vec^T(X)=\left [ vec(X) \right ]^T$ $D_{vec^T(X)}f(X)和D_Xf(X)分别为矩阵形式定义实值标量函数f(X)$ $在X的行向量偏导和Jacobian矩阵$

梯度矩阵

$\frac {\partial Scalar}{\partial Vector / Matrix}$

$m \times 1 \;列向量偏导算子$ $习惯称之为梯度算子$	$\nabla_x \overset {def}{=}\frac {\partial }{\partial x}= \left [ \frac {\partial }{\partial x_1}, \cdots , \frac {\partial }{\partial x_m} \right ] ^T$
$标量函数f(x)的列向量偏导$ $习惯称之为标量函数f(x)的梯度矩阵$	$\nabla_xf(x) \overset {def}{=} \frac {\partial f(x)}{\partial x}=\left [ \frac {\partial f(x)}{\partial x_1}, \cdots , \frac {\partial f(x)}{\partial x_m} \right ]^T$

标签

矩阵

矩阵转置

目录

协梯度矩阵

梯度矩阵