浅谈压缩感知(十):范数与稀疏性

≡放荡痞女 提交于 2020-01-13 22:05:45

问题:

压缩感知中算法会通过L0,L1范数建立的数学模型得到一个稀疏解,那么为什么L0,L1范数会导致一个稀疏解呢?

分析与解释:

1、范数

常见的有L0范数、L1范数、L2范数,经常要将L0范数等价为L1范数去求解,因为L1范数求解是一个凸优化问题,而L0范数求解是一个NP难问题。

(关于NP问题:参考阅读http://www.cnblogs.com/AndyJee/p/5048556.html

L0范数指的是x中非零元素的个数,即x的稀疏度,如果x是K稀疏的,则L0范数等于K;

L1范数指的是x中所有元素模值的和;

L2范数指的是x中所有元素模值平方的和再开方,它代表着距离的概念;

还有无穷范数,指的是x中元素模的最大值。

2、稀疏性

在压缩感知里经常提到 "K稀疏" 的概念,这个是很容易理解的:也就是对于长度为N的向量(实际上是指一个N维离散离值信号)来说,它的N个元素值只有K个是非零的,其中K<<N,这时我们称这个向量是K稀疏的或者说是严格K稀疏的;实际中要做到严格K稀疏不容易,一般来说,只要除了这K个值其它的值很小很小,我们就认为向量是稀疏的,这时区别于严格K稀疏且就叫它K稀疏吧。

为什么要谈稀疏这个问题呢?因为如果信号是稀疏的,则它是可压缩的,也就是说里面那么多零,我只记录那些非零值及它的位置就好了。

当然,现实中的信号本身一般并不是稀疏的,但经过一个变换后,在一组基上面是稀疏的,这就是信号的稀疏表示。

稀疏性是压缩感知的前提。

3、范数与稀疏性

压缩感知的数学模型表示:

数学模型求解的几何表示:

AX=b:表示空间中的一条直线;

||X||p:表示空间中的Lp球;

当0<p<1时,Lp球是内凸的,当球的半径逐渐增加时与直线的交点将位于坐标轴上,而坐标轴上的点是稀疏的(除了该所在坐标轴的坐标值不为0外,其他均为0)

当p=1时,Lp球是菱状,在一定条件下会导致一个稀疏解,即相交于坐标轴上;(这也许是压缩感知中L0模型在一定条件下等价于L1模型的形象解释吧)

当p>1时,Lp球是外凸的,当逐渐膨胀时与直线的切点一定不位于坐标轴上,即此时的解是不稀疏的。如图中的L2球。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!