压缩感知

压缩感知仿真验证 一维信号重建实验 clear; close all; choice_transform=1; choice_Phi=0; n = 512; t = [0: n-1]; f = cos(2*pi/256*t) + sin(2*pi/128*t); % n = length(f); a = 0.2; m = double(int32(a*n)); switch choice_transform case 1 ft = dct(f); disp('ft = dct(f)') case 0 ft = fft(f); disp('ft = fft(f)') end disp(['ÐźÅÏ¡Êè¶È£º',num2str(length(find((abs(ft))>0.1)))]) figure('name', 'A Tone Time and Frequency Plot'); subplot(2, 1, 1); plot(f); xlabel('Time (s)'); % ylabel('f(t)'); subplot(2, 1, 2); switch choice_transform case 1 plot(ft) disp('plot(ft)') case 0 plot(abs(ft)); disp('plot(abs(ft))') end xlabel(

奈奎斯特采样定理NOTE： 定理：为了不失真地恢复模拟信号，离散信号系统的采样频率不小于模拟信号频谱中最高频率的2倍。 在时域上，频带为F的连续信号f(t)可用一系列离散的采样值f(t1),f(t1+Δt),f(t1+2Δt)…来表示，只要这些采样点的时间间隔Δt<=1/2F，便可根据各采样值完全恢复原始信号。 在频域上，当时间信号函数f(t)的最高频率分量为fmax时，f(t)的值可由一系列采样间隔小于或等于1/2fmax的采样值来确定，即采样点的重复频率为fs>=2fmax。 采样定理指出，只要离散系统的奈奎斯特频率高于采样信号的最高频率或带宽，就可以避免混叠现象。从理论上说，即使奈奎斯特频率恰好大于信号带宽，也足以通过信号的采样重建原信号。但是，重建信号的过程需要以一个低通滤波器或者带通滤波器将在奈奎斯特频率之上的高频分量全部滤除，同时还要保证原信号中频率在奈奎斯特频率以下的分量不发生畸变，而这是不可能实现的。在实际应用中，为了保证抗混叠滤波器的性能，接近奈奎斯特频率的分量在采样和信号重建的过程中可能会发生畸变。因此信号带宽通常会略小于奈奎斯特频率，具体的情况要看所使用的滤波器的性能。需要注意的是，奈奎斯特频率必须严格大于信号包含的最高频率。如果信号中包含的最高频率恰好为奈奎斯特频率，那么在这个频率分量上的采样会因为相位模糊而有无穷多种该频率的正弦波对应于离散采样

本文依据压缩感知群中Ammy讲解整理所得 最初的压缩感知是由Candès、Donoho他们提出来的问题。最初压缩感知那几篇文章里的模型 : y = Φ ∗ x ( 模 型 一 ) 都是从纯数学角度来考虑的，问题也是针对稀疏信号x研究的。研究的是：什么样的 Φ ，以怎样的方式，能够从 y 中恢复 x 。 在后续的研究过程中发现很多信号x压根不稀疏，自然也就不满足模型一的要求了。经过研究发现，虽然信号x不稀疏但是可以通过某种正交变换使信号变的稀疏。这也就产生了第二种稀疏模型： y = Φ ∗ Ψ T ∗ x ( 模 型 二 ) θ = Ψ T ∗ x :现将信号 x 进行某种正交变换，得到稀疏信号 θ 。其中 θ 是稀疏的， Ψ T 是 Ψ 的转置，也就是 Ψ 的逆 Ψ ′ 。 y = Φ ∗ θ ：通过变换后的信号 θ 满足了模型一的条件。 y = Φ ∗ Ψ T ∗ x ：将 θ 代入到模型一也就得到了模型二了。 这种稀疏变换的模型，叫做 a n a l y s i s m o d e l ，将 x 利用 Ψ T 分解成 θ 。例如，小波分解；例如，傅里叶分解。 随着稀疏表示模型的发展，人们发现不仅仅能够通过变换得到稀疏的信号还可以通过一个字典得到稀疏信号 x = D ∗ θ （ θ 是稀疏的，而 D 非正交）。Candès在09年的一篇文章中给出了压缩感知在过完备字典下的表示：

问题： 压缩感知中算法会通过L0，L1范数建立的数学模型得到一个稀疏解，那么为什么L0，L1范数会导致一个稀疏解呢？ 分析与解释： 1、范数 常见的有 L 0范数、 L 1范数、 L 2范数，经常要将 L 0范数等价为 L 1范数去求解，因为 L 1范数求解是一个凸优化问题，而 L 0范数求解是一个NP难问题。 （关于NP问题：参考阅读 http://www.cnblogs.com/AndyJee/p/5048556.html ） L 0范数指的是x中非零元素的个数，即x的稀疏度，如果x是K稀疏的，则 L 0范数等于K； L 1范数指的是x中所有元素模值的和； L 2范数指的是x中所有元素模值平方的和再开方，它代表着距离的概念； 还有无穷范数，指的是x中元素模的最大值。 2、稀疏性 在压缩感知里经常提到 "K稀疏" 的概念，这个是很容易理解的：也就是对于长度为N的向量（实际上是指一个N维离散离值信号）来说，它的N个元素值只有K个是非零的，其中K<<N，这时我们称这个向量是K稀疏的或者说是严格K稀疏的；实际中要做到严格K稀疏不容易，一般来说，只要除了这K个值其它的值很小很小，我们就认为向量是稀疏的，这时区别于严格K稀疏且就叫它K稀疏吧。 为什么要谈稀疏这个问题呢？因为如果信号是稀疏的，则它是可压缩的，也就是说里面那么多零，我只记录那些非零值及它的位置就好了。 当然

题目：压缩感知的常见稀疏基名称及离散傅里叶变换基 一、首先看九篇文献中有关稀疏基的描述： [1]喻玲娟，谢晓春.压缩感知介绍[J]. 电视技术，2008，32(12)：16-18. 常用的稀疏基有： 正(余)弦基 、 小波基 、 chirplet基 以及 curvelet基 等 [2]李树涛，魏丹.压缩传感综述[J]. 自动化学报，2009，35(11)：1369-1377. 信号的稀疏表示就是将信号投影到正交变换基时，绝大部分变换系数的绝对值很小，所得到的变换向量是稀疏或者近似稀疏的，可以将其看作原始信号的一种简洁表达，这是压缩传感的先验条件，即信号必须在某种变换下可以稀疏表示，通常变换基可以根据信号本身的特点灵活选取，常用的有 离散余弦变换基 、 快速傅里叶变换基 、 离散小波变换基 、 Curvelet基 、 Gabor基 以及 冗余字典 等。 [3]杨海蓉，张成，丁大为，韦穗. 压缩传感理论与重构算法[J]. 电子学报，2011，39(1)：142-148. CS理论的三个组成要素是信号的稀疏变换（目前的稀疏变换有 离散余弦变换(DCT) 、 小波(wavelet) 、 curvelet 、 过完备原子分解 (overcomplete atomdecomposition)等） [4]王强，李佳，沈毅.压缩感知中确定性测量矩阵构造算法综述[J]. 电子学报，2013，41

第三节课的内容。这节课上课到半截困了睡着了，看着大家都很积极请教认真听讲，感觉很惭愧。周末不能熬太晚。这个博客就记录一下醒着时候听到的内容。 Motivation 目前的时代需要处理的数据量维度可能很高，比如1024*960分辨率的图片转化成向量维度就是100万左右。对于当代搜索引擎需要处理的数据更是如此，大数据时代已经来临。 而我们直到，对于普通的对比信息检索，时间复杂度为$O(n)$，当然，如果加上维度$D$，数据检索复杂度变成了$O(Dn)$，要知道这里的D很大，属于高纬度数据，甚至远大于数据的个数$n$，是一定不可以忽略的。 有没有一种方法，能对数据降维，使得D变小？这样可以大大降低数据检索的复杂度。但是，对数据降维不能随机降，需要保矩，也就是对各个向量的相对关系需要进行保持，如下图： 我们希望原来维度上两个向量差多少，降维之后他们每一对向量之间的距离没有变化太多。 The Johnson-Lindenstrauss Lemma 下面介绍一条定理，简称为Lemma定理。它是当代搜索引擎对高维数据Hashing的核心。首先，我们要知道对于高维如果要完全用低纬度保存所有的信息是不可能的，因此会有一定的错误率，但是我们在统计角度上可以证明当数量大的时候这个错误率趋于０即可。 Johnson-Lindenstrauss Lemma ：假定向量$v_1,v_2,…,v_n in

题目：压缩感知中的数学知识：投影矩阵（projection matrix） ========================背景======================== 关注于投影矩阵主要是看以下两个文献注意到的： 【1】杨海蓉，张成，丁大为，韦穗. 压缩传感理论与重构算法[J]. 电子学报，2011，39(1)：142-148. 【2】Rachel Zhang. “压缩感知”之“Helloworld”[EB/OL] .http://blog.csdn.net/abcjennifer/article/details/7775284 . 文献1写的还是很不错的，综述了很多压缩感知重构算法，且都是以表格的形式给出，总结的很好，以后写论文也要向这个方向挺近，但是这篇论文需要有一定基础的人才能才明白，因为我感觉总是突然冒出一个符号来（比如第1步的Λ0代表什么没说，Λ0等于的那个符号后来才知道是空矩阵的意思，当然这并不影响这篇论文的价值，推荐！），当然这可能是由于我的数学功底太差。下面是OMP重构算法： 要完全看懂文献1需要反复去读，要随着对压缩感知的理解越来越深反复去看，慢慢地才能消化的，看论文时也没懂什么，只是感觉写的不错，后来看文献2时发现代码里的重构算法是OMP，为了读懂代码于是又回来看文献1，前面三步都能明白，但第四步无论如何也理解不了：“张成空间”？正交投影？呃