k-svd

　　Learning A Discriminative Dictionary for Sparse Coding via Label Consistent K-SVD 学习一种为稀疏编码的判决字典的标签一致性k-svd算方法。除了使用训练数据的类标签外，还将标签信息和每一个字典项相关联，以在字典学习过程中增强稀疏编码的可辨别能力。具体来说，引入了一个新的标签一致约束（判别稀疏编码误差），并将其与重构误差和分类误差相结合，形成一个统一的目标函数。该算法联合学习一个过完备字典和一个最优线性分类器。具有相同标签的特征点具有类似的稀疏编码。 1.引言 来源： https://www.cnblogs.com/shuangcao/p/11680163.html

1. 算法简介 K-SVD可以看做K-means的一种泛化形式，K-means算法总每个信号量只能用一个原子来近似表示，而K-SVD中每个信号是用多个原子的线性组合来表示的。 K-SVD通过构建字典来对数据进行稀疏表示，经常用于图像压缩、编码、分类等应用。 2. 主要问题 Y = DX Where Y∈R(n*N), D∈R(n*K), X∈R(k*N), X is a sparse matrix. N is number of samples; n is dimension of feature /dimension of every word in dictionary; K is the length of a coefficient/the number of atoms in the trained dictionary.. Y为要表示的信号，D为超完备矩阵（列数大于行数）， X为系数矩阵，X与Y按列对应，表示D中元素按照Xi为系数线性组合为Y， 我们的目的是找到让X尽量稀疏的D 上面的式子本质上是相通的，只是表述形式不一样罢了。 寻找最优解(X最稀疏)是NP-Hard问题。 用追逐算法(Pursuit Algorithm)得到的次优解代替。 MatchingPursuit (MP) OrthogonalMatching Pursuit (OMP)

稀疏表示 ：用较少的基本信号的线性组合来表达大部分或者全部的原始信号。 假设我们用一个m*n的矩阵表示数据集Y，每一行代表一个样本，每一列代表样本的一个属性，一般而言，该矩阵大多数元素不为0。 稀疏表示的含义是，寻找一个系数矩阵X以及一个字典矩阵D ， 使得D*X尽可能的还原Y，且X尽可能的稀疏。X就是Y的稀疏表示。公式如下： Y为训练样本，D为字典，X为稀疏系数。 寻找最优解 (X 最稀疏 ) 是 NP-Hard 问题。 用追逐算法 (Pursuit Algorithm) 得到的次优解代替。 K-SVD算法 ：广义的K-means算法。 关于k-means算法可以参考该博客 https://blog.csdn.net/cc198877/article/details/9167989 K-SVD是一个迭代过程。 1、假设字典D是固定的，使用追踪算法寻找最佳的系数矩阵X。 2、依次更新字典D的每一列，同时更新对应的系数。 3、循环1、2。 公式推导： K-SVD的目标函数为 （3） 假设D是固定的，Y有N个样本，则 （4） 此时公式（3）如下 （5） 假设字典D和系数矩阵X是固定的，更新D中的k列（ ）和它对应的系数矩阵X中的k行（ ）。公式（4）可以表示如下。 （6） E K 为字典的第k列的残差，即没有d k项 时表示的误差，也就是字典的第k列在表示Y的过程中究竟起到了多大的作用

  本文主要介绍基于DCTDCT 过完备字典和 K-SVD 的图像稀疏去噪方法。在实现这个功能之前需要了解下面的一些知识：   1. 《离散余弦变换（DCT）的来龙去脉》   2. 《构建DCT过完备字典》   3. 《稀疏表示》   4. 《K-SVD的原理及实现方法》 1. 稀疏去噪的原理   基于稀疏分解的图像去噪按照是否是图像中的稀疏成分把图像中的信息和噪声分开。一个原子是有特殊结构的，图像中有一定结构的成分构成有用信息，是能够用原子来表示的。但图像中的噪声是没有结构的，所以不能用原子来表示。这样就可以将图像和噪声区别开来，已达到去噪的目的。   基于稀疏分解的图像去噪方法是先从含有噪声的图像中提取稀疏成分，然后利用提取出的图像稀疏成分重建图像，则重建的图像即为去噪后的图像。 2. 图像稀疏去噪算法描述 选择字典作为过完备字典 ，参考 《构建DCT过完备字典》 构建一个64×256的字典。 将含噪图像矩阵以 8 × 8 为一块，依次按列和行的方式，并将每一个子图象转换为一个 64× 1 的列向量。生成新的矩阵Blocks，Blocks中位于同一列的元素都减去该列所在的均值（按列归一化，字典初始化的过程也是按列归一化的）。 使用噪声图像，利用 K-SVD 的方法训练字典 再将噪声图像在训练好的字典上分解，重构原始信号，加上去掉的均值完成去噪。 来源： CSDN 作者：