svd

PCA降维 1.相关背景 我们在实际工作中经常需要分析不同组呈现来的成千上百个指标的数据，这些指标之间经常有一些相关性指标，比如厘米和英尺，这样的指标我们只要保留一个就可以，还有一些隐藏的高度相关的特征，以通过降维方法来进行数据预处理。 2. 数据降维 主成分分析（Principal Component Analysis，简称PCA）是一种常用的降维方法，属于无监督学习。所谓降维就是将数据指标从高维度减到低维度，因为低维度的数据有如下优点： 1) 更容易进行数据分析和数据可视化 2）更容易进行数据存储 3）降低算法的运行成本 3.PCA原理 样本点分布在正交属性空间中，我们如何找到一个超平面（直线的高维推广）对所有样本点最合适的表达？ 1.最近重构性：样本点到这个超平面的距离足够近（类似线性回归） 2.最大可分性：样本点到这个超平面的投影尽可能分开（方差最大化） 以上两种方式得到的主成分分析的推导是等价的，下面从”最大可分析“进行推导PCA的过程。 3.1 向量的表示及基变换 3.1.1 向量的內积 a ⃗ ⋅ b ⃗ = ∣ a ⃗ ∣ ∣ b ⃗ ∣ c o s α ( α 为 两 个 向 量 的 夹 角 ) \vec a\cdot\vec b = |\vec a||\vec b|cos\alpha(\alpha为两个向量的夹角) a ⋅ b = ∣ a ∣ ∣ b ∣ c o

文章目录 1.特征分解复习 2.SVD理论 SVD分解：特征分解的广义化 SVD分解的三种形式 SVD和特征分解的关系 SVD和子空间的关系 再看四个子空间★ SVD几何解释 3.矩阵其它重要知识 投影 行列式 伪逆 迹 4.实际应用 低秩矩阵近似 低秩矩阵近似应用——图像压缩 1.特征分解复习 2.SVD理论 SVD分解：特征分解的广义化 SVD分解的三种形式 SVD和特征分解的关系 SVD和子空间的关系 再看四个子空间★ SVD几何解释 3.矩阵其它重要知识 投影 行列式 伪逆 迹 4.实际应用 低秩矩阵近似 低秩矩阵近似应用——图像压缩 来源： CSDN 作者： LotusQ 链接： https://blog.csdn.net/qq_30057549/article/details/103648408

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Spark数据挖掘-基于 LSA 隐层语义分析理解APP描述信息(1) 1 前言 结构化数据处理比较直接，然而非结构化数据（比如：文本、语音）处理就比较具有挑战。对于文本现在比较成熟的技术是搜索引擎，它可以帮助人们从给定的词语中快速找到包含关键词的文本。但是，一些情况下人们希望找到某一个概念的文本，而不关心文本里面是否包含某个关键词。这种情况下应该如何是好？ 隐语义分析(Latent Semantic Analysis，简称：LSA)是一种寻找更好的理解语料库中词和文档之间关系的自然语言和信息检索的技术。它试图通过语料库提取一系列概念。每个概念对应一系列单词并且通常对应语料库中讨论的一个主题。先抛开数据而言，每一个概念由三个属性构成： 每个文档与概念之间的相关性 每个单词与概念之间的相关性 概念描述数据集变化程度（方差）的重要性得分 比如：LSA可能会发现某个概念和单词“股票”、“炒股”有很高的相关性并且和“互联网金融系列文章”有很高的相关性。通过选择最重要的概念，LSA可以去掉一些噪音数据。 在很多场合都可以使用这种简洁的表示，比如计算词与词、文档与文档、词与文档的相似性。通过LSA得到的关于概念的得分，可以对语料库有更加深入的理解，而不只是简单的计算单词或者共现词。这种相似性度量可以解决同义词查询

在介绍奇异值分解（SVD）之前我们先来回顾一下关于矩阵的一些基础知识。 矩阵基础知识 方阵 给定一个$ n×m $的矩阵$ A $，若n和m相等也就是矩阵的行和列相等那矩阵$ A $就是一个方阵。 单位矩阵 在线性代数中，n阶单位矩阵，是一个$ n×n $的方阵，其主对角线元素为1，其余元素为0。单位矩阵以$ mathbf { I } _ { n } $表示。 单位矩阵性质： $$ text { 1. } I _ { n } B _ { n times m } = B _ { n times m } $$ $$ text { 2. } B _ { n times m } I _ { m } = B _ { n times m } $$ $$ text { 3. } A _ { n } I _ { n } = I _ { n } A _ { n } = A _ { n } $$ $$ text { 4. } I _ { n } I _ { n } = I _ { n } $$ 转置 矩阵的转置是最简单的一种矩阵变换。简单来说若$ n×m $的矩阵$ A $的转置为$ A ^ { mathrm { T } } $，则$ A ^ { mathrm { T } } $是一个$ m×n $的矩阵并且有$ mathbf { A } _ { i j } = mathbf { A } _ { j