矩阵的秩

受《理解线性代数》启发，结合自身学习的经验，直观的总结我对线性代数的理解。强调直观是因为在这里不纠缠于数学的严谨性，所以如果追求数学严谨性和证明的还是去看教材比较好。 统计的目标是对数表内各种数据进行挖掘从而找出隐含其中的关系，线性代数为统计提供了对数表的表达方式和对数表进行处理的工具。 在初等数学中我们学过函数，用来表示的数据之间一种确定的关系，给定x一定能算出唯一的y。但现实中我们遇到的数据可就没有那么明确的联系了，我们不知道谁和谁有联系，甚至不知道是不是存在联系。因此我们急需一种框架来帮助我们处理这些”不好看”的数据。统计就是为了处理数据而生的，它的目标即挖掘出数据之间的联系，从而抽象出数学模型来做解释或预测。 先来扯句题外话，我们知道数学的本质是抽象。那究竟什么是抽象？抽象就是从不同个体中找相同，这些相同也就是规律和关系。初等数学中学到的函数关系就是一种规律，无论x到底是什么值，它和y之间都存在这样的规律。这也是为什么说数学模型都是错的，但却是有用的原因。抽象忽略了个体差异，只留相同点，利用相同点我们能处理满足此相同点的任何差异个体。 言归正传。回忆下中学解析几何或者大学微积分时我们是如何处理数据的: 我们会把函数f(x)映射到欧几里得空间内笛卡尔坐标系做visualization。在代数上对函数的操作等价于对欧几里得空间中相应函数图像做操作。函数是确定的关系

大家细细品味之前几回的内容就会发现, 其中的例子中真正起作用的是变量\(x_i\)前的系数, 而和符号\(x_i\)并没有太大的关系. 于是, 为了简(偷)化(懒), 矩阵应运而生. 对于线性方程组 \[ \left\{ \begin{split} &a_{11}x_1+a_{12}x_2+\cdots+a_{1n}x_n = b_1\\ &a_{21}x_1+a_{22}x_2+\cdots+a_{2n}x_n = b_2\\ &\qquad\qquad\qquad\cdots \\ &a_{m1}x_1+a_{m2}x_2+\cdots+a_{mn}x_n = b_m \end{split} \right.. \] 我们把它的系数按行列排成几排, 用花括号括起来, 记成 \[ A=\begin{pmatrix} a_{11}&a_{12}&\cdots&a_{1n}\\ a_{21}&a_{22}&\cdots&a_{2n}\\ \cdots&\cdots&\cdots&\cdots \\ a_{m1}&a_{m2}&\cdots&a_{mn} \end{pmatrix}. \] 把\(A\)叫做矩阵. 对于\(A\)交换某两行(列)称为第一类初等变换, 在某一行(列)乘以一个非零数称为第二类初等变换, 将某一行(列)乘以一个数加到另外一行(列)称为第三类初等变换.

LDA简介： LDA的全称是Linear Discriminant Analysis（线性判别分析），是一种supervised learning。因为是由Fisher在1936年提出的，所以也叫Fisher’s Linear Discriminant。 LDA通常作为数据预处理阶段的降维技术，其目标是将数据投影到低维空间来避免维度灾难（curse of dimensionality）引起的过拟合，同时还保留着良好的可分性。 LDA的引出： 经常经过特征提取以后，我们需要进行降维。首先我们简化一下问题便于阐述其原理: 假设在二维特征空间中，有两类样本，那么我们的目标就是对给定的数据集，将其投影到一条直线上，但是投影的方法有千千万万种，那么我们改选择什么样的投影呢？ 首先我们的任务是为了分类服务的，那么我们需要投影后的样本尽可能的分开，最简单的度量类别之间分开程度的方式就是类别均值投影之后的距离。 一种比较好的投影方式就是利用不同类别的数据的中心来代表这类样本在空间中的位置，考虑1个2分类问题。两类的均值向量为： 同时保证让投影之后的中心距离尽可能的大，也就是： 其中 是来自类别 的投影数据的均值， 是我们的投影向量。但是，通过增大w，这个表达式可以任意增大。为了解决这个问题，我们可以将w限制为单位长度，即 。 使用拉格朗日乘数法来进行有限制条件的最大化问题的求解，我们可以发现