线性方程

线性方程 y = w1x1 + w2x2 + … … + wnxn + b 令 W = (w1, w2 … … wn)， X = (x1, x2, … … xn) 则 y = W * X ^ T + b 称 W 为回归系数， X 为特征向量， b 为截距 线性方程的推导 现有 m 个已知样本， 每个样本有 n 个特征记为 X1, X2, … … , Xn 每个X中都有 n 个 x 对应的标签记为： y1, y2, … … , ym ，且特征和标签成线性关系 此时只要求得 W 就可得到线性回归方程 ​ 将m个已知量带入方程会得到方程组： ​ y1 = W * X1 ^ T + b = w1x1_1 + w2x1_2 + … … + wnx1_n + b ​ y2 = W * X2 ^ T + b = w1x2_1 + w2x2_2 + … … + wnx2_n + b ​ … … ​ ym = W * Xm ^ T + b = w1xm_1 + w2xm_2 + … … + wnxm_n + b ​ 讨论： m > n 且无共线， 方程无解 ​ m = n 且无共线， 有且只有一个解 ​ m < n 无数个解 ​ 在实际生产环境中 m >> n （样本数远远大于特征维度）， 所以上述方案行不通 最小二乘法 假设 W’ 和 b‘ 是最合适的， 得到假设出来的回归方程： W‘ * X ^

链接：https://www.zhihu.com/question/361526180/answer/962015370 微分方程中通解与特解的定义： y''+py'+qy=0，等式右边为零，为二阶常系数齐次线性方程； y''+py'+qy=f（x），等式右边为一个函数式，为二阶常系数非齐次线性方程。 可见，后一个方程可以看为前一个方程添加了一个约束条件。 对于第一个微分方程，目标为求出y的表达式。由此得到的解，称为【通解】，通解代表着这是解的集合。 因为M个变量，需要M个个约束条件才能全部解出。由此，在变量相同的条件下，多一个约束条件f（y），就可以多确定一个解，此解就称为【特解】。 求微分方程通解的方法： 方程 及其导数是一次方程. 如果 ，则方程（1）称为 齐次的 ；如果 ，则方程（1）称为 非齐次的 . 为了求出非齐次线性方程（1）的解，我们先把 换成零而写成方程 两端积分，得 这便是对应的齐次线性方程（2）的通解. 常数变易法 ：把（2）的通解中的 换成 的未知函数 ，作变换 将（3）和（4）代入方程（1），得 两端积分，得 将（5）式改写成两项之和 便得到这个特解）. 一阶非齐次线性方程的通解等于对应的齐次方程的通解与非齐次方程的一个特解之和. 求方程 的通解. 也即 换成 ，即令 代入所给非齐次方程，得 再把上式代入(6)式，即得所求方程的通解为 来源： https:

全连接层的数学表述可以参见 Maples丶丶的 《详解神经网络的前向传播和反向传播（从头推导）》 的“前向传播”一节。 为了容易理解，我还是从经典的 波士顿房价 谈起。波士顿房价的详细内容请参见 https://www.paddlepaddle.org.cn/documentation/docs/zh/beginners_guide/basics/fit_a_line/README.cn.html 简化一下，假设房价y与犯罪率x1、教育资源x2、建设时间x3、收入水平x4这四个因素线性相关： 则 y = a1*x1 + a2*x2 + a3*x3 + a4*x4 + b 我通过建立 Paddle Fluid 的全连接层fc ，就是根据大量的房价的调研数据，即把已知大量的 y 与 x1、x2、x3、x4对应关系的数据告诉FC，FC通过学习求出a1、a2、a3、a4、b。通过一段的学习后，即使给FC一组为见过的x1、x2、x3、x4，FC也能预测出y。 常量 b 由 fc 的 bias_attr 参数指定。为了简化，我使用了默认值None，表示该参数由 param_attr 参数决定。而 param_attr 也使用了默认值None，意味着 a1、a2、a3、a4采用Xavier初始化方式以及偏置参数 b = 0 。 所谓全连接层是指每个输入节点都与每个输出节点相连

线性代数 numpy.linalg模块包含线性代数的函数, 可以求逆矩阵,求特征值,解线性方程组及求行列式 计算逆矩阵 Key_Function np.linalg.inv函数, 求出给定矩阵的逆矩阵 np.mat函数, 创建矩阵 Code import numpy as np A = np.mat("0 1 2; 1 0 3; 4 -3 8") print(A) ''' [[ 0 1 2] [ 1 0 3] [ 4 -3 8]] ''' inverse = np.linalg.inv(A) print(inverse) ''' [[-4.5 7. -1.5] [-2. 4. -1. ] [ 1.5 -2. 0.5]] ''' print(A * inverse) ''' [[ 1. 0. 0.] [ 0. 1. 0.] [ 0. 0. 1.]] ''' 求解线性方程组 矩阵可以对向量进行线性变换 Key_Function np.linalg.solve函数, 求解形如Ax=b的线性方程组, 其中A为矩阵, b为一维或二维的数组, x是未知变量 np.dot函数, 计算两个数组的点积, 即内积 Code import numpy as np A = np.mat("1 -2 1; 0 2 -8; -4 5 9") print(A) ''' [[ 1 -2 1] [ 0 2 -8]