线性模型

用处 不易建立精确数学模型的对象 已成功应用于 化工，石油，冶金，机械等领域 advantage 鲁棒性强，效果好 MPC的三要素 4.1 预测模型 是一种显式地拟合被控对象特性的动态模型 有多种表示形式 根据历史信息和未来输入来预测未来输出 该预测模型的精度对MPC的性能具有直接影响。 4.2 滚动优化 4.3 反馈校正 DMC算法 适用于：渐近稳定的线性对象 若不是线性的，可在平衡点处线性化 若不是渐近稳定的，可先用PID使其稳定 来源： https://blog.csdn.net/weixin_43321489/article/details/102750162

高频率的接触到了SVM模型，而且还有使用SVM模型做回归的情况，即SVR。另外考虑到自己从第一次知道这个模型到现在也差不多两年时间了，从最开始的腾云驾雾到现在有了一点直观的认识，花费了不少时间。因此在这里做个总结，比较一下使用同一个模型做分类和回归之间的差别，也纪念一下与SVM相遇的两周年！这篇总结，不会涉及太多公式，只是希望通过可视化的方法对SVM有一个比较直观的认识。 由于代码比较多，没有放到正文中，所有代码都可以在github中：https://github.com/OnlyBelter/jupyter-note/blob/master/machine_learning/SVM/04_how%20SVM%20becomes%20to%20SVR.ipynb 0. 支持向量机（support vector machine, SVM） 原始SVM算法是由弗拉基米尔·万普尼克和亚历克塞·泽范兰杰斯于1963年发明的。1992年，Bernhard E. Boser、Isabelle M. Guyon和弗拉基米尔·万普尼克提出了一种通过将核技巧应用于最大间隔超平面来创建非线性分类器的方法。当前标准的前身（软间隔）由Corinna Cortes和Vapnik于1993年提出，并于1995年发表。 上个世纪90年代，由于人工神经网络(RNN)的衰落，SVM在很长一段时间里都是当时的明星算法

最小二乘法(LMS) 给定数据 \(D={(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(N)},y^{(N)})}\) ， \(h_{\theta}(x)=\theta^T x=\theta_0x_0+\theta_1x_1+...+\theta_nx_n=\theta_0+\theta_1x_1+...+\theta_nx_n\) 给定 \(N\) 组数据: \[\theta_0+\theta_1x_1^{(1)}+\theta_2x_2^{(1)}+...+\theta_nx_n^{(1)}=y^{(1)}\] \[\theta_0+\theta_1x_1^{(2)}+\theta_2x_2^{(2)}+...+\theta_nx_n^{(2)}=y^{(2)}\\\vdots\] \[\theta_0+\theta_1x_1^{(N)}+\theta_2x_2^{(N)}+...+\theta_nx_n^{(N)}=y^{(N)}\] 求解 \(\theta\) ，使得输入 \(x\) ，得到 \(y\) 。求解线性方程组。 \(\Rightarrow A =\begin{matrix} 1&x_1^{(1)}&\dots &x_n^{(1)}\\1&x_2^{(1)}&\dots &x_n^{(2)}\\\vdots &

作者丨gongyouliu 编辑丨Zandy 来源 | 大数据与人工智能（ID: ai-big-data） 作者在上篇文章中讲解了《 矩阵分解推荐算法 》，我们知道了矩阵分解是一类高效的嵌入算法，通过将用户和标的物嵌入低维空间，再利用用户和标的物嵌入向量的内积来预测用户对标的物的偏好得分。本篇文章我们会讲解一类新的算法： 因子分解机 ( Factorization Machine ，简称 FM ，为了后面书写简单起见，中文简称为 分解机 )，该算法的核心思路来源于矩阵分解算法，矩阵分解算法可以看成是分解机的特例 (我们在第三节1中会详细说明) 。分解机自从2010年被提出后，由于易于整合交叉特征、可以处理高度稀疏数据，并且效果不错，在推荐系统及广告CTR预估等领域得到了大规模使用，国内很多大厂(如美团、头条等)都用它来做推荐及CTR预估。 本篇文章我们会从 分解机简单介绍、分解机的参数估计与模型价值、分解机与其他模型的关系、分解机的工程实现、分解机的拓展、近实时分解机、分解机在推荐上的应用、分解机的优势 等8个方面来讲解分解机相关的知识点。期望本文的梳理可以让读者更好地了解分解机的原理和应用价值，并且尝试将分解机算法应用到自己的业务中。 一、分解机简单介绍 分解机 最早由Steffen Rendle于2010年在ICDM会议(Industrial Conference on

线性回归（Linear Regression） 标签 : 监督学习 @author : duanxxnj@163.com @time : 2016-06-19 对于一个的拥有 m //--> 个观测的训练数据集 X //--> 而言，回归的目的就是要对新的 n //--> 维输入 x //--> ，预测其对应的一个或者多个目标输出 t //--> 。 线性回归模型的基本特性就是：模型是参数的线性函数。 最简单的线性回归模型当然是模型是参数的线性函数的同时，也是输入变量的线性函数，或者叫做线性组合。 如果我们想要获得更为强大的线性模型，可以通过使用一些输入向量 x //--> 的基函数 f ( x ) //--> 的线性组合来构建一个线性模型。这种模型，由于它是参数的线性函数，所以其数学分析相对较为简单，同时可以是输入变量的非线性函数。 从概率的角度来说，回归模型就是估计一个条件概率分布： p ( t | x ) //--> 。因为这个分布可以反映出模型对每一个预测值 t //--> 关于对应的 x //--> 的不确定性。基于这个条件概率分布对输入 x //--> 估计其对应的 t //--> 的过程，就是最小化损失函数（loss function）的期望的过程。 对于线性模型而言，一般所选择的损失函数是平方损失。 由于模型是线性的

点击上方 蓝色字体 ，关注 AI小白入门 哟 跟着博主的脚步，每天进步一点点 本文介绍对数线性分类模型，在线性模型的基础上通过复合函数（sigmoid，softmax，entropy ）将其映射到概率区间，使用对数损失构建目标函数。 首先以概率的方式解释了logistic回归为什么使用sigmoid函数和对数损失，然后将二分类扩展到多分类，导出sigmoid函数的高维形式softmax函数对应softmax回归，最后最大熵模型可以看作是softmax回归的离散型版本，logistic回归和softmax回归处理数值型分类问题，最大熵模型对应处理离散型分类问题。 作者 | 文杰 编辑 | yuquanle Logistic回归 A、 Logistic回归 分类问题可以看作是在回归函数上的一个分类。 一般情况下定义二值函数，然而二值函数构成的损失函数非凸，一般采用sigmoid函数平滑拟合（当然也可以看作是一种软划分，概率划分）： 从函数图像我们能看出，该函数有很好的特性，适合二分类问题。 至于为何选择Sigmoid函数，后面可以从广义线性模型导出为什么是Sigmoid函数。 逻辑回归可以看作是在线性回归的基础上构建的分类模型，理解的角度有多种（最好的当然是概率解释和最小对数损失），而最直接的理解是考虑逻辑回归是将线性回归值离散化。 即一个二分类问题（二值函数）如下：

3.1 基本概念 3.1.1 神经网络组成 神经网络类型众多，其中最为重要的是多层感知机。为了详细地描述神经网络，我们先从最简单的神经网络说起。 感知机 多层感知机中的特征神经元模型称为感知机，由Frank Rosenblatt于1957年发明。 简单的感知机如下图所示： 其中$x_1$，$x_2$，$x_3$为感知机的输入，其输出为： $ output = \left{ \begin{aligned} 0, \quad if \ \ \sumi wi xi \leqslant threshold \ 1, \quad if \ \ \sumi wi xi > threshold \end{aligned} \right. $ 假如把感知机想象成一个加权投票机制，比如 3 位评委给一个歌手打分，打分分别为$ 4 $分、$1$ 分、$-3 $分，这$ 3$ 位评分的权重分别是 $1、3、2$，则该歌手最终得分为 $4 \times 1 + 1 \times 3 + (-3) \times 2 = 1$ 。按照比赛规则，选取的 $threshold$ 为 $3$，说明只有歌手的综合评分大于$ 3$ 时，才可顺利晋级。对照感知机，该选手被淘汰，因为： $$ \sumi wi x_i < threshold=3, output = 0 $$ 用 $-b$ 代替 $threshold$