非线性

原文链接： https://developers.google.com/machine-learning/crash-course/introduction-to-neural-networks/ 神经网络 是更复杂版本的特征组合。实质上，神经网络会学习适合相应特征组合。 1- 剖析 “非线性问题”意味着无法使用形式为“$b + w_1x_1 + w_2x_2$”的线性模型准确预测标签。 对非线性问题可以用特征组合的方法进行建模。 隐藏层 “隐藏层”表示中间值。 如果构建一个多层模型，“隐藏层”每个节点是上一层输入节点值的加权和，输出是“隐藏层”节点的加权和，那么此模型仍是线性的。 因为当将输出表示为输入的函数并进行简化时，只是获得输入的另一个加权和而已。 激活函数 要对非线性问题进行建模，可以直接引入非线性函数。 可以用非线性函数将每个隐藏层节点像管道一样连接起来。 在隐藏层中的各个节点的值传递到下一层进行加权求和之前，采用一个非线性函数对其进行了转换，这种非线性函数称为激活函数。 通过在非线性上堆叠非线性，能够对输入和预测输出之间极其复杂的关系进行建模。 简而言之，每一层均可通过原始输入有效学习更复杂、更高级别的函数。 常见激活函数 S型激活函数 S型激活函数将加权和转换为介于 0 和 1 之间的值。 S 型函数的响应性在两端相对较快地减少。 公式： 曲线图：

1、Batch Normalization的引入 　　在机器学习领域有个很重要的假设：IID独立同分布假设，也就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集上获得好的效果的一个基本保障。在深度学习网络中，后一层的输入是受前一层的影响的，而为了方便训练网络，我们一般都是采用Mini-Batch SGD来训练网络的（Mini-Batch SGD的两个优点是：梯度更新方向更准确和并行计算速度快）。 　　我们知道在神经网络训练开始前，都要对输入数据做一个归一化处理，那么具体为什么需要归一化呢？归一化后有什么好处呢？原因在于神经网络学习过程本质就是为了学习数据分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；另外一方面，一旦每批训练数据的分布各不相同(batch 梯度下降)，那么网络就要在每次迭代都去学习适应不同的分布，这样将会大大降低网络的训练速度，这也正是为什么我们需要对数据都要做一个归一化预处理的原因。 　　对于深度网络的训练是一个复杂的过程，只要网络的前面几层发生微小的改变，那么后面几层就会被累积放大下去。一旦网络某一层的输入数据的分布发生改变，那么这一层网络就需要去适应学习这个新的数据分布，所以如果训练过程中，训练数据的分布一直在发生变化，那么将会影响网络的训练速度。 　　除了输入层的数据外(因为输入层数据

转自 https://blog.csdn.net/qq_42823043/article/details/89765194 简介 Batch Normalization简称BN，是2015年提出的一种方法《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好。 原论文地址：https://arxiv.org/abs/1502.03167 机器学习领域有个很重要的假设：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。而BN就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。 为什么深度神经网络随着网络深度加深，训练起来越困难，收敛越来越慢？这是个在DL领域很接近本质的好问题。很多论文都是解决这个问题的，比如ReLU激活函数，再比如ResNet等，BN本质上也是解释并从某个不同的角度来解决这个问题的。 一、Internal Covariate Shift 现象： 从论文名字可以看出，BN是用来解决“Internal Covariate Shift”问题的

数据结构包括：线性结构和非线性结构 线性结构 　　 （1）线性结构作为最常用的数据结构，其特点是 数据元素之间存在一对一 的线性关系。 　　（2）线性结构有两种不同的存储结构，即 顺序存储结构 和 链式存储结构 。顺序存储的线性表称为顺序表，顺序表中的 存储元素是连续 的。 　　（3）链式存储的线性表称为链表，链表中的 存储元素不一定是连续 的，元素节点中存放数据元素以及相邻元素的地址信息 　　（4）线性结构常见的有： 数组、队列、链表和栈 。 非线性结构 　　非线性结构包括： 二维数组，多维数组，广义表，树结构，图结构 。 来源： https://www.cnblogs.com/niujifei/p/11539765.html

一个很好的例子，列出优化模型和里面的约束条件 求解： 示例 求解结果 (x取（1,1）时获得最小值10) >> main Local minimum found that satisfies the constraints. Optimization completed because the objective function is non-decreasing in feasible directions, to within the default value of the optimality tolerance, and constraints are satisfied to within the default value of the constraint tolerance. < stopping criteria details > x = 1.0000 1.0000 y = 10.0000 % 主函数 options=optimset; [x,y]=fmincon('func1',rand(2,1),[],[],[],[],zeros(2,1),[],'func2',options) %目标函数 function f=func1(x); f=x(1).^2+x(2).^2+8; %非线性向量函数（非线性约束） function [g,h]=func2(x);

目录 一、SVM学习回顾 1 线性可分支持向量机与硬间隔最大化 1.1 线性可分支持向量机 1.2 函数间隔和几何间隔 1.3 间隔最大化 （1） 最大间隔分离超平面 （2） 支持向量和间隔边界 1.3 学习的对偶算法 2 线性支持向量机与软间隔最大化 2.1 线性支持向量机 2.2 学习的对偶算法 2.3 支持向量 2.4 合页损失函数 3 非线性支持向量机与核函数 3.1 核技巧 （1） 非线性分类问题 （2） 核函数的定义 （3） 核技巧在支持向量机中的应用 3.2 正定核 3.3 常用核函数 3.4 非线性支持向量机 4 序列最小最优化算法 二、补充 备注 备注1 凸二次规划 备注2 拉格朗日对偶性和KKT条件 备注3 为什么要转化为对偶问题求解 备注4 欧式空间和希尔伯特空间 其他问题 为什么高斯核可以将原始维度映射到无穷维 线性可分SVM、线性SVM和非线性SVM三者的b是否唯一 前言 第一次写博客，有不好的地方请各位多加指教；之前对SVM进行了一些学习，每次学习的时候又感觉很多东西都忘掉了；之前暑假的时候又进行了一次较为详细的学习，想着记录一下，一些笔记也都准备好了，由于若干原因（主要是拖延症晚期）一直拖到现在；本次总结主要是以李航老师的统计学习方法为参考，对书中的思路做一个梳理（因此想要了解或者回顾SVM的话，本文会有一点帮助，如果想仔细学习的话还是要结合

机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法，诸如SVM，GBDT，Adaboost，现在 深度学习 很火热， 神经网络 也是一个不错的选择。 假如你在乎精度（accuracy）的话，最好的方法就是通过交叉验证（cross-valida ti on）对各个算法一个个地进行 测试 ，进行比较，然后调整参数确保每个算法达到最优解，最后选择最好的一个。但是如果你只是在寻找一个“足够好”的算法来解决你的问题，或者这里有些技巧可以参考，下面来分析下各个算法的优缺点，基于算法的优缺点，更易于我们去选择它。 1.天下没有免费的午餐 在机器学习领域，一个基本的定理就是“没有免费的午餐”。换言之，就是没有算法能完美地解决所有问题，尤其是对监督学习而言（例如预测建模）。 举例来说，你不能去说神经网络任何情况下都能比决策树更有优势，反之亦然。它们要受很多因素的影响，比如你的数据集的规模或结构。 其结果是，在用给定的测试集来评估性能并挑选算法时，你应当根据具体的问题来采用不同的算法。 当然，所选的算法必须要适用于你自己的问题，这就要求选择正确的机器学习任务。作为类比，如果你需要打扫房子，你可能会用到吸尘器、扫帚或是拖把，但你绝对不该掏出铲子来挖地。 2. 偏差

这几天面试经常被问到BN层的原理，虽然回答上来了，但还是感觉答得不是很好，今天仔细研究了一下Batch Normalization的原理，以下为参考网上几篇文章总结得出。 　　Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个 经验领先于理论分析 的偏经验的一门学问。本文是对论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》的导读。 　　机器学习领域有个很重要的假设： IID独立同分布假设 ，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。那BatchNorm的作用是什么呢？ BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。 　　接下来一步一步的理解什么是BN。 　　为什么深度神经网络 随着网络深度加深，训练起来越困难，收敛越来越慢？ 这是个在DL领域很接近本质的好问题。很多论文都是解决这个问题的，比如ReLU激活函数，再比如Residual Network

非线性最小二乘 非线性最小二乘问题是求解目标参数Ｘ的最优值的方法． 关键要素： 1.　要有待优化的参数X 2.　要知道参数与估计值的函数关系．f(X) 3.　要有观测数据Z 4.　待优化参数的初值X0 5. 待优化参数的范围(可选) 一般形式： 非线性优化与非线性最小二乘 非线性最小二乘问题，可以转化为非线性优化问题．解非线性最小二乘需要非线性优化算法．非线性优化算法最通用的方法是梯度下降． 非线性最小二乘的要求解的参数，作为非线性优化的Ｘ因此判断一个最小二乘问题是线性还是非线性的依据是参数与观测之间是线性还是非线性． 例如求解y=ax2其实就是线性最小二乘问题，而y=a2x是非线性最小二乘问题． 来源： https://blog.csdn.net/fb_help/article/details/99677972

数据结构包括：线性结构和非线性结构。 线性结构 线性结构作为最常用的数据结构，其特点是数据元素之间存在一对一的线性关系 线性结构有两种不同的存储结构，即 顺序存储结构 和 链式存储结构 。 顺序存储的线性表称为 顺序表 ，顺序表中的存储元素是连续的 链式存储的线性表称为 链表 ，链表中的存储元素不一定是连续的，元素节点中存放数据元素以及相邻元素的地址信息 线性结构常见的有： 数组、队列、链表和栈 非线性结构 非线性结构包括： 二维数组，多维数组，广义表，树结构，图结构 来源： https://www.cnblogs.com/Diyo/p/11324765.html