导数

当年SVM怎么被发明的？ 任何机器学习都是套一个数学模型，然后求解数学模型的待求解参数。 SVM使用的是怎样的一个模型呢？ 。现在把我们作为一发明者，看看下面这张图。知道一个算法原理最好的方法是研究它是怎么想出来的，不然直接看公式可能马上就记住了，但是过了段时间就会忘因为没有理解。 如果是下面这张图，我们怎么划分开这两组数据？最简单的方式就是 用一条直线 。现在我们已经发明了一种算法（事实上别人已经发明了，这种用一条直线划分开两组数据的算法叫做 线性回归 ）。 既然一条直线能解决这个分类问题为何别人还要想发明其他算法呢？我们看看用一条直线划分数据进行分类这个算法的缺点 。我们看上面那个图和下面这个图有什么区别？ 这两个图都能实现将两个数据划分开。但是上面那个图的直线，总是看起来很别扭好像差了点什么 。我们还是比较喜欢下面这种直线。 那下面这个图的直线有什么特征呢？怎么用数学量化这个特征呢？又如何指导算法让算法尽可能的选下面这种直线作为划分界线呢 ？解决这三个问题这就是SVM发明的初衷 用来划分两个分类的更好的直线有哪些特征？如何量化这些特征？ 我们对比前面两张图，我们会发现 那个直线刚刚好就在数据中间。而不会贴着数据边缘 。那么 直线不会贴着数据边缘这句话怎么用数学来量化呢 ？ 用理工科的思维就是问： 1. 边缘是什么？ 2. 怎么量化直线与边缘的距离？ 答： 边缘是

（转）深度学习综述——Hinton、LeCun和Bengio 简介 监督学习 反向传播来训练多层架构 卷积神经网络 使用深度卷积网络进行图像理解 分布式表示和语言处理 递归神经网络（Recurrent neural networks ） 深度学习的未来 本文是Yann LeCun, Yoshua Bengio和 Geoffrey Hinton大神合作写的深度学习综述，发表在nature上，纪念人工智能60周年。原文链接： PDF 摘要 ：深度学习允许由多个处理层组成的计算模型 学习具有多个抽象级别的数据表示。这些方法极大地提高了语音识别、视觉目标识别、目标检测以及药物发现和基因组学等许多领域的技术水平。深度学习通过使用反向传播算法来指出机器应该如何改变它的内部参数来发现大数据集中复杂的结构，这些参数用于从上一层的表示中计算每一层的表示。深度卷积网络在图像、视频、语音和音频处理方面取得了突破，而周期性卷积网络则为文本和语音等序列数据带来了光明。 简介 机器学习技术为现代社会的许多方面提供了动力:从网络搜索到社交网络上的内容过滤，再到电子商务网站上的推荐，它越来越多地出现在相机和智能手机等消费产品中。机器学习系统用于识别图像中的对象，将语音转录成文本，将新闻条目、帖子或产品与用户兴趣匹配，并选择搜索的相关结果。这些应用程序越来越多地使用一种称为深度学习的技术。

先从回归(Regression)问题说起。我在本吧已经看到不少人提到如果想实现强AI，就必须让机器学会观察并总结规律的言论。具体地说，要让机器观察什么是圆的，什么是方的，区分各种颜色和形状，然后根据这些特征对某种事物进行分类或预测。其实这就是回归问题。 如何解决回归问题？我们用眼睛看到某样东西，可以一下子看出它的一些基本特征。可是计算机呢？它看到的只是一堆数字而已，因此要让机器从事物的特征中找到规律，其实是一个如何在数字中找规律的问题。 例：假如有一串数字，已知前六个是1、3、5、7，9，11，请问第七个是几？ 你一眼能看出来，是13。对，这串数字之间有明显的数学规律，都是奇数，而且是按顺序排列的。 那么这个呢？前六个是0.14、0.57、1.29、2.29、3.57、5.14，请问第七个是几？ 这个就不那么容易看出来了吧！我们把这几个数字在坐标轴上标识一下，可以看到如下图形： 用曲线连接这几个点，延着曲线的走势，可以推算出第七个数字——7。 由此可见，回归问题其实是个曲线拟合(Curve Fitting)问题。那么究竟该如何拟合？机器不可能像你一样，凭感觉随手画一下就拟合了，它必须要通过某种算法才行。 假设有一堆按一定规律分布的样本点，下面我以拟合直线为例，说说这种算法的原理。 其实很简单，先随意画一条直线，然后不断旋转它。每转一下，就分别计算一下每个样本点和直线上对应点的距离

也许更好的阅读体验 这里不会详细讲导数，只贴最基本导数和有关多项式的导数 表示法 \(x'\) 表示对 \(x\) 进行 \(1\) 阶求导 \(x''\) 表示对 \(x\) 进行 \(2\) 阶求导 \(x\) 上面有几个 \('\) 表示对 \(x\) 进行几阶求导 \(x^{(i)}\) 表示对 \(x\) 进行 \(i\) 阶求导 求导 \(ax^b\) 求导变成 \(abx^{b-1}\) ，即将指数乘到系数上去，并将指数减一 常数求导变成 \(0\) 多项式求导 \(\begin{aligned}f(x)=\sum_{i=0}^{\infty}a_ix^i\end{aligned}\) \(\begin{aligned}f'(x)=\sum_{i=0}^{\infty}(i+1)a_{i+1}x^i\end{aligned}\) 复合求导 \(\left( u\cdot v\right) '=u'v+v'u\) \(u\left( v\right) '=u'\left( v\right) \cdot v'\) 积分 \(\int nx^{n-1}=x^{n}\) \(\int x^{n-1}=\dfrac {x^{n}}{n}\) 积分就是求导的逆运算 来源： https://www.cnblogs.com/Morning-Glory/p/11317519.html

IT互联网行业有个有趣现象，玩资本的人、玩产品的人、玩技术的人都能很好的在这个行业找到自己的位置并取得成功，而且可以只懂其中一样，不需要懂其余两样。玩技术的人是里面最难做的，也是三者收益最低的，永远都要不停学习，不停把画饼变成煎饼。 在今年5月底，Alphago又战胜了围棋世界冠军柯洁，AI再次呈现燎原之势席卷科技行业，吸引了众多架构师对这个领域技术发展的持续关注和学习，思考AI如何做工程化，如何把我们系统的应用架构、中间件分布式架构、大数据架构跟AI相结合，面向什么样的应用场景落地，对未来做好技术上的规划和布局。 之前发表过一篇文章 《如何用70行Java代码实现深度神经网络算法》 （点击「阅读原文」获得文章），记录了深度神经网络的计算过程和程序实现，本文再进一步研究一下背后的数学原理。 为了彻底理解深度学习，我们到底需要掌握哪些数学知识呢？经常看到会列出一系列数学科目：微积分、线性代数、概率论、复变函数、数值计算等等。这些数学知识有相关性，但实际上这是一个最大化的知识范围，学习成本会非常久，本文尝试归纳理解深度学习所需要的最小化数学知识和推导过程。 （以下根据作者的学习理解整理，有误之处，欢迎专家学者提出指导批评）。 多层神经网络的函数构成关系 多层神经网络从输入层，跨多个隐含层，到最后输出层计算误差，从数学上可以看做一系列函数的嵌套组合而成，上一层函数输出做为下一层函数输入