导数

导数和微分的区别 导数是函数在某一点处的斜率，是Δy和Δx的比值；而微分是指函数在某一点处的切线在横坐标取得增量Δx以后，纵坐标取得的增量，一般表示为dy。 来源： https://www.cnblogs.com/yibeimingyue/p/11805067.html

方向导数： 指在函数图像某一点处沿着某个方向的导数，即可以求沿着任意方向的导数，当然在引入方向导数之前只是求沿着坐标轴的导数（如x、y方向），之前学过可以求对某个坐标轴的导数，所以要求沿着某一个方向的导数可以利用对坐标轴的导数变换得到，即沿着某一个方向的导数等于 ①（其中 为该方向到x轴正向的夹角）。 梯度： 是一个向量，指在函数图像某一点处方向导数最大的方向，也即是沿着该方向函数值变化最快，即此向量为（ ， ）。 在函数图像某一点处时，由①式和梯度概念可知，当方向l为该点的梯度方向时，该点的方向导数最大，也可以证明：①式中cos 2 +sin 2 =1的约束条件下 中函数 的最大值为 。也可以推导，梯度方向的方向导数为 恰好该点方向导数最大值和该点梯度向量的模相等。 来源： https://www.cnblogs.com/wisir/p/11794051.html

总结 所有技巧或结论无法使用的题，应从源头（定义法）考虑 1+变原则： 把所有变+1化为1+变 所有 幂指函数→指数函数 再做，以免错误 求极限取最大 看好并写出 定义域 再做题 注意 对数ln 中若 有分数 ，则试着 拆项 。有的比较隐蔽不易发现，如1+1/n 求积分： 换元（根号、arc）、拆项、凑导常、配方（分母为根号，或者二次函数，且不可拆项）、倒代换1/(x...) 极限 \(0 \over 0\) 、 \(∞ \over ∞\) 、 \(0·∞\) 、 \(∞-∞\) 、 \(1^∞\) 、 \(∞^0\) 、 \(0^0\) 将将 二元双平方函数 (如椭圆 \(x^2/2+y^2=1\) )的切点(√2cosθ,sinθ)设为 参数方程形式 ，可避免平方与根号 等比求和公式 \(Sn={{a_1(1-q^n} \over {1-q}}={{a_1-a_nq} \over {1-q}}\) A是B的 充分（必要）条件：A→B（B→A） 根号 运算（从根号中提出）：要带|| 距离、面积： 要带|| 可微必连续，连续必可积 注意：极坐标不能求导 ，所以要把 极坐标→参数方程 r=r(θ)→x=r(θ)cosθ，y=r(θ)sinθ 而 参数方程不能二重积分 ，所以要把 参数方程→直角坐标 设y=y(x)，则 \(∫dx∫^{y(x)}...dy\) 函数、极限、连续 函数

问题来源：lua程序设计（第二版）第六章 高阶函数演示：函数如下 前言： 在一个非形式化的定义中，一个函数f在点x的导数就是(f(x+d)-f(x))/d，其中d趋向于无限小。可以用如下方式来近似地计算这个函数f的导数： function derivative(f,delta) delta = delta or 1e-4 return function(x) return (f(x+delta)-f(x))/delta end end 对于特定的函数f调用derivative(f)将（近似地）返回其导数，例如： c = derivative(sin.math) print(math.cos(10), c(10)) 我的问题来了： 我们知道，lua中函数是一种“第一类值”，也就是可以赋值给c，我们这里的 c = derivative(sin.math)到底有没有发生函数derivative的调用呢 随后我把第一个函数改为： function derivative(f,delta) delta = delta or 1e-4 print("hello world") return function(x) print("hello lua") -- 第二条语句 return (f(x+delta)-f(x))/delta end end c = derivative(math.sin)

最优化理论（optimization）研究的问题是判定给定目标函数的最大值（最小值）是否存在，并找到令目标函数取到最大值（最小值）的数值 。 目标函数（objective function）或评价函数 ，大多数最优化问题都可以通过使目标函数 f ( x ) f ( x ) 最小化解决，最大化问题则可以通过最小化 f ( x ) f ( x ) 实现。 全局最小值（global minimum） ，也可能找到 局部极小值（local minimum） ，两者的区别在于全局最小值比定义域内所有其他点的函数值都小；而局部极小值只是比所有邻近点的函数值都小。 无约束优化（unconstrained optimization）和约束优化（constrained optimization） 两类。无约束优化对自变量 x x 的取值没有限制，约束优化则把 x x 的取值限制在特定的集合内，也就是满足一定的约束条件。 线性规划（linear programming） 就是一类典型的约束优化，其解决的问题通常是在有限的成本约束下取得最大的收益。约束优化问题通常比无约束优化问题更加复杂，但通过拉格朗日乘子（Lagrange multiplier）的引入可以将含有 n n 个变量和 k k 个约束条件的问题转化为含有 ( n + k ) ( n + k ) 个变量的无约束优化问题

导言 最优化问题在机器学习中有非常重要的地位，很多机器学习算法最后都归结为求解最优化问题。在各种最优化算法中，梯度下降法是最简单、最常见的一种，在深度学习的训练中被广为使用。在本文中， SIGAI 将为大家系统的讲述梯度下降法的原理和实现细节问题。 最优化问题是求解函数极值的问题，包括极大值和极小值。相信所有的读者对这个问题都不陌生，在初中时我们就学会了求解二次函数的极值（抛物线的顶点），高中时学习了幂函数，指数函数，对数函数，三角函数，反三角函数等各种类型的函数，求函数极值的题更是频频出现。这些方法都采用了各种各样的技巧，没有一个统一的方案。 真正的飞跃发生在大学时，微积分为我们求函数的极值提供了一个统一的思路：找函数的导数等于0的点，因为在极值点处，导数必定为0。这样，只要函数的可导的，我们就可以用这个万能的方法解决问题，幸运的是，在实际应用中我们遇到的函数基本上都是可导的。 在机器学习之类的实际应用中，我们一般将最优化问题统一表述为求解函数的极小值问题，即： 其中x称为优化变量，f称为目标函数。极大值问题可以转换成极小值问题来求解，只需要将目标函数加上负号即可： 有些时候会对优化变量x有约束，包括等式约束和不等式约束，它们定义了优化变量的可行域，即满足约束条件的点构成的集合。在这里我们先不考虑带约束条件的问题。 一个优化问题的全局极小值是指对于可行域里所有的x，有：

本文是李宏毅深度学习 (2015)的学习笔记，主要介绍了在训练DNN过程中的不同阶段用到的一些技巧。本文所用到的图示主要来自课堂ppt。 原视频地址： 李宏毅深度学习 (2015) 想要提高深度学习的效率和收获比较好的结果，可以从以上五部分（其实只有四部分，Data Preprocessing没讲，可能涉及到数据归一化，PCA数据压缩等）入手，下面分别从每个部分入手，介绍一些常用于深度学习中的技巧。 一、Activation Function 在浅层BP神经网络中经常使用Sigmoid函数作为激活函数，但是Sigmoid函数在DNN中会存在一些问题：一方面，对Sigmoid函数求导计算量较大；另一方面，隐含层较多的情况下，BP过程中会出现Vanishing Gradient Problem。 Vanishing Gradient Problem 我们知道Sigmoid函数的导数最大值小于1（在0处，只有0.2左右），而在BP过程中， δ l = σ ′ ( z l ) ( W l + 1 ) T δ l + 1 δ l = σ ′ ( z l ) ( W l + 1 ) T δ l + 1 ，使得前一层的误差项 δ l δ l 会越来越小，致使求解出的梯度也会也来越小，这样在DNN的训练中，靠前的隐含层参数收敛速度会很慢。 ReLU 由上图可以看出，当 z z 的值大于0时

1.导数定义： 导数和微分的概念 \(f'({{x}_{0}})=\underset{\Delta x\to 0}{\mathop{\lim }}\,\frac{f({{x}_{0}}+\Delta x)-f({{x}_{0}})}{\Delta x}\) （1） 或者： \(f'({{x}_{0}})=\underset{x\to {{x}_{0}}}{\mathop{\lim }}\,\frac{f(x)-f({{x}_{0}})}{x-{{x}_{0}}}\) （2） 2.左右导数导数的几何意义和物理意义 函数 \(f(x)\) 在 \(x_0\) 处的左、右导数分别定义为： 左导数： \({{{f}'}_{-}}({{x}_{0}})=\underset{\Delta x\to {{0}^{-}}}{\mathop{\lim }}\,\frac{f({{x}_{0}}+\Delta x)-f({{x}_{0}})}{\Delta x}=\underset{x\to x_{0}^{-}}{\mathop{\lim }}\,\frac{f(x)-f({{x}_{0}})}{x-{{x}_{0}}},(x={{x}_{0}}+\Delta x)\) 右导数： \({{{f}'}_{+}}({{x}_{0}})=\underset{\Delta x\to {{0}^{+}}}{

很久之前学的，这次回顾的时候发现自己把梯度下降法和导数=0搞混了。 导数=0是直接的求法，可能是极大值也可能是极小值。 梯度下降法是一步步逼近极小值的方法，而不是一步到位的。（因为在求法中θ1 = θ0 - α*梯度，而梯度是函数上升最快的方向，加上一个负号，所以一定是函数下降的方向） https://www.jianshu.com/p/c7e642877b0e 这篇文章讲的超好，mark一下~ 来源：博客园 作者： NicoleHe 链接：https://www.cnblogs.com/nicolelfhe/p/11630090.html

本文承接上篇 https:// zhuanlan.zhihu.com/p/24 709748 ，来讲矩阵对矩阵的求导术。使用小写字母x表示标量，粗体小写字母 表示列向量，大写字母X表示矩阵。矩阵对矩阵的求导采用了向量化的思路，常应用于二阶方法求解优化问题。 首先来琢磨一下定义。矩阵对矩阵的导数，需要什么样的定义？第一，矩阵F(p×q)对矩阵X(m×n)的导数应包含所有mnpq个偏导数 ，从而不损失信息；第二，导数与微分有简明的联系，因为在计算导数和应用中需要这个联系；第三，导数有简明的从整体出发的算法。我们先定义向量 (p×1)对向量 (m×1)的导数 (m×p)，有 ；再定义矩阵的（按列优先）向量化 (mn×1)，并定义矩阵F对矩阵X的导数 (mn×pq)。导数与微分有联系 。几点说明如下： 按此定义，标量f对矩阵X(m×n)的导数 是mn×1向量，与上篇的定义不兼容，不过二者容易相互转换。为避免混淆，用记号 表示上篇定义的m×n矩阵，则有 。虽然本篇的技术可以用于标量对矩阵求导这种特殊情况，但使用上篇中的技术更方便。读者可以通过上篇中的算例试验两种方法的等价转换。 标量对矩阵的二阶导数，又称Hessian矩阵，定义为 (mn×mn)，是对称矩阵。对向量 或矩阵 求导都可以得到Hessian矩阵，但从矩阵 出发更方便。 ，求导时矩阵被向量化，弊端是这在一定程度破坏了矩阵的结构