梯度

以 Java 工程师应该掌握的知识为例，按重要程度排出六个梯度： 第一梯度： 计算机组成原理、数据结构和算法、网络通信原理、操作系统原理。 第二梯度： Java 基础、JVM 内存模型和 GC 算法、JVM 性能调优、JDK 工具、设计模式。 第三梯度： Spring 系列、Mybatis、Dubbo 等主流框架的运用和原理。 第四梯度： MySQL（含SQL编程）、Redis、RabbitMQ/RocketMQ/Kafka、ZooKeeper 等数据库或者中间件的运用和原理。 第五梯度： CAP 理论、BASE 理论、Paxos 和 Raft 算法等其他分布式理论。 第六梯度： 容器化、大数据、AI、区块链等等前沿技术理论。 来源： https://www.cnblogs.com/tang88seng/p/11915492.html

深度学习各种优化函数详解 深度学习中有众多有效的优化函数，比如应用最广泛的SGD，Adam等等，而它们有什么区别，各有什么特征呢？下面就来详细解读一下 一、先来看看有哪些优化函数 BGD 批量梯度下降 所谓的梯度下降方法是无约束条件中最常用的方法。假设f(x)是具有一阶连续偏导的函数，现在的目标是要求取最小的f(x) : min f(x) 核心思想：负梯度方向是使函数值下降最快的方向，在迭代的每一步根据负梯度的方向更新x的值，从而求得最小的f(x)。因此我们的目标就转变为求取f(x)的梯度。 当f(x)是凸函数的时候，用梯度下降的方法取得的最小值是全局最优解，但是在计算的时候，需要在每一步（xk处）计算梯度，它每更新一个参数都要遍历完整的训练集，不仅很慢，还会造成训练集太大无法加载到内存的问题，此外该方法还不支持在线更新模型。其代码表示如下： for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad 1 2 3 我们首先需要针对每个参数计算在整个训练集样本上的梯度，再根据设置好的学习速率进行更新。 公式表示如下： 假设h(theta)是我们需要拟合的函数，n表示参数的个数

In [1]: import numpy as np import pandas as pd import matplotlib import matplotlib.pyplot as plt %matplotlib inline In [2]: #自定义一个归一化函数（此函数的前提是我的数据是一个矩阵） def regularize(xMat): inMat = xMat.copy()#创建一个副本，这样对inmat进行操作不会影响到xmat inMeans = np.mean(inMat,axis = 0) #求均值 inVar = np.std(inMat,axis = 0) #求标准差 inMat = (inMat - inMeans)/inVar #归一化 return inMat BGD批量梯度下降法 In [ ]: w=w-a*x.T(X*W-Y)/M In [4]: #参数分别为 数据集 学习率(步长) 简单粗暴的设置最高迭代次数 def gradDescent_0(dataSet,eps=0.01,numIt=50000): xMat = np.mat(dataSet.iloc[:, :-1].values)#分别为截取 x与y 放到矩阵（matrix）中 yMat = np.mat(dataSet.iloc[:, -1].values).T xMat =

一、hook函数概念 hook函数机制：不改变主体，实现额外功能，像一个挂件，挂钩，hook 1、torch.Tensor.register_hook(hook) 功能：注册一个反向传播hook函数 仅一个输入参数，为张量的 梯度 计算图与梯度求导 2、torch.nn.Module.register_forward_hook 功能：注册module的前向传播hook函数 参数： 　　module：当前网络层 　　input：当前网络层输入数据 　　output：当前网络层输出数据 3、torch.nn.Module.register_forward_pre_hook 功能：注册module前向传播前的hook函数 参数： module：当前网络层 　　input：当前网络层输入数据 4、torch.nn.Module.register_backward_hook 功能：注册module反向传播的红藕库函数 参数： 　　module： 　　grad_input：当前网络层输入 梯度 数据 　　grad_output：当前网络层输出 梯度 数据 二、hook函数与特征图提取 三、CAM(class activation map，类激活图) Grad-CAM：CAM改进版，利用梯度作为特征图权重 来源： https://www.cnblogs.com/cola-1998/p

简介 梯度下降法是迭代法的一种，可以用于求解最小二乘问题（线性和非线性都可以），在求解机器学习算法的模型参数，梯度下降是最常采用的方法之一，在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解 不是一个机器学习算法 是一种基于搜索的最优化方法 最小化损失函数 最大化一个效用函数（梯度上升法） 模型 $J=\theta ^{2}+b$ 　　定义了一个损失函数以后，参数 $\theta $ 对应的损失函数 $J$ 的值对应的示例图，需要找到使得损失函数值 $J$ 取得最小值对应的 $\theta $ 首先随机取一个 $\theta $，对 $\theta $求导乘 $\eta $，得到一个导数gradient 将之前的 $\theta $ 存为last_theta 将 $\theta $减去$\eta $*gradient得到的值存入 $\theta $ 将 $\theta $与last_theta分别代入公式后得到两个函数值相减，如果小于指定的一个极小值，则说明已找到了最小的 $\theta $，否则重复第1个步聚，对 $\theta $ 求导，依次完成，直到差值小于极小值 $\eta $ 超参数的作用 $\eta $ 称为学习率也称为步长 $\eta $ 的取值影响获得最优解的速度 $\eta $ 取值不合适，可能得不到最优解 $\eta $ 是梯度下降的一个超参数

停止梯度计算。 在图形中执行时，此操作按原样输出其输入张量。 在构建计算梯度的操作时，这个操作会阻止将其输入的共享考虑在内。通常情况下，梯度生成器将操作添加到图形中，通过递归查找有助于其计算的输入来计算指定“损失”的导数。如果在图形中插入此操作，则它的输入将从梯度生成器中屏蔽。计算梯度时不考虑他们。 来源： https://www.cnblogs.com/elitphil/p/11897717.html

算法原理 为保证随机选取的点走向min的地方,方向应该和f(x)的梯度方向夹角小于90° 为保证点仍在约束域上 在局部极值点上,f(x)和h(x)相同梯度,μ是两者之间的比例 h(x)的梯度符号任意选择都行,第三条是保证凸函数 来源： https://www.cnblogs.com/kexve/p/11891925.html

题目5（综合扩展） 2019年1月1日起，国家推出新的个人所得税政策，起征点上调值5000元。也就是说税前工资扣除三险一金（三险一金数额假设是税前工资的10%）后如果不足5000元，则不交税。如果大于5000元，那么大于5000元的部分按梯度交税，具体梯度比例如下： 0 ~ 3000元的部分，交税3% 3000 ~ 12000元的部分，交税10% 12000 ~ 25000的部分 ， 交税20% 25000 ~ 35000的部分，交税25% 35000 ~ 55000的部分，交税30% 55000 ~ 80000的部分，交税35% 超过80000的部分，交税45% 比如：黑马某学员入职一家企业后，税前工资是15000，则他每月该交个税的部分是15000-1500-5000=8500元，个税缴纳数额是3000×3%+5500×10%=640元。税后工资12860元。 请完成一个个税计算程序，在用户输入税前工资后，计算出他对应的纳税数额，以及税后工资为多少？ 训练提示 工资的哪些部分是属于要纳税部分，如何计算？ 纳税比例有很多区间，用什么知识点能够对应多个区间？ 每个区间的纳税数额是多少，计算的规律是什么？ 解题方案 使用多条件的if...else对应各个纳税梯度，分别计算每一个梯度的纳税数额。 操作步骤 提示用户输入税前工资，使用键盘录入让用户输入一个整数。 计算工资中应交税部分

导读 感知机是二分类的线性分类模型，输入是实例的特征向量（每个属性），输出是实例的类别。感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型。 目的：找出将训练数据进行线性划分的分离超平面 导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求出最小值 有 原始形式 和 对偶形式 两种 感知机是种 线性分类 模型，属于 判别 模型。 感知机原理剖析及实现 定义 现在假设输入空间是$Xsubseteq{R^n}$，输出空间$Y={+1, -1}$。输入$xin X$表示实例的特征向量，输出$yin Y$表示实例的类别，其中输入到输出的函数表示如下： 称为感知机 w，b 称为感知机模型参数； w 称为权值或者权值向量；$bin R$称为偏置 bias 。$wbullet x$表示二者的内机， sign 表示符号函数： 感知机的几何解释为线性方程： 这条直线就是最好的那条线，最优解。特征空间$R^n$对应一个超平面 S ，其中 w 是超平面的法向量， b 是超平面的截距。超平面将特征空间划分为两个部分。位于两部分的点分为正负两个类别：正类为+1，父类为-1。 栗子（图2.1）： 策略 给定一个数据集 其中$x_i$是输入空间实例的特征向量，$y_i$是实例的输出类别，如果存在超平面S满足将数据集的正负实例完全分开，即满足：当$wbullet x_i+b>0$

loss = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=0.001) train_pred = model(data[0].cuda()) train_loss = loss(train_label, data[1].cuda()) train_loss.backward() optimizer.step() 来源： https://www.cnblogs.com/JunzhaoLiang/p/11869475.html