损失函数

最近在关注数据相关的工作！主动学习是数据领域中一个方向，它的目的是用最少的标注样本实现最好的模型预测效果，能够减少人工标注的成本。本文将介绍《Learning loss for active learning 》一些基本的思想，不到之处还请指正！ 这篇文章提出根据损失来选取前K个最有价值的数据（即损失最大的K个数据），将这K个数据由专家标注，放入有标签的训练集中，依次迭代多次直到模型达到预期的效果。本文最主要的思想是在目标网络上添加损失预测模块，它能预测模型的损失值。模型结构如下图所示： a图就是模型的整体框架，由于损失预测模块与任务无关只与模型的损失有关。因此，这种方法可以应用到其他不同的任务中（比如训练时是分割任务得到的损失预测模型可应用于分类任务）当然这个过程必须保持模型不变。 GAP是指全局平均池化，训练过程就是联合优化目标模型与损失预测模型的损失函数。这里比较重要的一点就是损失预测模型的损失函数的设计，最直接的想法就是考虑损失预测模型的预测值与实际损失值之间的均方误差。这种做法显然是不合理的，因为迭代过程中的损失值是一个变化的过程，这就会导致损失预测模型的训练过程中对应的数据的标签不一致！导致预测效果很差。因此作者就提出数据对的思想来确定损失预测模型的损失函数。 公式1为整个模型的损失函数 为尺度常量，前面的是目标模型的损失函数（比如分类的交叉熵损失函数等）

前言： 　　在6月底来到鹅厂实习，在这一个多月的时间内，主要将我之前研究的目标跟踪和人脸模型结合起来，完成一些人脸跟踪的应用。其中将之前研究的单目标跟踪（SOT, single object tracking）拓展到多目标跟踪（MOT, multi object tracking），针对人脸的应用引入人脸模型，形成针对人脸的多目标跟踪。 　　在这里还是学习到不少东西的：面向业务应用的算法开发；关注预研的过程；跨任务地思考；把控时间点。 整体和在实验室的感觉是差不多的，但是要比在实验室严肃一些，需要在一段时间内要有产出，不能说像在实验室一样，研究了半年，说没研究出来成果就过了。毕竟要有kpi的要求，要对自己要求严格一些。抛开心态来说，我反而觉得实验室要求还要更严一些：周报、每周的组会等等。在这里只要简单几句话的周报就可以了，但是这句话的周报含义和实验室是差很多的。 - -！ 　　言归正传，这篇博文主要总结我在这段时间调研过的内容和尝试过的一些应用。其实百度一下“人脸检测、人脸识别”等等关键词也会出现很多相关博文，但是这篇主要是我在这段时间的总结。 　　特别要感谢 https://github.com/corberan/video_clipper ，奠定了我实现的算法的基本流程，在我迷茫不知道如何完成任务的时候，提供了重要的思路。 主要内容： 　　1. dlib: 基于C+

初学神经网络和pytorch，这里参考大佬资料来总结一下有哪些激活函数和损失函数（pytorch表示） 一：激活函数 这里可直接参考该大佬博客： pytorch中常用激活函数 pytorch激活函数 　　　注：激活函数的理论理解和注意点 　　　　 神经网络中常见的几种激活函数的理解 　　　　 常用激活函数（激励函数）理解和总结 　　　　　 二：损失函数： 　　　　可参考博客： 　　　　 pytorch常用损失函数 pytorch的损失函数（loss_function） 　　这里补充一下： 三：神经网络中有哪些优化器： pytorch优化器 具体可了解莫烦python视频optimizer优化器讲解： optimizer优化器 来源： https://www.cnblogs.com/carrollCN/p/11370960.html

　　本文采用生成对抗网络（GAN）对图像进行超分辨，并且采用了新的损失函数来得到具有逼真视觉效果的结果。 　　在超分辨的过程中恢复图像的细节是亟待解决的问题，许多利用MSE作为损失函数的工作都具有很高的PSNR，但是它们恢复出的结果都是缺乏高频信息并且视觉效果并不令人满意。 　　为了在高分辨率时也有契合的保真度，本文提出SRGAN来生成视觉效果逼真的HR图片，在SRGAN中，生成网络使用的是SRResNet，并且采用了新的损失函数，即视觉损失函数(perceptual loss)。视觉损失函数由两部分组成，对抗损失(adversarial loss)和内容损失(content loss)。对抗损失是用于区别生成的超分辨图像和原始图像的，而内容损失则是由视觉相似性而不是在像素域上的相似性来定义的。 　　内容损失函数在本文中考虑了基于MSE和基于VGG网络的两种损失。采用MSE会得到PSNR很高的图像，但是缺少高频内容并且纹理会过渡平滑；而采用VGG网络损失尽管得到的PSNR不如MSE，但是其视觉效果却很好。 　　为此，本文分别针对三种情况做了试验，SRGAN-MSE是以MSE作为内容损失函数的，SRGAN-VGG22是定义在VGG网络低级特征上的内容损失函数，而SRGAN-VGG54是定义在VGG深层网络的高级特征上的内容损失函数，它在关注图像的内容上拥有更大的潜力

通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这个目标函数优化的过程。 在分类或者回归问题中，通常使用损失函数（代价函数）作为其目标函数。 损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的算法使用的损失函数不一样。 损失函数分为经验风险损失函数和结构风险损失函数 经验风险损失函数指预测结果和实际结果的差别 结构风险损失函数是指经验风险损失函数加上正则项 来源： https://www.cnblogs.com/xin-qing3/p/11360640.html

1_XGBoost原理 \[ \begin{align} X\!G\!Boost&=eXtreme+GBDT\\ &=eXtreme+(Gradient+BDT) \\ &=eXtreme+Gradient+(Boosting+DecisionTree) \end{align} \] \[Boosting \to BDT \to GBDT \to X\!G\!Boost\]   * 提升方法boosting + 决策树DecisionTree --> BDT提升决策树   * BDT + Gradient梯度拟合残差 --> GBDT梯度提升决策树   * GBDT + eXtreme工程优化 --> XGBoost 决策树的表示形式： （1）树形结构，由根结点到叶结点 （2）规则集表示方法，if--else--- （3）回归树 在坐标系中画出回归决策树 （4）用公式表示 决策树的特征选择方法 决策树的剪枝方法 1_1_提升方法（Boosting）   提升方法使用 加法模型 和 前向分步算法 。   加法模型：要求模型要具备可加性（如：决策树）     加法模型 \[f\left(x\right)=\sum_{m=1}^M\beta_m b\left(x;\gamma_m\right) \tag{1.1}\] 其中， \(b\left(x;\gamma_m\right)\)

文章目录 机器学习————SVM支持向量机 支持向量机的损失函数 由逻辑回归的损失函数改进至支持向量机的损失函数 向量内积性质的复习 SVM的核函数：用来使SVM能够处理非线性分类 如何选择标记点呢？ 机器学习————SVM支持向量机 支持向量机的损失函数 由逻辑回归的损失函数改进至支持向量机的损失函数 向量内积性质的复习 SVM的核函数：用来使SVM能够处理非线性分类 给定了x后，通过计算和l1,l2,l3的相近距离，来确定f1, f2, f3 如何选择标记点呢？ 在给出的所有点中，选择每一个点当作标记点 （x(1), y(1)）, （x(2), y(2)）, （x(3), y(3)）, （x(m), y(m)） l(1) = x(1) , l(2) = x(2) , l(3) = x(3) , l(m) = x(m) f1 = similarity(x, l(1)) f2 = similarity(x, l(2)) … 来源： https://blog.csdn.net/weixin_41460135/article/details/99293657

定义： 损失函数（Loss Function ）：定义在单个样本上的，计算的是一个样本的误差。 代价函数（Cost Function ）：定义在整个训练集上的，是所有样本误差的平均，计算的是损失函数的平均。 有的地方将损失函数和代价函数没有进行区分，也就是损失函数 = 代价函数。 目标函数（Object Function）：最终需要优化的函数。等于经验风险+结构风险（也就是Cost Function + 正则化项）。 经验风险和结构风险： 举个例子解释一下: f1(x) f2(x) f3(x) 我们是想用这三个函数分别来拟合Price，Price的真实值记为Y。 我们给定x，这三个函数都会输出一个f(x) ,这个输出的f(x) 与真实值可能是相同的，也可能是不同的，为了表示我们拟合的好坏，我们就用一个函数来度量拟合的程度，比如： ， 这个函数就称为损失函数(loss function)，或者叫代价函数(cost function)。 损失函数越小，就代表模型拟合的越好。 那是不是我们的目标就只是让loss function越小越好呢？还不是。 这个时候还有一个概念叫风险函数(risk function)。风险函数是损失函数的期望（也就是均值），这是由于我们输入输出的(X,Y)遵循一个联合分布，但是这个联合分布是未知的，所以无法计算。但是我们是有历史数据的，就是我们的训练集，f(X

　损失函数是机器学习中常用于优化模型的目标函数，无论是在分类问题，还是回归问题，都是通过损失函数最小化来求得我们的学习模型的。损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数是指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。通常表示为： 　　 　　θ*是我们通过损失函数最小化要求得的参数，一般都是通过梯度下降法来求得 1、0-1损失函数 　　0-1损失函数的表达式如下，常见于感知机模型中，预测正确则损失为0，预测错误则损失为1： 　　 2、绝对值损失函数 　　 3、log对数损失函数　 　 　　对数损失函数最常见的应用就是在逻辑回归中，其表达式如下： 　　 4、平方损失函数 　　平方损失函数常见于回归问题中，如线性回归，其表达式如下： 　　 5、指数损失函数 　　指数损失函数常见于Adaboost算法中，其表达式如下： 　　 6、Hinge损失函数 　　Hinge损失函数常见与SVM中，有点类似于0-1损失函数，不同的是对于分类错误的点，其损失值不再是固定值1，而是和样本点离超平面的距离有关。其表达式如下; 　　 　　其中l 是hinge函数，其标准形式如下： 　　 　　除此之外还有一些不怎么常见的损失函数，比如在GBDT中的Huber损失函数等 来源： https://www.cnblogs.com/chen8023miss/p

损失函数用来估量预测值和真实值的不一致程度。损失函数越小，模型的鲁棒性就越好。损失函数是 经验风险函数 的核心部分，也是 结构风险函数 重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子： 前面的均值函数表示的是经验风险函数，L代表的是损失函数，后面的 Φ Φ是正则化项（regularizer）或者叫惩罚项（penalty term），它可以是L1，也可以是L2，或者其他的正则函数。 一、对数损失函数（逻辑回归） 在逻辑回归的推导中，它假设样本服从 伯努利分布（0-1分布） ，然后求得满足该分布的似然函数，接着取对数求极值等等。而逻辑回归并 没有求似然函数的极值 ，而是把 极大化 当做是一种思想，进而推导出它的经验风险函数为： 最小化负的似然函数（即max F(y, f(x)) —> min -F(y, f(x))) 。从损失函数的视角来看，它就成了log损失函数了。 二、平方损失函数（最小二乘法） 最小二乘法是线性回归的一种，OLS将问题转化成了一个凸优化问题。在线性回归中，它假设样本和噪声都服从高斯分布（为什么假设成高斯分布呢？其实这里隐藏了一个小知识点，就是 中心极限定理 ，可以参考 【central limit theorem】 ），最后通过极大似然估计（MLE）可以推导出最小二乘式子。 最小二乘的基本原则是：