caffe详解之损失函数

从零开始，一步一步学习caffe的使用，期间贯穿深度学习和调参的相关知识！

Caffe中的损失函数解析

导言

在有监督的机器学习中，需要有标签数据，与此同时，也需要有对应的损失函数（Loss Function）。
在Caffe中，目前已经实现了一些损失函数，包括最常见的L2损失函数，对比损失函数，信息增益损失函数等等。在这里做一个笔记，归纳总结Caffe中用到的不同的损失函数，以及分析它们各自适合的使用场景。

欧式距离损失函数（Euclidean Loss）

对比损失函数（Contrastive loss）

铰链损失函数（Hinge Loss）

信息增益损失函数（InformationGain Loss）

多项式逻辑损失函数（Multinomial Logistic Loss）

Sigmoid 交叉熵损失函数（Sigmoid Cross Entropy Loss）

Softmax+损失函数(Softmax With Loss)

总结

欧式距离损失函数：一般适用于回归问题，特别是回归的值是实数的时候。
对比损失函数：用来训练siamese网络时候。
Hinge loss：在一对多的分类中应用，类似于SVM。
多项式逻辑损失函数：一般在一对多的分类任务中应用，直接把预测的概率分布作为输入。
sigmoid交叉熵损失函数：预测目标概率分布。
softmax+损失函数：在一对多分类中的应用。