通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这个目标函数优化的过程。
在分类或者回归问题中，通常使用损失函数（代价函数）作为其目标函数。
损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的算法使用的损失函数不一样。
损失函数分为经验风险损失函数和结构风险损失函数
经验风险损失函数指预测结果和实际结果的差别
结构风险损失函数是指经验风险损失函数加上正则项
来源：https://www.cnblogs.com/xin-qing3/p/11360640.html