adaboost

目录 0、损失函数简介 0.1 对数损失函数 0.2 平方损失函数 0.3 指数损失函数？？含义 0.4 合页损失函数 0.5 其他损失函数 1、KNN损失函数 2、朴素贝叶斯 3、决策树 4、逻辑回归 5、支持向量机 6、Adaboost提升算法 7、EM算法 8、隐式马尔科夫模型 9、条件随机场 12、线性回归 10、XGBoost算法 11、LightGBM算法三 0、损失函数简介 损失函数是用来估量你模型的预测值f(x)与真实值y之间的不一致程度，它是一个非负实值函数，通常使用 L(y, f(x)) 来表示。损失函数越小，模型的鲁棒性就越好。 损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型函数包括了经验风险项和正则项，表达公式为： \[ \theta ^{*} = argmin_{\theta} \frac{1}{N} \sum_{i=1}^{N} L(y_{i}, f(x_{i}; \theta)) + \lambda \Phi (\theta)\] 前面的均值函数表示的是经验风险函数，L表示损失函数，后面的 \(\Phi\) 是正则化项或者惩罚项。可以是L1，也可以是L2。整个表达式就是使目标函数最小时的 \(\theta\) 值。 令数据集为{X,y}，其中 \(X = {x_{1}, x_{2}, ... , x_{N}}\) ， \(x_{i

1. 决策树 根据一些 feature 进行分类，每个节点提一个问题，通过判断，将数据分为两类，再继续提问。这些问题是根据已有数据学习出来的，再投入新数据的时候，就可以根据这棵树上的问题，将数据划分到合适的叶子上。 如果你觉得这篇文章看起来稍微还有些吃力，或者想要更系统地学习人工智能，那么推荐你去看床长人工智能教程。非常棒的大神之作，教程不仅通俗易懂，而且很风趣幽默。点击 这里 可以查看教程。 2. 随机森林 视频 在源数据中随机选取数据，组成几个子集 S 矩阵是源数据，有 1-N 条数据，A B C 是feature，最后一列C是类别 由 S 随机生成 M 个子矩阵 这 M 个子集得到 M 个决策树 将新数据投入到这 M 个树中，得到 M 个分类结果，计数看预测成哪一类的数目最多，就将此类别作为最后的预测结果 3. 逻辑回归 视频 当预测目标是概率这样的，值域需要满足大于等于0，小于等于1的，这个时候单纯的线性模型是做不到的，因为在定义域不在某个范围之内时，值域也超出了规定区间。 所以此时需要这样的形状的模型会比较好 那么怎么得到这样的模型呢？ 这个模型需要满足两个条件 大于等于0，小于等于1 大于等于0 的模型可以选择 绝对值，平方值，这里用 指数函数，一定大于0 小于等于1 用除法，分子是自己，分母是自身加上1，那一定是小于1的了 再做一下变形，就得到了 logistic