auc

我们曾经有这样的疑惑，那就是训练样本，AUC得到提升。当将新模型放到线上后，却发现实际效果却没有老模型好，这时候很多人就开始疑惑了。 ​ 在机器学习算法中，很多情况我们都是把auc当成最常用的一个评价指标，而auc反映整体样本间的排序能力，但是有时候auc这个指标可能并不能完全说明问题，有可能auc并不能真正反映模型的好坏，以CTR预估算法(推荐算法一般把这个作为一个很重要的指标)为例，把用户点击的样本当作正样本，没有点击的样本当作负样本，把这个任务当成一个二分类进行处理，最后模型输出的是样本是否被点击的概率。 ​ 举个很简单的例子，假如有两个用户，分别是甲和乙，一共有5个样本，其中+表示正样本，-表示负样本，我们把5个样本按照模型A预测的score从小到大排序，得到 甲-，甲+，乙-，甲+，乙+. 那么实际的auc应该是 (1+2+2)/(32)=0.833， 那假如有另一个模型B，把这5个样本根据score从小到大排序后，得到 甲-，甲+，甲+，乙-，乙+， 那么该模型预测的auc是(1+1+2)/(32)=0.667。  那么根据auc的表现来看，模型A的表现优于模型B，但是从实际情况来看，对于用户甲，模型B把其所有的负样本的打分都比正样本低，故，对于用户甲，模型B的auc是1， 同理对于用户乙，模型B的auc也应该是1，同样，对于用户甲和乙，模型A的auc也是1

Given a vector of scores and a vector of actual class labels, how do you calculate a single-number AUC metric for a binary classifier in the R language or in simple English? Page 9 of "AUC: a Better Measure..." seems to require knowing the class labels, and here is an example in MATLAB where I don't understand R(Actual == 1)) Because R (not to be confused with the R language) is defined a vector but used as a function? As mentioned by others, you can compute the AUC using the ROCR package. With the ROCR package you can also plot the ROC curve, lift curve and other model selection measures. You

7.1 分类模型评估 1、二分类 　　混淆矩阵中对角线的元素代表正确分类的数量； 　　非对角线元素代表错误分类的数量。 所以最为理想的模型（拿测试集来看），应该是一个对角阵。 若无法得到对角阵，对角线上的数字之和如果占统治地位也是可以的。 片面的追求查准率可能会降低召回率 2、多分类 recall 参数中的 average() 的取值： 　　binary 表示二分类 　　micro 表示多元混淆矩阵中的第一种方法 　　macro 表示的是一种不加权的平均 　　weighted 表示加权的平均 3、 反应分类效果的图及 ROC 曲线阈值的选取 （ 1 ） ROC 、 AUC 选取标准：让 TPR 尽可能的大， FPR 尽可能的小，所以选取其拐点 AUC 表示的是 ROC 曲线下的面积，可以直接反应 ROC 曲线像左上方靠近的程度。 如何做 ROC 曲线？ https://scikit-learn.org/stable/modules/generated/sklearn.metrics.roc_curve.html#sklearn.metrics.roc_curve xy_lst = [(X_train, Y_train), (X_validation, Y_validation), (X_test, Y_test)] import matplotlib.pyplot as plt

注: 好文章摘抄自 https://testerhome.com/topics/11390 模型训练的时候通常会将数据分成三部分。 分别是training set， dev set(也叫validation set)和 test set。 在模型调研过程中，training set用来训练模型， dev set用来统计单一评估指标，调节参数, 选择算法。 test set 则用来在最后整体评估模型的性能。 三者之间的关系与作用 如上图，假设有一份数据，会将它按一定的规则进行拆分。其中training set和dev set分别输入到了逻辑回归算法中，而test set则是在模型训练结束后，被输入到模型中评估结果。 我们可以根据report来看一下他们各自的作用。 尤其是dev set和test set，在很多文章中对他们的介绍很模棱两可，让人搞不明白他们之间到底有什么区别。 给我的感觉就是写文章的人也不懂，在那里随便写写罢了。 我们先看training set和dev set，因为他们都被输入到了模型训练算法中。 上图是模型训练的report。 我们可以从中看到training set和dev set(图中叫验证集) 的auc指标。这里便引入了dev set的作用， training set 很好理解，训练模型用的。 而dev set的作用就是在这里很方便的评估算法的单一评估指标

I am trying to build a classifier with LightGBM on a very imbalanced dataset. Imbalance is in the ratio 97:3 , i.e.: Class 0 0.970691 1 0.029309 Params I used and the code for training is as shown below. lgb_params = { 'boosting_type': 'gbdt', 'objective': 'binary', 'metric':'auc', 'learning_rate': 0.1, 'is_unbalance': 'true', #because training data is unbalance (replaced with scale_pos_weight) 'num_leaves': 31, # we should let it be smaller than 2^(max_depth) 'max_depth': 6, # -1 means no limit 'subsample' : 0.78 } # Cross-validate cv_results = lgb.cv(lgb_params, dtrain, num_boost_round=1500,

AUC数值即为ROC曲线下的面积。ROC曲线从0点开始上升越快，说明模型错分正样本的比例越小，模型对正样本识别的能力越强。在ROC曲线的基础上，抛开阈值的调节，ROC曲线下半部分的面积值就是AUC值。AUC值介于0到1之间，是一种概率值。本质上AUC是在模型预测的数据集中，比较正负样本，评估正样本分数排在负样本之上的能力，进而估计模型对正样本预测的可信程度。 由于AUC指标能较好地概括不平衡类别的样本集下分类器的性能，因此成为很多机器学习系统中的最终判定标准。 来源： https://blog.csdn.net/jxq0816/article/details/100045260

分类模型评估： 指标 描述 Scikit-learn函数 Precision 精准度 from sklearn.metrics import precision_score Recall 召回率 from sklearn.metrics import recall_score F1 F1值 from sklearn.metrics import f1_score Confusion Matrix 混淆矩阵 from sklearn.metrics import confusion_matrix ROC ROC曲线 from sklearn.metrics import roc AUC ROC曲线下的面积 from sklearn.metrics import auc 回归模型评估： 指标 描述 Scikit-learn函数 Mean Square Error (MSE, RMSE) 平均方差 from sklearn.metrics import mean_squared_error Absolute Error (MAE, RAE) 绝对误差 from sklearn.metrics import mean_absolute_error, median_absolute_error R-Squared R平方值 from sklearn.metrics import r2

Data competition: From 0 to 1: Part I 1. Data competition Introduction 2. Example: Credit Fraud Detector EDA(Exploratory Data Analysis) Why taking log transformation of continuous variables? Outliers Detection Unbalance Metrics Resampling Cross-validation: evaluating estimator performance Cross validation iterators Cross-validation iterators for grouped data Cross validation of time series data Modeling Data competition: From 0 to 1: Part I 1. Data competition Introduction A typical data science process might look like this: Project Scoping / Data Collection Exploratory Analysis Data Cleaning