逻辑回归

python信用评分卡建模（附代码，博主录制） https://study.163.com/course/introduction.htm?courseId=1005214003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share sklearn逻辑回归官网调参指南 https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html sklearn.linear_model .LogisticRegression class sklearn.linear_model. LogisticRegression ( penalty=’l2’ , dual=False , tol=0.0001 , C=1.0 , fit_intercept=True , intercept_scaling=1 , class_weight=None , random_state=None , solver=’warn’ , max_iter=100 , multi_class=’warn’ , verbose=0 , warm_start=False , n_jobs=None , l1

逻辑回归模型是业界运用最为广泛的模型，我们从下面几个方面讨论这个模型： 1. 在模型层面上 ，逻辑回归模型是被用来解决分类问题的。由于分类是一个非线性问题，所以建模的主要难点是如何将非线性问题转化为线性问题。主要从两方面入手： - 从分解问题的角度入手 ：通过引入隐含变量（这里举一个例子，来解释什么是隐含变量：当人们在购买衣服的时候，能被其他人观察到的只有购买与否这个行为，而忽略了在这行为之前的内心博弈的过程。这个博弈的过程其实就是内心在比较购买带来的快乐多还是购买带来的烦恼多，是一个概率问题，在统计上，这个过程我们可以看成事件发生比，它表示的是该事件发生于不发生的比率）。将问题划分为两个层次，一个是线性的隐含变量模型，另一个是基于隐含变量模型结果的非线性的变换。 正态分布的累积分布函数几乎和逻辑分布的累积分布函数一样。 其中虚线，呈S形状，因此也被称为S函数（sigmoid函数），它其实就是描述了某一方竞争胜出的概率。 - 从图像的角度入手 ：逻辑回归通过非线性的空间变换，将原空间内非线性的分类问题转换为新空间内的线性问题，再用线性模型去解决。 上图中右图表示原空间，左图表示变换后的空间。可以形象地把右图想象成橡皮泥，握住里面曲线的两头，用力将其拉成一条直线，就得到了左图， 换句话说，在新的线性空间中，线性回归模型就可以很好的拟合数据了。 2. 在模型评估层面

由于对逻辑回归等算法做到深刻理解有点难，目前还在学习中，尽管有现成的模型库，我们还是需要对模型的底层实现有一个了解。这里先记录一下如何利用sklearn的LogisticRegression来做一个简单的实现。后续深入了解了，再做分享（现在只懂皮毛）。 逻辑回归是分类模型哦：逻辑回归实际上是利用sigmoid函数将线性回归进行了归一化，把输出值压缩到了0-1之间，这个值代表的是事件发生的概率 下面通过一个案例来进行分析：《良/恶性乳腺癌肿瘤预测》 这是一个已经提供了的数据集，地址： https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/ 数据预处理： import pandas as pd import numpy as np column_names = ['Sample code number','Clump Thickness','Uniformity of Cell Size','Uniformity of Cell Shape','Marginal Adhesion','Single Epithelial Cell Size','Bare Nuclei','Bland Chromatin','Normal Nucleoli','Mitoses','Class']

from sklearn.linear_model import LogisticRegression as LR from sklearn.linear_model import RandomizedLogisticRegression as RLR rlr=RLR() #建立随机逻辑回归模型，筛选变量 rlr.fit(x,y) #训练模型 rlr.get_support() #获取特征筛选结果 print（u'有效特征为：%s'%','.join(np.array(data.iloc[:,:8].columns)[rlr.get_support()])） x=data[np.array(data.iloc[:,:8].columns)[rlr.get_support()]].as_matrix() #筛选好特征 lr=LR() #建立逻辑回归模型 lr.fit(x,y) #用筛选后的特征数据来训练模型 print(u'逻辑回归模型训练结束') print(u'模型的平均正确率为：%s'%lr.score(x,y)) #给出模型的平均正确率 Scikit_Learn API : sklearn.linear_model 广义线性模型 sklearn.linear_model.LogisticRegression Logistic 回归分类器 Methods： score

1.读取数据――pandas #利用pandas读取数据 import pandas as pd data = pd.read_csv(r"H:\Python\data\adult.data") cols = ['age','education_num','capital_gain','capital_loss','hours_per_week','label'] data = data[cols] data.head(8) 运行结果： 2.数据转换及可视化――pandas #利用pandas进行数据转换和可视化，pandas可以将文字型类别变量转换为数字变量 data["label_code"] = pd.Categorical(data.label).codes #在原数据上生成一个变量“label_code”，这个变量只有两个值：0表示“<=50K”,1表示“>50K” data[["label","label_code"]].head(8) import matplotlib.pyplot as plt data[["age","hours_per_week","education_num","label_code"]].hist() plt.show(block=False) 运行结果： 3.数据的基本统计信息――pandas

1.读取数据――pandas #利用pandas读取数据 import pandas as pd data = pd.read_csv(r"H:\Python\data\adult.data") cols = ['age','education_num','capital_gain','capital_loss','hours_per_week','label'] data = data[cols] data.head(8) 运行结果： 2.数据转换及可视化――pandas #利用pandas进行数据转换和可视化，pandas可以将文字型类别变量转换为数字变量 data["label_code"] = pd.Categorical(data.label).codes #在原数据上生成一个变量“label_code”，这个变量只有两个值：0表示“<=50K”,1表示“>50K” data[["label","label_code"]].head(8) import matplotlib.pyplot as plt data[["age","hours_per_week","education_num","label_code"]].hist() plt.show(block=False) 运行结果： 3.数据的基本统计信息――pandas

本文摘自知乎用户文章的第三章节，源出处地址： 作者：城东 链接：https://www.zhihu.com/question/28641663/answer/110165221 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 当数据预处理完成后，我们需要从所有特征中选择有意义的特征，并将其输入机器学习算法和模型进行训练。 通常来说，从以下两个方面考虑来选择特征： （1）特征是否发散：如果一个特征不发散（ 方差接近于0 ），也就是说样本在这个特征上基本上没有差异，对于样本的区分作用不大，此类特征可以过滤掉； （2）特征与目标的相关性：这点比较显见，与目标相关性高的特征，应当优选选择。 根据特征选择的形式又可以将特征选择方法分为3种： （1）Filter（ 过滤法 ）：按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择特征。 （2）Wrapper（ 包装法 ）：根据目标函数（通常是预测效果评分，或cost function），每次选择（或排除）若干特征。 （3）Embedded（ 嵌入法 ）：先使用某些机器学习的算法和模型训练，得到各个特征的权值系数，根据系数从大到小选择特征。类似于Filter方法，只是通过训练来确定特征的优劣。 我们通常使用sklearn中的feature_selection库来进行特征选择。 （一

鸢尾花数据集的分类问题指导 -- 对数几率回归（逻辑回归）问题研究 (1) 这一篇Notebook是应用对数几率回归（ Logit Regression ）对鸢尾花数据集进行品种分类的。首先会带大家探索一下数据集中的特征，类别信息。然后带大家从入门与进阶来学习应用逻辑回归分类。 1.背景介绍 1.1. 逻辑回归 Logistic Regression （对数几率回归 Logit Regression） 名字 关于名字，有文献将Logistic Regression译为“逻辑回归”， 但中文“逻辑”与logitic 和 logit 的含义相去甚远，因此在《机器学习》中意译为“对数几率回归”，简称“对率回归”。 线性回归 在介绍对数几率回归之前先介绍一下线性回归，线性回归的主要思想是通过历史数据拟合出一条直线，因变量与自变量是线性关系，对新的数据用这条直线进行预测。 线性回归的公式如下： y=w0+w1x1+...+wnxn=wTx+b 逻辑回归 对数几率回归是一种广义的线性回归分析模型，是一种预测分析。虽然它名字里带回归，但实际上对数几率回归是一种分类学习方法。它不是仅预测出“类别”， 而是可以得到近似概率预测，这对于许多需要利用概率辅助决策的任务很有用。普遍应用于预测一个实例是否属于一个特定类别的概率，比如一封email是垃圾邮件的概率是多少。 因变量可以是二分类的

鸢尾花数据集的分类问题指导 -- 对数几率回归（逻辑回归）问题研究（2） 用逻辑回归实现鸢尾花的分类（1） 中，我们了解了鸢尾花数据集中的特征数据等信息，并尝试使用Logistic Regression方法基于scikit提供的iris数据集做简单的分类。这篇进阶版会带大家来学习 如何将原始文件中的数据转变成机器学习算法可用的numpy数据 。相信这对于无论是入门数据分析者还是有一定数据分析基础的数据分析师，都是在实际操作处理现实原始数据时最犯难的一件事。巧妇难为无米之炊，没有能够进行机器学习的数据，纵然你有各种机器学习算法的能力与技能，还是一样不能做好一个数据分析项目。 所以这次会带大家来了解一下基于 平衡的样本 下一个大体完整的数据处理与分析过程。此外，这篇notebook会在模型构造时运用sklearn中的一个有意思的类： Pipeline ，即管道机制，来实现流式教程的封装与管理（streaming workflows with pipelines）。 pipeline of transforms with a final estimator. import pandas as pd import numpy as np import matplotlib.pyplot as plt import plotly.plotly as py import plotly

##逻辑回归 import numpy as np import pandas as pd from sklearn.datasets import load_iris from sklearn.linear_model import LogisticRegression #1.导入数据 #data = pd.read_csv(’’) #2.数据预处理 #略，最终生成x_train,y_train,x_test,y_test #此处导入鸢尾花数据 x_train, y_train = load_iris(return_X_y=True) #3.模型训练 clf = LogisticRegression(random_state=0, solver=‘lbfgs’, multi_class=‘multinomial’) clf.fit(x_train, y_train) #4.模型预测 y_predict = clf.predict(x_train[:2, :]) print(y_predict) #参数列表与调参方法 LogisticRegression(penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random