机器学习(四)——逻辑回归
机器学习(四)——逻辑回归 文章目录 机器学习(四)——逻辑回归 关于分类问题 逻辑回归 隐含变量模型——probit回归 逻辑分布与sigmoid函数 逻辑回归 多分类问题 one-vs-all one-vs-one 多元逻辑回归 正则化 小结 关于分类问题 在前面的博文中,我介绍了线性回归、岭回归、Lasso回归三种回归模型,以及求解机器学习优化问题最重要、应用最广泛的优化算法——梯度下降法。接下来我们把目光投向另一类问题,也是更加广泛的问题—— 分类问题 。 在实际机器学习的应用领域中,我们更多地碰到的是这样的问题,我们通常需要预测的变量并不是连续的,而是离散的,举几个例子: 确定一封邮件是否为垃圾邮件;(这一类只有两个可能结果的问题被称为 二分类问题 ) 根据医学检测影像判断肿瘤是良性或者恶性; 预测一个产品属于优良中差中的哪一等;(这一类有多个可能结果的问题被称作 多分类问题 ) 对于这一类问题,回归模型往往起不到作用,这时我们就需要另一种模型—— 分类模型 。 逻辑回归 (Logistic Regression)就是一个非常经典的分类模型, 逻辑回归 我们以一个二分类的问题为例,讲解二元逻辑回归的基本原理。假设我们要分析一批学生在概率论与数理统计考试中能否及格。我们目前已经采集到了过去几届的人是否通过的数据,以及他们在大一时的各科成绩。我们希望能通过这些数据建立模型