逻辑回归

目录 逻辑回归 一、认识Logistic Regression 二、Logistic Regression的损失函数 三、Logistic Regression的损失函数的梯度 四、编程实现Logistic Regression 五、决策边界 1、Logistic Regression的决策边界 2、KNN的决策边界 七、逻辑回归中使用多项式特征 八、逻辑回归中使用正则化 1、使用Logistic Regression L2正则 2、使用Logistic Regression L1正则 九、逻辑回归解决多分类问题 1、OvR 2、OvO 3、Logistic Regression的OvR和OvO的编程实现 4、sklearn中的OvR和OvO 我是尾巴 逻辑回归 逻辑回归（Logistics Regression）,用来解决分类问题，那回归怎么解决分类问题？ 将样本特征和样本发生的概率联系起来，概率是一个数。 这是一个统计数据，Logistic Regression是最广泛使用的一种算法。 一、认识Logistic Regression 逻辑回归通常既可以看做回归算法，又可以看做分类算法，通常作为分类算法，只可以解决二分类问题。 通常我们在直线回归过程中使用第一行的公式，但是他的值域是从（-infineity， +infinity）而所需的概率的值域为[0,1],因此做一下改进，

基础不牢，地动山摇。 用机器学习算法做分类任务的小伙伴一定使用过 “逻辑回归分类器” 这个东西，顾名思义，既然是个分类器，那逻辑回归肯定是用在分类任务中的。我在 上一篇博客 中介绍过回归任务与分类任务的区别：回归任务用来预测一个数值，分类任务用来预测一个标签。逻辑回归既然是用在分类任务中的，那它的名字里为什么要有“回归”两个字呢？ 我们可以来大胆地假设一下， 逻辑回归是不是在用回归的思想做分类 。 1. 如何用回归的思想做分类 让我们以最简单的二分类任务为例，假设样本的真实分类标签 只能是 或者 。而线性回归模型产生的预测值 是实值，它的取值范围可以是一切实数。 于是，我们想办法将回归模型产生的实值 转换为分类任务所需的 或者 ，这样也就实现了回归任务和分类任务的相互转化。 最简单的方法是将实值 输入单位阶跃函数： 若预测值 大于零就判标签为 ，小于零就判标签为 ，预测值为临界值可以任意判别，示意图如下： 2. Logistic函数 自此，我们已经用一个单位阶跃函数将回归模型的思想与分类任务结合起来了。但是，单位阶跃函数并不连续，这会给我们带来一些不便，于是我们希望找到能在一定程度上近似单位阶跃函数的“替代函数”，Logistic函数正是这样一个常用的替代函数： 它的函数图像如下： 从图中可以看出，Logistic函数是一种“Sigmoid函数”。 它能将回归模型输出的

我们先来看看 线性回归（ liner regression ） 问题。 现在已知的是这儿有m个样本，比如是m个房子，每个样本具有n个特征属性，比如房子的面积、空间等，我们还知道每个样本的 预测特性 ，比如房价，我们用向量X表示每个样本，那么就有如下数据表示： 每个样本n个特征，我们用j表示第j个特征，每个向量X表示如下： 来源： https://blog.csdn.net/macunshi/article/details/99329581

标题 1.逻辑回归(Logistic Regression) 1.1逻辑回归与线性回归的关系 1.2损失函数 1.3多分类问题(one vs rest) 1.4逻辑回归(LR)的一些经验 1.5LR的应用 1.6Python代码实现 寻觅互联网，少有机器学习通俗易懂之算法讲解、案例等，项目立于这一问题之上，整理一份基本算法讲解+案例于文档，供大家学习之。通俗易懂之文章亦不可以面概全，但凡有不正确或争议之处，望告知，自当不吝赐教！ GitHub地址(代码加数据) 1.逻辑回归(Logistic Regression) 1.1逻辑回归与线性回归的关系 逻辑回归是用来做分类算法的，大家都熟悉线性回归，一般形式是Y=aX+b，y的取值范围是[-∞, +∞]，有这么多取值，怎么进行分类呢？不用担心，伟大的数学家已经为我们找到了一个方法。 首先我们先来看一个函数，这个函数叫做Sigmoid函数： 函数中t无论取什么值，其结果都在[0,-1]的区间内，回想一下，一个分类问题就有两种答案，一种是“是”，一种是“否”，那0对应着“否”，1对应着“是”，那又有人问了，你这不是[0,1]的区间吗，怎么会只有0和1呢？这个问题问得好，我们假设分类的阈值是0.5，那么超过0.5的归为1分类，低于0.5的归为0分类，阈值是可以自己设定的。 好了，接下来我们把aX+b带入t中就得到了我们的逻辑回归的一般模型方程

https://www.toutiao.com/a6706348363916247559/ 写给产品经理的机器学习算法入门，在文章中会忽略一些细节以及算法本身具体的实现方式。我想尽量用直白的语言、较少的数学知识给各位产品经理讲清楚各个算法的原理是什么。 机器学习的过程 机器学习的过程从本质上来说就是通过一堆的训练数据找到一个与理想函数（f）相接近的函数。在理想情况下，对于任何适合使用机器学习的问题在理论上是存在一个最优的函数让每个参数都有一个最合适的权重值，但在现实应用中不一定能这么准确得找到这个函数，所以我们要去找与这个理想函数相接近的函数，能够满足我们的使用那么我们就认为是一个好的函数。 这个训练数据的过程通常也被解释为在一堆的假设函数（Hypothesis set）中，它是包含了各种各样的假设，其中包括好的和坏的假设，我们需要做的就是从这一堆假设函数中挑选出它认为最好的假设函数（g）,这个假设函数是与理想函数（f）最接近的。 机器学习过程 机器学习这个过程就好比在数学上，我们知道了有一个方程和一些点的坐标，用这些点来求这个方程的未知项从而得到完整的方程是什么。但在机器学习上我们往往很难解出来这个完整的方程是什么，所以我们只能通过各种手段求最接近理想情况下的未知项取值，使得这个结果最接近原本的方程。 什么问题适合用机器学习解决 机器学习不是万能的，并不能解决所有的问题

1.1 逻辑回归原理详解 1.1.1 LR原理讲解+公式推导 从公式推导中详细讲解逻辑回归算法的原理。 线性回归模型： 逻辑回归是用来估计一个实例属于某个特定类别的概率，是一个二分类算法，如果预估概率大于等于50%，则模型预测该实例为正类，反之，则预测为负类。 则需要把y从负无穷大到正无穷大映射为概率p从0到1，可以设置为： 则： 两边取e,整理后，得到 逻辑函数 ： 一旦逻辑回归模型估算出实例x属于正类的概率为p,那么就可以轻松推断出y值。 假设： 则： 我们需要对系数θ估计，可以采用极大似然估计（MLE），通过最大化对数似然值来估计参数。 注：极大似然估计定义见下文详细讲解。 两边取对数，连乘会改为连加。 单个训练实例的成本函数： 当p接近于0时，-log(p)就会变得非常大，如果模型估计一个正类的概率接近于0，成本将会变得很高。同理，估计一个负类实例的概率接近于1，成本也会变得非常高。 整个训练集的成本函数即为训练实例的平均成本。逻辑回归成本函数表示如下。 逻辑回归成本函数（log 损失函数） ： 这是一个凸函数，通过梯度上升能够找出全局最大值。（只要学习率不是太高，又可以长时间等待） 对logL求某个系数θ的偏导： 手写过程如下所示： 即：逻辑回归成本函数的偏导数为每个实例真实值与预测值的误差，将其乘以第j个特征值，并求和。 那么怎么获得系数呢？通过 这个函数开口向下

Task2 主要整理逻辑回归相关算法。 逻辑回归与线性回归的联系与区别 联系 逻辑回归本质上还是线性回归, 只是在特征到结果的映射中加入了一层函数映射, 即先把特征线性求和, 然后使用函数 g(z) 将连续结果值映射到 (0, 1) 之间, 我们将线性回归模型的表达式代入到 Logistic(Sigmoid) 函数之中, 就得到了逻辑回归的表达式: 区别 最本质区别: 逻辑回归处理的是分类问题, 线性回归处理的是回归问题. 在逻辑回归中, 因变量的取值是一个 二元分布(不是二项分布). 而线性回归中实际上求解的是对真实函数关系的一个近似拟合。 逻辑回归的原理 逻辑回归就是这样的一个过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏。 Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别） 回归模型中，y是一个定性变量，比如y=0或1，logistic方法主要应用于研究某些事件发生的概率 逻辑回归损失函数推导及优化 Cost函数和J函数如下，它们是基于最大似然估计推导得到的。 推导过程： 1.求代价函数 概率综合起来写成： 取似然函数为： 对数似然函数为： 最大似然估计就是求使l(θ)取最大值时的θ，其实这里可以使用梯度上升法求解