logistic函数

　　 简单总结一下机器学习最常见的两个函数，一个是logistic函数，另一个是softmax函数，若有不足之处，希望大家可以帮忙指正。本文首先分别介绍logistic函数和softmax函数的定义和应用，然后针对两者的联系和区别进行了总结。 1. logistic函数 1.1 logistic函数定义 　　引用wiki百科的定义： 　　A logistic function or logistic curve is a common "S" shape (sigmoid curve). 　　其实逻辑斯谛函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线。 　　logistic函数的公式形式如下： f ( x ) = L 1 + e − k ( x − x 0 ) f(x)=L1+e−k(x−x0) 　　其中， x 0 x0表示了函数曲线的中心（sigmoid midpoint）， k k是曲线的坡度。 　　logistic的几何形状如下所示： 1.2 logistic函数的应用 　　logistic函数本身在众多领域中都有很多应用，我们只谈统计学和机器学习领域。 　　logistic函数在统计学和机器学习领域应用最为广泛或者最为人熟知的肯定是逻辑斯谛回归模型了。逻辑斯谛回归（Logistic Regression，简称LR）作为一种对数线性模型（log

文章目录 逻辑回归 逻辑回归学习目标 逻辑回归引入 逻辑回归详解 线性回归与逻辑回归 二元逻辑回归的假设函数 让步比 Sigmoid函数图像 二元逻辑回归的目标函数 不同样本分类的代价 二元逻辑回归目标函数最大化 梯度上升法 线性回归和逻辑回归的参数更新 拟牛顿法 二元逻辑回归模型 二元逻辑回归的正则化 L1正则化 L2正则化 多元逻辑回归 OvR MvM 逻辑回归流程 输入 输出 流程 逻辑回归优缺点 优点 缺点 小结 逻辑回归   虽然逻辑回归的名字里有“回归”两个字，但是它并不是一个回归算法，事实上它是一个分类算法。 逻辑回归学习目标 二元逻辑回归的目标函数 最小化二元逻辑回归目标函数 二元逻辑回归的正则化 多元逻辑回归 逻辑回归的流程 逻辑回归的优缺点 逻辑回归引入 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1O9UxwXA-1582719512430)(…/新配图/恶搞图/06-09-操场2.jpg)]   曾经在感知机引入时我们讲过，操场上男生和女生由于受传统思想的影响，男生和女生分开站着，并且因为男生和女生散乱在操场上呈线性可分的状态，因此我们总可以通过感知机算法找到一条直线把男生和女生分开，并且最终可以得到感知机模型为 f ( x ) = s i g n ( ( w ∗ ) T x ) f(x)=sign((w^*)^Tx) f

模型介绍 对于分类问题，其得到的结果值是离散的，所以通常情况下，不适合使用线性回归方法进行模拟。 所以提出Logistic回归模型。 其假设函数如下： \[ h_θ(x)=g(θ^Tx) \] 函数g定义如下： \[ g(z)=\frac{1}{1+e^{-z}}(z∈R) \] 所以假设函数书写如下： \[ h_θ(x)=\frac{1}{1+e^{-θ^Tx}} \] 图像类似如下： 根据图像我们可以看出，当g(z)中的z大于0的时候，其g(z)则大于0.5，则此状态下的可能性则更大。 决策边界 对于假设函数h θ ，当确定了其中所有的系数θ，则可以将 \(θ^Tx\) 绘制出一个用于区分结果值0与1之间的边界。 代价函数 和线性回归相同，代价函数可以用于构造最合适的系数θ。 \[ J(θ)=\frac{1}{m}\sum_{i=1}^{m}{cost(h_θ(x)-y)} \] \[ cost(h_θ(x)-y)=\begin{cases} -log(h_θ(x)) & if & y=1 \\ -log(1-h_θ(x)) & if & y=0 \end{cases} \] \[ J(θ)=\frac{1}{m}[\sum_{i=1}^{m}{y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))}] \] 分析