机器学习：逻辑回归
虽然名字里带回归，但实际上是一种分类方法，主要用于两分类问题，即只有两种分类 优点：计算代价不高，易于理解和实现 缺点：容易欠拟合，分类精度可能不高 原理 线性回归函数 \(\small z = f(X) = XW\) 其中 X 是特征值 W 是回归系数 X 和 W 都是向量，可展开为 \(\small z = XW = X_{0}W_{0} + X_{1}W_{1} + ... + X_{n}W_{n}\) 线性方程其实应该是 \(\small z = XW + b\) 为此这里固定 \(\small X_{0}=1\) \(\small W_{0}=b\) 其他 X 值才是用户输入，这样变成两个向量相乘方便计算 逻辑回归函数 (Sigmoid 函数) \(\small y=g(z)=\frac{1}{1+e^{-z}}\) 该函数模拟阶跃函数 (在某个跳跃点从 0 瞬间跳到 1，跳跃点两边的值固定为 0 和 1) 可以得出 \(\small y=\left\{\begin{matrix}0.12&z=-2\\0.5&z=0\\0.88&z=2\end{matrix}\right.\) 且满足 \(\small g(z) + g(-z) = 1\)