1.线性回归不适用于分类问题。
原因：1.单个样本对于线性回归可能会造成很大的影响。
2.函数的输出值可能非常大，非常离谱。
2.逻辑回归(logistic regression)：一种分类算法。是广义线性回归，$h(x)=g(\theta^{T}x)$，其中
$g(x)=\frac{1}{1+e^{-x}}$
被称为logistic函数，或sigmoid函数。
3.记号：$h_{\theta}(x)=P(y=1|x;\theta)$，即在theta参数和x的条件下，y等于1的概率。
4.决策边界(decision boundary)：$h(x)=0$的解集，这是h函数、参数的属性，而不是数据集的属性。
5.逻辑回归可以像以前特征缩放一样使用多项式，这样就造成其可拟合很多类型的数据集。
6.逻辑回归问题：
h函数,$h_{\theta}{(x)}=\frac{1}{1+e^{-\theta^{T}x}}$
(x(i),y(i))第i样样本，输入为x，输出为y
最小化$\frac{1}{m}\sum{cost(h_{\theta}(x^{(i)}),y^{(i)})}$
可以发现，如果直接使用梯度下降法，非常容易会停留在局部最优值上，因此代价函数不能使用平方误差函数。
而我们的麻烦之处，正在于e次方上，我们便尝试使用对数函数来去掉它的影响。于是代价函数为：
$$cost(h_{\theta}(x),y)=\begin{cases}-log(h_{\theta}(x))if\quad y=1\\-log(1-h_{\theta}(x))if\quad y=0\end{cases}$$
条件不要搞反了。
为什么？
于是，$$J(\theta)=\frac{1}{m}\sum_{i=1}^{m}{-y-log(h_{\theta}(x))-(1-y)log(1-h_{\theta}(x))}$$
$$=-\frac{1}{m}\sum_{i=1}^{m}{y+log(h_{\theta}(x))+(1-y)log(1-h_{\theta}(x))}$$
我们知道，线性回归梯度下降的公式为$$\theta_{i}:=\theta_{i}-\alpha\sum_{j=1}^{m}{(h_{\theta}(x^{(j)})-y^{(j)})}x^{(j)}_{i}$$
对逻辑回归的误差函数求一下导，发现：
傻眼了吧？就是线性回归的式子。
来源：https://www.cnblogs.com/GreenDuck/p/12318313.html