逻辑回归的介绍

逻辑回归是在分类算法里最重要的一个，而且它是一个基准 Baseline。在分类算法中，强烈建议先从逻辑回归进行测试，然后再慢慢到复杂的模型。因为这个 Baseline 一般可以为我们提供参考来推断更复杂的模型是否需要调参的问题。

逻辑函数应用广泛，在神经网络中处处可见，我们可以把它的值作为概率，也可以作为权重。概率有两个必须满足的条件：1.概率的值是在（0,1）之间； 2. 概率的值相加等于 1.

在很多模型进行训练时会涉及到导数 Derivative 的计算，而逻辑函数的导数及其简单。

逻辑回归与线性回归的关系

因为逻辑函数的定义域是负无穷到正无穷，但是可以把任意区间的值映射到值域是（0,1）的区间。

线性回归也是负无穷到正无穷的，但是其值也是负无穷到正无穷，

但是，如果把线性回归套进逻辑回归中，就可以将其用作概率了。（把以下公式套进逻辑回归的 x 当中）

逻辑回归的用法

逻辑回归针对的是二分类的问题，因此，某个样本必然属于其中的一个分类。

条件概率 P( y = 0 | x ) 和 P( y = 1 | x ) 之和一定是等于 1。

最大似然估计

最大似然估计 Maximum Likelihood Estimation 是一个方法论，是一个框架，是机器学习领域最常用的用来构造目标函数 objective function 的方法，它是通过根据观测到的结果来得出未知参数θ。