逻辑回归模型

逻辑回归的概率模型与推导

一、二分类逻辑回归与二项分布

$\text{1. 模型假设}$
给定特征向量 $\mathbf{x}\in {\mathbb{R}}^p$，二分类逻辑回归假设样本标签 y∈{0,1}y \in \{0, 1\}y∈{0,1}服从伯努利分布：
$$P(y=1\mid \mathbf{x};\mathbf{\theta })=h_{\mathbf{\theta }}(\mathbf{x})=\sigma ({\mathbf{\theta }}^T\mathbf{x})$$
其中 $\sigma (z)=\frac{1}{1+e^{-z}}$ 是Sigmoid函数，将线性得分 $z={\mathbf{\theta }}^T\mathbf{x}$ 映射到概率区间 $[0,1]$。

$\text{2. 二项分布表示}$
单个样本的概率质量函数（PMF）可写为：
$$P(y\mid \mathbf{x};\mathbf{\theta })=[h_{\mathbf{\theta }}(\mathbf{x}){]}^y\cdot [1-h_{\mathbf{\theta }}(\mathbf{x}){]}^{1-y}$$
对于 $n$ 个独立同分布样本，其联合概率（似然函数）为：
$$L(\mathbf{\theta })=\prod _{i=1}^{n}P(y_i\mid {\mathbf{x}}_i;\mathbf{\theta })=\prod _{i=1}^n[h_{\mathbf{\theta }}({\mathbf{x}}_i){]}^{y_i}\cdot [1-h_{\mathbf{\theta }}({\mathbf{x}}_i){]}^{1-y_i}$$
$\text{3. 对数似然函数}$
取对数得到对数似然函数：
$$\ell (\mathbf{\theta })=\log L(\mathbf{\theta })=\sum _{i=1}^n\left[y_i\log h_{\mathbf{\theta }}({\mathbf{x}}_i)+(1-y_i)\log (1-h_{\mathbf{\theta }}({\mathbf{x}}_i))\right]$$
$\text{4. 梯度计算}$
对 $\ell (\mathbf{\theta })$ 求关于 $\mathbf{\theta }$ 的梯度：
$$\frac{\partial \ell (\mathbf{\theta })}{\partial {\theta }_j}=\sum _{i=1}^n\left[y_i\frac{1}{h_{\mathbf{\theta }}({\mathbf{x}}_i)}\cdot \frac{\partial h_{\mathbf{\theta }}({\mathbf{x}}_i)}{\partial {\theta }_j}-(1-y_i)\frac{1}{1-h_{\mathbf{\theta }}({\mathbf{x}}_i)}\cdot \frac{\partial h_{\mathbf{\theta }}({\mathbf{x}}_i)}{\partial {\theta }_j}\right]$$
其中，Sigmoid 函数的导数为：
$$\frac{\partial \sigma (z)}{\partial z}=\sigma (z)(1-\sigma (z))$$
代入得：
$$\frac{\partial h_{\mathbf{\theta }}({\mathbf{x}}_i)}{\partial {\theta }_j}=\frac{\partial \sigma ({\mathbf{\theta }}^T{\mathbf{x}}_i)}{\partial {\theta }_j}=x_{ij}\cdot \sigma ({\mathbf{\theta }}^T{\mathbf{x}}_i)(1-\sigma ({\mathbf{\theta }}^T{\mathbf{x}}_i))$$
因此梯度简化为：
$$\frac{\partial \ell (\mathbf{\theta })}{\partial {\theta }_j}=\sum _{i=1}^n{x}_{ij}\cdot \left(y_i-\sigma ({\mathbf{\theta }}^T{\mathbf{x}}_i)\right)$$
写成向量形式：
$${\nabla }_{\mathbf{\theta }}\ell (\mathbf{\theta })=\sum _{i=1}^n{\mathbf{x}}_i\left(y_i-h_{\mathbf{\theta }}({\mathbf{x}}_i)\right)$$

逻辑回归的正则化

正则化是用来防止模型过拟合的过程，常用的有 L1 正则化和 L2 正则化。

• L1 正则化
  损失函数为：$-\frac{1}{m}{\sum }_{i=1}^n\left[y_i\log h_{\mathbf{\theta }}({\mathbf{x}}_i)+(1-y_i)\log (1-h_{\mathbf{\theta }}({\mathbf{x}}_i))\right]+\lambda {\sum }_{j=1}^n|{\theta }_j|$
  训练完毕之后，L1 正则化中可能会把部分参数 ${\theta }_k$ 压缩为0，这是因为低阶无穷小接近0的速度更快，所以 L1 正则化适用于某些特征选择场景，减少模型复杂度
• L2 正则化
  损失函数为：$-\frac{1}{m}{\sum }_{i=1}^n\left[y_i\log h_{\mathbf{\theta }}({\mathbf{x}}_i)+(1-y_i)\log (1-h_{\mathbf{\theta }}({\mathbf{x}}_i))\right]+\lambda {\sum }_{j=1}^n{\theta }_j^2$
  训练完毕以后，会保留所有特征，只是会降低部分特征的影响

二、多分类逻辑回归与多项分布

$\text{1. 模型假设}$
对于 $K$ 分类问题（y∈{1,2,…,K}y \in \{1, 2, \dots, K\}y∈{1,2,…,K}），多项逻辑回归假设样本属于类别 $k$ 的概率为：
$$P(y=k\mid \mathbf{x};\mathbf{\Theta })=\frac{e^{{\mathbf{\theta }}_k^T\mathbf{x}}}{{\sum }_{j=1}^K{e}^{{\mathbf{\theta }}_j^T\mathbf{x}}},k=1,2,\dots ,K$$其中 $\mathbf{\Theta }=[{\mathbf{\theta }}_1,{\mathbf{\theta }}_2,\dots ,{\mathbf{\theta }}_K]$是参数矩阵，上式称为 $\text{Softmax函数}$。

$\text{2. 多项分布表示}$
用指示函数 $\mathbb{I}(y_i=k)$ 表示第 $i$ 个样本是否属于类别 $k$，则多项分布的似然函数为：
$$L(\mathbf{\Theta })=\prod _{i=1}^n\prod _{k=1}^K{\left[\frac{e^{{\mathbf{\theta }}_k^T{\mathbf{x}}_i}}{{\sum }_{j=1}^K{e}^{{\mathbf{\theta }}_j^T{\mathbf{x}}_i}}\right]}^{\mathbb{I}(y_i=k)}$$

$\text{3. 对数似然函数}$
$$\ell (\mathbf{\Theta })=\sum _{i=1}^n\sum _{k=1}^K\mathbb{I}(y_i=k)\cdot \left[{\mathbf{\theta }}_k^T{\mathbf{x}}_i-\log \left(\sum _{j=1}^K{e}^{{\mathbf{\theta }}_j^T{\mathbf{x}}_i}\right)\right]$$

$\text{4. 梯度计算}$
对类别 $k$ 的参数向量 ${\mathbf{\theta }}_k$ 求梯度：
$$\frac{\partial \ell (\mathbf{\Theta })}{\partial {\mathbf{\theta }}_k}=\sum _{i=1}^n{\mathbf{x}}_i\cdot \left[\mathbb{I}(y_i=k)-\frac{e^{{\mathbf{\theta }}_k^T{\mathbf{x}}_i}}{{\sum }_{j=1}^K{e}^{{\mathbf{\theta }}_j^T{\mathbf{x}}_i}}\right]$$
即：
$$\frac{\partial \ell (\mathbf{\Theta })}{\partial {\mathbf{\theta }}_k}=\sum _{i=1}^n{\mathbf{x}}_i\cdot \left(\mathbb{I}(y_i=k)-P(y_i=k\mid {\mathbf{x}}_i;\mathbf{\Theta })\right)$$

三、Sigmoid与Softmax函数

$\text{1. Sigmoid函数}$
$$\sigma (z)=\frac{1}{1+e^{-z}}$$

• $\text{值域}$：$(0,1)$
• $\text{导数性质}$：${\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))$
• $\text{应用}$：二分类逻辑回归的概率映射函数。

$\text{2. Softmax函数}$
$$\text{Softmax}(z_k)=\frac{e^{z_k}}{{\sum }_{j=1}^K{e}^{z_j}},k=1,2,\dots ,K$$

• $\text{值域}$：每个输出 $\text{Softmax}(z_k)\in (0,1)$，且 ${\sum }_{k=1}^K\text{Softmax}(z_k)=1$
• $\text{导数性质}$：
  $$\frac{\partial \text{Softmax}(z_i)}{\partial z_j}=\text{Softmax}(z_i)\cdot ({\delta }_{ij}-\text{Softmax}(z_j))$$
  其中 ${\delta }_{ij}$ 是克罗内克符号 $i=j$ 时为1，否则为0。
• $\text{应用}$：多分类逻辑回归的概率映射函数，将原始得分转化为类别概率分布。

四、优化目标

$\text{1. 二分类}$
最大化对数似然等价于最小化交叉熵损失：
$$J(\mathbf{\theta })=-\frac{1}{n}\ell (\mathbf{\theta })=-\frac{1}{n}\sum _{i=1}^n\left[y_i\log h_{\mathbf{\theta }}({\mathbf{x}}_i)+(1-y_i)\log (1-h_{\mathbf{\theta }}({\mathbf{x}}_i))\right]$$
$\text{2. 多分类}$
$$J(\mathbf{\Theta })=-\frac{1}{n}\ell (\mathbf{\Theta })=-\frac{1}{n}\sum _{i=1}^n\sum _{k=1}^K\mathbb{I}(y_i=k)\cdot \log \left(\frac{e^{{\mathbf{\theta }}_k^T{\mathbf{x}}_i}}{{\sum }_{j=1}^K{e}^{{\mathbf{\theta }}_j^T{\mathbf{x}}_i}}\right)$$

通常使用梯度上升（最大化对数似然）或梯度下降（最小化损失函数）求解参数。

逻辑回归的应用

\hspace{1.68em}逻辑回归作为经典机器学习算法，将线性回归的输出映射到概率空间，从而实现分类。与线性回归不同的是，如果其采用优化方法得到最优的参数，其损失函数只能借助最大似然函数得到，目标是最大化样本属于其真实分类的概率。下文将根据一个真实案例说明逻辑回归是如何样本进行分类任务的。

案例

\hspace{1.68em}我们使用鸢尾花的作为研究对象，根据网上公开的样本数据集，想要区分鸢尾花的种类，就可以使用逻辑回归模型，实际上使用二分类逻辑回归模型即可。
\hspace{1.68em}我们可以针对鸢尾花的每一个种类都构建一个二分类逻辑回归模型，并对这个模型进行训练，获得其中的参数，比如对于一个名为SETOSA的类别，通过构建一个模型，并通过最小化损失函数获得最优参数，获得的参数是 $\theta 1$，对于一个名为VERSICOLOR的类别，经过同样的操作，训练出来的参数是 $\theta 2$。
\hspace{1.68em}那么怎么根据样本特征判断其最有可能的所属类别呢？也就是说，我们有一朵未知类别的鸢尾花，测量这朵花的萼片长度，萼片宽度，花瓣长度，花瓣宽度，怎么根据这些测量数据判断出其最有可能得类别呢？只需要将这些测量数据带入上面训练好的两个模型中，求出两个概率，带入第一个模型的概率大于第二个模型的概率，就说明我们认为这朵花是SETOSA类是合理的
\hspace{1.68em}逻辑回归在之后的机器学习发展中有着重要地位，比如sigmoid 和 ReLU 在神经网络中常常被用来作为激活函数