复习回顾
逻辑回归核心公式
逻辑回归的假设函数： $$P(y=1|x;\theta)=h_{\theta}(x) = \frac{1}{1+e^{-\theta^Tx}}$$
注意： 这里的$h_{\theta}(x) = \frac{1}{1+e^{-\theta^Tx}}$是sigmoid函数，而不是线性回归的$h_{\theta}(x)=\theta^Tx$。
损失函数
逻辑回归的对数似然函数： $$\ell(\theta) = \sum_{i}y^{(i)}\log(h_{\theta}(x)) + (1-y^{(i)})\log(1-h_{\theta}(x))$$
梯度上升公式
通过最大化似然函数得到的参数更新公式： $$\theta_j:=\theta_j + \alpha (y^{i}-h_{\theta}(x))x^{(i)}$$
牛顿法
$$f^{\prime}(\theta^{(0)}) = \frac{f(\theta^{(0)})}{\theta^{(0)}-\theta^{(1)}} =\frac{f(\theta^{(0)})}{\Delta}$$
得到$\Delta = \frac{f(\theta^{(0)})}{f^{\prime}(\theta^{(0)})}$。 因此得到， $\theta^{(1)} = \theta^{(0)} - \frac{f(\theta^{(0)})}{f^{\prime}(\theta^{(0)})}$ 。 因此得到， $\theta^{(t+1)} = \theta^{(t)} - \frac{f(\theta^{(0)})}{f^{\prime}(\theta^{(0)})}$ 。 这是一个找$\theta$的方法啊，哈哈。
所以，如果我们要$\ell(\theta)最小，要求\ell^{\prime}(\theta)=0$ 所以， $\theta^{(t+1)} = \theta^{(t)} - \frac{f^{\prime}(\theta^{(0)})}{f^{\prime\prime}(\theta^{(0)})}$ 。
所以没有什么$\alpha$，又少了一个参数！
收敛速度会很快。所以不用梯度下降的原因。 也就是说几百个特征向量，十几次迭代就够了。 对于$\theta$实际上是一个向量，因此 $\theta^{(t+1)} = \theta^{(t)} - H^{-1}\nabla_{\theta}\ell$ 其中$H^{-1}$是Hessian矩阵，$H^{-1} = \frac{\partial^{2}\ell}{\partial\theta_i\partial\theta_j}$ 。 这里的$H^{-1} \in R^{n \times n}$，$n$是特征数量，因此如果特征数量少的话，一次迭代的时间少。
广义线性模型（GLM）
基本假设
广义线性模型基于以下假设：
- $y|x;\theta \sim \mathcal{ExpFamily}(\eta)$ - 响应变量服从指数族分布
- 给定$x$，目标是输出$E[y|x]$，希望$h_{\theta}(x)=E[T(y)|x]$，通常$T(y) = y$
- $\eta = \theta^{T}X$，即$\eta_i = \theta_i^{T}X$，通常$\eta$是实数
分布类型对应
- $y \in R$: 高斯分布 → 线性回归
- $y \in {0,1}$: 伯努利分布 → 逻辑回归
逻辑回归的GLM推导
$$\begin{alignat}{2} h_{\theta}(x) & = E(y|x;\theta) = P(y=1|x;\theta) \ & = \phi \ & = \frac{1}{1 + e^{-\eta}} \ & = \frac{1}{1 + e^{-\theta^{T}x}} \ \end{alignat}$$
这里使用指数族分布来推导逻辑回归的适用性。
Softmax回归（多分类问题）
问题定义
假设$y \in {1,…,k}$，即多分类问题。 假设参数$\phi_1,…,\phi_k$满足： $$P(y = i) = \phi_i$$ 且满足概率归一化条件： $$\phi_1+\cdots +\phi_k = 1$$
指示函数定义
定义指示向量： $$T(1) = \begin{bmatrix} 1 \ 0 \ \vdots \ 0 \end{bmatrix}, T(2) = \begin{bmatrix} 0 \ 1 \ \vdots \ 0 \end{bmatrix}, T(k-1) = \begin{bmatrix} 0 \ 0 \ \vdots \ 1 \end{bmatrix}, T(k) = \begin{bmatrix} 0 \ 0 \ \vdots \ 0 \end{bmatrix}$$
定义指示函数： $$\mathcal I{True} =1,\mathcal I{False} =0 \to \mathcal I{y = i} =1$$
因此： $$T(y)_i = \mathcal I{y = i}$$
概率分布
$$\begin{alignat}{2} P(y) & = \phi_1^{\mathcal I{y = 1}}\cdot \phi_2^{\mathcal I{y = 2}}\cdots \phi_k^{\mathcal I{y = k}} \ & = \phi_1^{\mathcal I{y = 1}}\cdot \phi_2^{\mathcal I{y = 2}}\cdots \phi_k^{\mathcal I{y = k-1}}\cdot \phi_k^{1-\sum_{i=1}^{k-1}\mathcal I{y = i}} \end{alignat}$$
Softmax函数推导
最终推导出softmax函数： $$\phi_i = \frac{e^{\theta_i^Tx}}{1+\sum_{j=1}^{k-1}e^{\theta_j^Tx}} \quad (i=1,…,k-1)$$ $$\phi_k = \frac{1}{1+\sum_{j=1}^{k-1}e^{\theta_j^Tx}}$$
验证概率归一化： $$\begin{alignat}{2} \phi_1 + \cdots + \phi_{k-1} + \phi_k & = \frac{\sum_{h=1}^{k-1}e^{\theta_h^Tx}}{1+\sum_{j=1}^{k-1}e^{\theta_j^Tx}} + \frac{1}{1+\sum_{j=1}^{k-1}e^{\theta_j^Tx}} \ & = 1 \end{alignat}$$