吴恩达 机器学习导论 牛顿方法 学习笔记

复习

进行了复习。

上节课最重要的三个公式，

$$P(y=1|x;\theta )=h_{\theta }\left(x\right)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

注意这个地方$h_{\theta }\left(x\right)=\frac{1}{1+e^{-{\theta }^{T}x}}$ 而不是$h_{\theta }\left(x\right)={\theta }^{T}x$。

根据变形的损失函数，

$$\ell \left(\theta \right)=\sum _i{y}^{\left(i\right)}\log \left(h_{\theta }\right(x\left)\right)+(1-y^{\left(i\right)})\log (1-h_{\theta }(x\left)\right)$$

最后推出梯度上升的公式，

$${\theta }_j:={\theta }_j+\alpha (y^i-h_{\theta }(x\left)\right)x^{\left(i\right)}$$

牛顿法

$$f^{\prime }\left({\theta }^{\left(0\right)}\right)=\frac{f\left({\theta }^{\left(0\right)}\right)}{{\theta }^{\left(0\right)}-{\theta }^{\left(1\right)}}=\frac{f\left({\theta }^{\left(0\right)}\right)}{\Delta }$$

得到$\Delta =\frac{f\left({\theta }^{\left(0\right)}\right)}{f^{\prime }\left({\theta }^{\left(0\right)}\right)}$。 因此得到， ${\theta }^{\left(1\right)}={\theta }^{\left(0\right)}-\frac{f\left({\theta }^{\left(0\right)}\right)}{f^{\prime }\left({\theta }^{\left(0\right)}\right)}$ 。 因此得到， ${\theta }^{(t+1)}={\theta }^{\left(t\right)}-\frac{f\left({\theta }^{\left(0\right)}\right)}{f^{\prime }\left({\theta }^{\left(0\right)}\right)}$ 。 这是一个找$\theta$的方法啊，哈哈。

所以，如果我们要$\ell \left(\theta \right)最小，要求{\ell }^{\prime }\left(\theta \right)=0$ 所以， ${\theta }^{(t+1)}={\theta }^{\left(t\right)}-\frac{f^{\prime }\left({\theta }^{\left(0\right)}\right)}{f^{\prime \prime }\left({\theta }^{\left(0\right)}\right)}$ 。

所以没有什么$\alpha$，又少了一个参数！

收敛速度会很快。所以不用梯度下降的原因。 也就是说几百个特征向量，十几次迭代就够了。 对于$\theta$实际上是一个向量，因此 ${\theta }^{(t+1)}={\theta }^{\left(t\right)}-H^{-1}{\nabla }_{\theta }\ell$ 其中$H^{-1}$是Hessian矩阵，$H^{-1}=\frac{{\partial }^2\ell }{\partial {\theta }_i\partial {\theta }_j}$ 。 这里的$H^{-1}\in R^{n\times n}$，$n$是特征数量，因此如果特征数量少的话，一次迭代的时间少。

复习

$P(y|x;\theta )$:

• $y\in R:Gaussian\to \downarrow {\mu }^2$
• $y\in \{0,1\}:Bernoulli\to logisticregression$

exponential family

这个暂时不重要。

38分钟之前，书签。

广义线性模型GLM

假设

• $y|x;\theta \sim ExpFamily\left(\eta \right)$
• Given $x$, goal is to output $E\left[y|x\right]$, want $h_{\theta }\left(x\right)=E\left[T\right(y\left)|x\right]$，大多数时候$T\left(y\right)=y$
• $\eta ={\theta }^{T}X$，也就是说 ${\eta }_i={\theta }_i^{T}X$， 但是大多数时候$\eta$是个实数。

$$\begin{array}{cc}{h}_{\theta }\left(x\right)& =E(y|x;\theta )=P(y=1|x;\theta )\\ & =\varphi \\ & =\frac{1}{1+e^{-\eta }}\\ & =\frac{1}{1+e^{-{\theta }^{T}x}}\end{array}$$

这里是想用exponential family，推导logistic regression是适用的。

multinomial distribution, softmax regression

这个是推导。

假设$y\in \{1,...,k\}$。 假设参数${\varphi }_1,...,{\varphi }_k$ 根据二项分布的类似定义，假设: $P(y=i)={\varphi }_i$。 这里服从， ${\varphi }_1+\cdots +{\varphi }_k=1$ 定义 $$T\left(1\right)=\left[\begin{array}{c}1\\ 0\\ ⋮\\ 0\end{array}\right],T\left(2\right)=\left[\begin{array}{c}0\\ 1\\ ⋮\\ 0\end{array}\right],T(k-1)=\left[\begin{array}{c}0\\ 0\\ ⋮\\ 1\end{array}\right],\cdots ,T\left(k\right)=\left[\begin{array}{c}0\\ 0\\ ⋮\\ 0\end{array}\right]$$

定义一个函数，

$$I\left\{True\right\}=1,I\left\{False\right\}=1\to I\{y_i=i\}=1$$

所以， $T(y{)}_i=I\{y=i\}$。

所以，

$$\begin{array}{cc}P\left(y\right)& ={\varphi }_1^{I\{y=i\}}\cdot {\varphi }_2^{I\{y=i\}}\cdots {\varphi }_k^{I\{y=k\}}\\ & ={\varphi }_1^{I\{y=i\}}\cdot {\varphi }_2^{I\{y=i\}}\cdots {\varphi }_k^{I\{y=k-1\}}\cdot {\varphi }_k^{1-{\sum }_{i}I\{y=i\}}\end{array}$$

不失去任意性的讨论$I\{y=k\}$，

最后发现，

这就是softmax函数。 ${\varphi }_i=\frac{e^{{\theta }_i^{T}x}}{1+{\sum }_j{\theta }_j^{T}x}$和 ${\varphi }_k=\frac{1}{1+{\sum }_j{\theta }_j^{T}x}$。 所以， $$\begin{array}{cc}{\varphi }_1+\cdots {\varphi }_{k-1}+{\varphi }_k& =\frac{{\sum }_{h=1}^{k-1}{e}^{{\theta }_h^{T}x}}{1+{\sum }_j{\theta }_j^{T}x}+\frac{1}{1+{\sum }_j{\theta }_j^{T}x}\\ & =1\end{array}$$