吴恩达 机器学习导论 局部加权回归 学习笔记

overfitting

如果有7个点，那么个$X_i$，除去截距，那么六个特征就可以全部点预测准了，但是也过拟合了，这也是变量太多的问题。

locally weighted regression

parametric: fix set of params, $\theta$. non-parametric: keep with train.

非参数事根据训练集而定的。 非参数不要考虑特征的选择。

看到现在，其实就是取一个局部数据做线性回归，那么当每个局部合成的时候，就形成了非线性的估计。

损失函数的定义，

$$\sum _i{w}^{\left(i\right)}(y^{\left(i\right)}-{\theta }^T{x}^{\left(i\right)}{)}^2$$

其中，$w^{\left(i\right)}$定义为，

$$w^{\left(i\right)}=e^{-\frac{x^{(}i)-x}{2\tau }}$$

因此如果选择的$x$离$x^{\left(i\right)}$太远，$w^{\left(i\right)}$会很小，对损失函数的贡献也很小。 因此对于太远的情况，损失函数反映不敏感，可以忽略。 然而对于太远的情况，损失函数反映敏感，进行了强调了。 类似于支持向量机。

$\tau$是带宽，不是很重要，这里不讨论。

这里感觉既然是非参数，那么大样本的话，不是训练起来很耗时间，但是预测value，不是分类模型的，岂不是很好？

$\square$可以看看，Andrew Moore, KS Tree.

对线性回归的一点理论解释

假设 $ϵ\sim N(0,\sigma )$， 所以， $Y|X;\theta \sim N(0,\sigma )$， 这里说明$\theta$不是随机变量，不能和$X^i$相提并论。因此这里是频率学派的观点，不是贝叶斯学派的观点。 所以$;$意思为parameter by 。 所以， $Y\sim N({\theta }^{T}X,\sigma )$，

还有为什么假设是正态分布，因为 中心极限定理假设了多种随机变量的结果就是正态分布， 这个可以下次再说。

对极大似然概率定律的理解

我们知道 ${ϵ}^{\left(i\right)}=y^{\left(i\right)}|X;\theta$。 我们的直觉是要使得$ϵ$尽量等于0的， 如果我们假设$ϵ$满足标准正态分布，那么我们也就假设了$ϵ$尽量处于大概率的时候，因为标准正态分布的时候，$ϵ\to 0$。

因此我们的目的是， $maxP\left(ϵ\right)=P(Y|X;\theta )$，注意这里$ϵ$和$Y$都是向量，也就是要假设${ϵ}^{\left(i\right)}$整体都处于大概率事件中。

为了简化计算我们假设$ϵ\sim i.i.d.$，也就是独立同分布，因为为了简化计算， $P\left(ϵ\right)=\prod P\left({ϵ}^{\left(i\right)}\right)$

于是，

$$\begin{array}{cc}maxP\left(ϵ\right)& =maxP(Y|X;\theta )\\ & =max\prod P(y^{\left(i\right)}|X;\theta )\\ & =max\prod \frac{1}{\sqrt{2\pi }\sigma }{e}^{(-\frac{(y^{\left(i\right)}-{\theta }^T{x}^{\left(i\right)}{)}^2}{2{\sigma }^2})}\\ & \to max\sum -\frac{(y^{\left(i\right)}-{\theta }^T{x}^{\left(i\right)}{)}^2}{2{\sigma }^2})\\ & \to min\sum \frac{(y^{\left(i\right)}-{\theta }^T{x}^{\left(i\right)}{)}^2}{2{\sigma }^2})\\ & \to min\sum (y^{\left(i\right)}-{\theta }^T{x}^{\left(i\right)}{)}^2)\end{array}$$

因此， 极大似然概率定律就是OLS回归的假设。

极大似然概率定律对逻辑回归的理解、梯度上升

感觉极大似然概率定律就是线性回归、逻辑回归的核心。

假设 $P(Y=1|X;\theta )=\frac{1}{1+e^{-{\theta }^{T}X}}$， 因为这样，依然可以${\theta }^{T}X\propto P(Y=1|X;\theta )$。 所以， $P(Y=0|X;\theta )=1-P(Y=1|X;\theta )$， 所以， $P(y^{\left(i\right)}=1|X;\theta )=P(y^{\left(i\right)}=1|X;\theta {)}^{y^{\left(i\right)}}\cdot P(y^{\left(i\right)}=0|X;\theta {)}^{1-y^{\left(i\right)}}$。

前面知道， $P(Y=1|X;\theta )$是为了$ϵ$为0，处于大事件概率， 因此这又是一个$maxP(Y=1|X;\theta )$的问题了。

但是这里是个梯度上升的问题。

$${\theta }_j:={\theta }_j+\alpha {\nabla }_{\theta }\ell \left(\right]theta)$$¹

这个之后说。