主要讲了GDA和NB。 还有laplace smoothing。 感觉三个模型都不是特别难啊。

---

Gaussian Discriminant Analysis.

之前讲了广义线性模型、牛顿的算法。

之前说的都是discriminant algorithm。 学习$P\left(Y|X\right)$或者 output$h_{\theta }\left(x\right)\in \{0,1\}$

---

generative learning algorithm.

$P\left(x|y\right),P\left(y\right)$ 看特征的情况。 根据bayes，

$$P(y=1|x)=\frac{P(x|y=1)P(y=1)}{P\left(x\right)}$$

并且 $P\left(x\right)=P(y=0)P\left(x\right)+P(y=1)P\left(x\right)$

---

举例。

Gaussian Discriminant Analysis.

多元高斯分布。

P(x|y) is Gaussian Distribution.

$$z\sim N(\overrightarrow{\mu },\Sigma )$$

$\Sigma$是协方差矩阵。

且

$$p(x;\mu ,\Sigma )=\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}\exp (-\frac{1}{2}(x-u{)}^T{\Sigma }^{-1}(x-u))$$

$\square$不是很懂这个公式，但是实际上正态分布函数是不需要算的。 这里可以看讲义。

注意这里就是做$P(x|y=1)$和 $P(x|y=0)$的二元高斯分布的投影，然后求交点连线。

---

定义式

$$P\left(y\right)={\varphi }^y(1-\varphi {)}^{1-y}$$ 并且，

$$P(x|y=0)=\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}\exp (-\frac{1}{2}(x-u_0{)}^T{\Sigma }^{-1}(x-u_0))$$

$$P(x|y=1)=\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}\exp (-\frac{1}{2}(x-u_1{)}^T{\Sigma }^{-1}(x-u_1))$$

实际上我不太懂这里又不是$P\left(ϵ\right)$处于大事件，$\to 0$，为什么要$max\prod P(x^{\left(i\right)},y^{\left(i\right)})$. 就是另外一种算法而已。

然而，逻辑回归是 $max\prod P\left(y^{\left(i\right)}|x^{\left(i\right)}\right)$。

就是这样，没说谁好。

---

它和logistic 的关系到底是什么样的？

假设点是正样本。

GDA是logistic，因为有更严格的假设。

所以这个计算是通过bayes出来的， 图中计算出，$P(x|y=1),P(y=1)$ 然后，$P\left(x\right)=P(x|y=1)P(y=1)+P(x|y=0)P(y=0)$。 哈哈，原来是这样。 就得到了$P\left(y|x\right)$。

---

这个多假设的条件是， $x|y\sim N$ $\to$ $P(y=1|x)$是一个logistic函数。 但是不能反着来。

$x|y=1\sim Possion\left({\lambda }_1\right)$和 $x|y=0\sim Possion\left({\lambda }_0\right)$ $\to$ $P(y=1|x)$是一个logistic函数。

所以这又是个参数方程的锅啊。

但是呢，显然GDA不需要太多的数据，因为假设强啊。

---

第二个就是 Naive Bayes。 也是 generative learning algorithm. 为什么要说，因为GDA要求$x$都是连续变量。 但是NB可以是离散的。

$y=1$是垃圾邮件。

假设我们有个字典，按顺序，如果邮件中存在这个词，位于第$i$行，$x_i=1$否则$x_i=0$。 因此，$x\in \{0,1{\}}^n$。 也就是说$x$有$2^n$种可能性。 因此每个$x_i\sim B$，那么就要联立那么多，显然是不可能的，要估计$2^n-1$个参数。

给一个强假设。 $x_i|y$条件独立。 $$\begin{array}{cc}P(x_1,\cdots ,x_n|y)& =P\left(x_1|y\right)P(x_2|y,x_1)\cdots P(x_n|y,x_1,\cdots ,x_{n-1})\\ & =P\left(x_1|y\right)P\left(x_2|y\right)\cdots P\left(x_n|y\right)\end{array}$$

$P(x_2|y,x_1)=P\left(x_2|y\right)$说明，$x_1$不影响$x_2$。 虽然强到错，但是还是很有效。

假设一些参数，

$$\begin{array}{cc}{\varphi }_{i|y=1}& =p(x_i=1|y=1)\\ & =\frac{{\sum }_{i=1}^{m}I\{x_j^{\left(i\right)}=1,y^{\left(i\right)}=1\}}{{\sum }_{i=1}^{m}I\{y^{\left(i\right)}=1\}}\end{array}$$

$${\varphi }_{i|y=0}=p(x_i=1|y=0)$$

$$\begin{array}{cc}{\varphi }_y& =p(y=1)\\ & =\frac{{\sum }_{i=1}^m\{y^{\left(i\right)}=1\}}{m}\end{array}$$

$$p\left(y|x\right)\leftarrow p\left(x|y\right)p\left(y\right)$$

这个模型的假设，只在joint distribution上。

---

朴素贝叶斯这样写更容易理解，

$$p(y=1|x)=\frac{p(x|y=1)p(y=1)}{p(x|y=1)p(y=1)+p(x|y=0)p(y=0)}$$

但是$p\left(x|y\right)=0$也就是说$x$对于$y$这个事件没有出现过，那么就出现了，

$$p(y=1|x)=\frac{0\cdot p(y=1)}{0}$$

因此要修正。

就是laplace smoothing