1 dimensionality-reduction

PCA is to find a vector to minimize the projection errors. (Ng 2018)

左边是OLS处理，右边是PCA处理

PCA是最小化projection errors¹，而非 $y - \hat{y}$ 。

PCA既然是降维，必然会利用到线性代数里面的特征向量，我们知道特征向量在空间变化时，方向不发生变化。

2 anomaly detection

这里的内容是无监督学习。假设各个 $x$ 具备独立性假设，那么可以用 $\prod$ 来表达联合分布概率。以此来探查 ${data}_{test}$ 是否处于数据的分布的尾巴处，即异常值。

$\begin{aligned} p (x) & = p (x_{1}; μ_{1}, σ_{1}^{2}) \dots p (x_{n}; μ_{n}, σ_{1}^{n}) \\ = \prod_{j = 1}^{n} p (x_{j}; μ_{j}, σ_{1}^{j}) \end{aligned} Anomaly if p (x) < ϵ$

这里的 $p (x) < ϵ$ 类似于p value。

2.1 使用 $μ$ 定义outliter (Roberts 2018)

建立一个简单模型(如，ridge)，产生回归方程 $y = \hat{y} + \hat{μ}$

针对每一个 ${\hat{μ}}_{i}$ 进行zscore处理， $ν_{i} = \frac{{\hat{μ}}_{i} - E (\hat{μ})}{σ (\hat{μ})}$ 对分布在三倍标准正态分布 $σ = 1$ 外的样本，判定为outlier。 $| ν_{i} | > 3$

3 recommender systems

推荐器就是用已知信息，推测?的值。 (Ng 2018)

3.1 content based approach

假设我们可以从每个人的身上得知，对 $x$ (feature)的打分，就是 $β$ ，最终我们可以独立做一个OLS回归，得到 $\hat{y}$ ，从而给电影打分，但是这不符合实际的²，所以介绍下一种方法。

3.2 collaborative filtering

先后完成同时完成

content-based-recommendations 是根据 $x$ 和 $y$ ，去估计 $x$ 的偏好– $x$ 的参数 $θ$ 。
collaborative-filtering，是可以先后或者同时根据 $x$ $和$ y，估计 $θ$ ；同时根据 $θ$ 和 $y$ ，估计 $x$ 。

对于collaborative-filtering，我们可以估计出最好的 $x$ 和 $θ$ ，估计出最好的 $x$ ，也就是变量筛选的功能。

3.2.1 mean normalization

对于从来没有rate任何电影的用户来说，很可能预测所有的 $θ = 0$ ，这个时候还不如用其他用户对某一个电影均值作为预测值，至少可以作为baseline。这里可以引入mean normalization。

$y - μ \to estimate \hat{θ} \to estimate \hat{θ} x \to \hat{y} = \hat{θ} x + μ$

参考文献

Ng, Andrew. 2018. “Machine Learning.” 2018. https://www.coursera.org/learn/machine-learning.

Roberts, Jack. 2018. “Top 7.” 2018. https://www.kaggle.com/jack89roberts/top-7-using-elasticnet-with-interactions.

为什么能够构建指数？ comp1的方向描述了大多数股票价格走势，构建了一条projection errors最小的平面或者曲线。↩
我们很难采集到每个人对一步电影全部维度的偏好。↩

Andrew Ng Machine Learning 学习笔记