Fisher的一个矩阵预算

• 基于核函数Fisher判别的数据分类算法研究（原版论文）.pdf文档全文免费阅读、在线看

我找到论文看了下，这个损失函数我看懂了，这个无监督的话，分类还是很有用，我看到比一般的KMeans效果好。

公式推导部分，我看了是矩阵运算，他大致的计算我看了下，跟着推了一遍，后面就比较直观了。

可能矩阵这个地方有点问题解释一下。

$$J\left(w\right)=\frac{E}{F}$$

这里理解为，$E$表示的是每个行星离太阳的距离，$F$表示各自卫星离行星的距离，$J$越高形容聚合效果越好，这几个行星就是样本空间中的质心。

其中，

$$E=\sum _{i=1}^C{N}_i\left(\overline{Y}\right(i)-\overline{Y}{)}^2$$

就是每个质心到太阳的举例。

$$\overline{Y}\left(i\right)=\frac{1}{N_i}\sum _{j=1}^{N_i}{Y}_i^j$$

$$\overline{Y}=\frac{1}{N}\sum _{N_i}^C{N}_i\overline{Y}\left(i\right)$$

$$F=\sum _{i=1}^C\sum _{j=1}^{N_i}(Y_i^j-\overline{Y}(i){)}^2$$

矩阵计算的规则，

假设列向量$Y^T=[y_1,y_2,...,y_n]$， 那么 $$Y=\left[\begin{array}{c}{y}_1\\ ⋮\\ y_n\end{array}\right]$$

因此，

$$\begin{array}{cc}{Y}_{1\times n}^T\times Y_{n\times 1}=& [y_1,y_2,...,y_n]\times \left[\begin{array}{c}{y}_1\\ ⋮\\ y_n\end{array}\right]\end{array}$$

$$Y_{1\times n}^T\times Y_{n\times 1}=[y_1^2+y_2^2+\cdots +y_n^2]=\sum _{i=1}^n{y}_i^2$$

因此，

$$\begin{array}{cc}E& =\sum _{i=1}^C{N}_i\left(\overline{Y}\right(i)-\overline{Y}{)}^2\\ & =\sum _{i=1}^C{N}_i\left(\overline{Y}\right(i)-\overline{Y}{)}^T(\overline{Y}\left(i\right)-\overline{Y})\\ & =\sum _{i=1}^C{N}_i\left(\overline{X}\right(i)w-\overline{X}w{)}^T(\overline{X}\left(i\right)w-\overline{X}w)\\ & =\sum _{i=1}^C{N}_i{w}^T\left(\overline{X}\right(i)-\overline{X}{)}^T(\overline{X}\left(i\right)-\overline{X})w\\ & =\sum _{i=1}^C{w}^{T}Bw\end{array}$$

其中，$N_i$在公式里面是常数，不需要考虑矩阵运算的位置。 $\overline{Y}(i{)}_{C\times 1}$中$C$是质心数，这里不是样本数，这里很好理解，因为均值数量肯定等于样本数。

$$B=N_i\left(\overline{X}\right(i)-\overline{X}{)}^T(\overline{X}\left(i\right)-\overline{X})$$