softmax函数

• 深入深出Sigmoid与Softmax的血缘关系

这篇文章，其实解释了怎么从逻辑回归用到的统计模型，过渡到多分类模型Softmax函数。

其实道理很简单。

回想逻辑回归的定义。

$$P(Y=1|X)=\frac{\exp \left(X\beta \right)}{1+\exp \left(X\beta \right)}$$

所以，

$$P(Y=0|X)=1-P(Y=1|X)=1-\frac{\exp \left(X\beta \right)}{1+\exp \left(X\beta \right)}=\frac{1}{1+\exp \left(X\beta \right)}$$

形象理解为

$\exp \left(X\beta \right)$和$1$分别为$P(Y=1|X)$和$P(Y=0|X)$在公式中的权重。

因此推广， 如果$Y=1,2,3,...,j,...,n$

那么有特定的分类。

$$P(Y=j|X)=\frac{\exp \left(X{\beta }^j\right)}{{\sum }_{j=1}^n\exp \left(X{\beta }^j\right)}$$

这就是Softmax函数的思想。 R中有包，softmaxreg.pdf。

---

• Unsupervised Feature Learning and Deep Learning Tutorial 解释得很好。 Softmax regression (or multinomial logistic regression) is a generalization of logistic regression to the case where we want to handle multiple classes.