这篇文章，其实解释了怎么从逻辑回归用到的统计模型，过渡到多分类模型Softmax函数。
其实道理很简单。
回想逻辑回归的定义。
\[P(Y=1|X)=\frac{\exp(X\beta)}{1+\exp(X\beta)}\]
所以，
\[P(Y=0|X)=1-P(Y=1|X)=1-\frac{\exp(X\beta)}{1+\exp(X\beta)}=\frac{1}{1+\exp(X\beta)}\]
形象理解为
\(\exp(X\beta)\)和\(1\)分别为\(P(Y=1|X)\)和\(P(Y=0|X)\)在公式中的权重。
因此推广， 如果\(Y=1,2,3, ..., j, ..., n\)
那么有特定的分类。
\[P(Y=j|X)=\frac{\exp(X \beta^{j})}{\sum_{j=1}^n{\exp(X \beta^{j})}}\]
这就是Softmax函数的思想。 R中有包，softmaxreg.pdf。
- Unsupervised Feature Learning and Deep Learning Tutorial 解释得很好。 Softmax regression (or multinomial logistic regression) is a generalization of logistic regression to the case where we want to handle multiple classes.