Tibshirani (1996) 提出Lasso,全名为Least Absolute Shrinkage and Selection Operator,因此主要功能是 Shrinkage 和 Selection。
这里损失函数加入后,导致模型会向的方向收缩,因此有 Shrinkage的作用。
同时,可改写为
是常数,假设,那么就是一个平面空间,表示一个菱形,
可直观看出,菱形,类似圆或者椭圆,因此两个图形大概率有corner solution,就是顶端有解。 我们发现顶端恰好是部分为0的时候,因此lasso的解相当于得到一组,有一些,因此这达到了变量筛选的功能,因此是Selection的作用。
还有其它模型进行合成,如弹性网估计量”(Elastic Net),将ridge 和lasso都考虑进来。
参考文献
Tibshirani, Robert. 1996. “Regression Shrinkage and Selection via the Lasso.” Journal of the Royal Statistical Society 58 (1): 267–88.