今天看到一篇文章，正则化解释得很通俗，因此写了一些笔记，方便自己理解。
正则化是为了防止过拟合，顾名思义，
下面这张图在学习lasso和ridge的时候见到很常见。
这里的解释很好。
规则化就是说给需要训练的目标函数加上一些规则（限制），让他们不要自我膨胀。
矩阵求导
行向量yT={1,2,3,...,n}和
列向量
y=⎡⎢
⎢⎣1⋮n⎤⎥
⎥⎦
的表示，这里设计到一部分Latex的符号，见LaTeX 各种命令，符号 - CSDN博客
。
举一个例子
Y=⎡⎢
⎢⎣y11⋯y1n⋮⋱⋮ym1⋯ymn⎤⎥
⎥⎦=⎡⎢
⎢⎣yT1⋮yTm⎤⎥
⎥⎦是一个m×n矩阵，
X=⎡⎢
⎢
⎢⎣x11⋯x1q⋮⋱⋮xp1⋯xpq⎤⎥
⎥
⎥⎦=[x1,x2,⋯,xq]
因此，
∂Y∂X=[∂Y∂x1,⋯,∂Y∂xq]=⎡⎢
⎢
⎢
⎢⎣∂yT1∂X⋮∂yTm∂X⎤⎥
⎥
⎥
⎥⎦=⎡⎢
⎢
⎢
⎢
⎢⎣∂yT1∂x1⋯∂yT1∂xq⋮⋱⋮∂yT1∂x1⋯∂yT1∂xq⎤⎥
⎥
⎥
⎥
⎥⎦
误差函数求导
□还是没看懂正则化这个公式如何求导！
范数
对后面的范数理解不太明白了，也不知道可操作性如何，以后学习过程中再精进。