传统统计学假定样本观测数$N$远大于模型参数数$T$。大数定律、中心极限定理、估计的一致性,都建立在这个设定上。把参数推到超过样本——$(T>N)$——之后,出现两个反直觉的结果:参数越多,样本外表现反而越好;预测$R^2$深度为负,择时策略却仍然赚钱。
两个结果共享同一个根源。经典统计的直觉——参数越少越好、$R^2$越高越好——只在$T$远小于$N$且模型正确设定的世界里成立。参数数越过样本数之后,这套直觉同时失效,评判标准需要换:从预测精度($R^2$/MSE)换成经济价值(夏普比率、信息比率、alpha)。
反直觉①:为什么复杂度反而是好的
参数少于样本时,最小二乘解唯一,每个参数被数据撑满,协方差求逆把噪声放大,参数越多越容易过拟合。参数数逼近样本数($(T=N)$)时,解仍唯一但协方差奇异,方差爆炸,这是表现最差的区间。参数数越过样本数之后,问题翻转:方程组欠定,有无穷多个解能把训练数据拟合到误差为零,任务从"算出参数"变成"在无穷多个解里挑一个"。标准做法取最小$\ell_2$范数解——系数最小的那个解,这本身就是一次隐式收缩。解空间越大(复杂度越高),能挑到的范数越小,正则越强,复杂度自己变成了收缩器,精确拟合训练数据不再等于过拟合。
一个例子是Goyal与Welch在2008年整理的回归。线性全变量模型用12个月训练窗口,样本外$R^2$达到$-9764%$,择时夏普$-0.11$,最大亏损98个标准差。用相同信息集,把参数推到超过样本并加入收缩,年化夏普比率升到0.46至0.49。非线性模型($(c=1000)$)样本外$R^2$约$+1%$,夏普0.46。
参数增多换来更强的表达力——对真实函数的逼近更细。Hornik在1991年证明,足够宽的神经网络可以逼近任意连续函数;真实预测函数未知,简单模型对它的逼近粗糙,参数越多逼近越细。传统担忧是表达力提升的代价是估计更不稳。高复杂度区的隐式正则加显式收缩把这份统计代价压下去,逼近收益压过统计代价。现实模型总误设,简单模型的逼近误差是硬伤。
反直觉②:为什么负$R^2$还能赚钱
$R^2=1-\mathrm{MSE}/\mathrm{var}$,测的是预测方差对真实方差的拟合程度,不是预测方向准不准。均方误差可拆成两部分:相关性与尺度。模型系数被系统性放大时,尺度偏了,预测方差脱离真实方差,$R^2$打成负值,但预测与真实方向的相关性可以依然很高。择时策略收益$\pi_t\cdot R_{t+1}$只依赖相关性,不要求尺度比例匹配,方向对期望收益就为正。夏普比率分子分母同尺度,约掉后对尺度不敏感,所以"尺度偏→$R^2$负"与"夏普高"可以同时成立。
Goyal与Welch只用样本外$R^2$判断可预测性,$R^2$被尺度污染,又在插值边界因方差爆炸跌至深度负值,他们据此得出市场不可预测。
两个反直觉收拢在一处:参数数超过样本数后,“少即是多"和”$R^2$即好坏"两条经典直觉同时失效,前者靠最小范数选择获得自由,后者被尺度噪声遮蔽,评判由预测精度转向经济指标。
参考文献
Hornik, K. (1991). Approximation capabilities of multilayer feedforward networks. Neural Networks, 4(2), 251–257.
Kelly, B., Malamud, S., & Zhou, K. (2024). The virtue of complexity in return prediction. The Journal of Finance, 79(1), 459–503. https://doi.org/10.1111/jofi.13298