今天阅读一篇论文，内容围绕如何判断梯度信号是否有效展开。
研究选取指令数据、推理数据，采集大模型后训练阶段各层梯度矩阵，对梯度矩阵执行SVD分解，得到一组由大到小排序的奇异值。在线性代数框架里，奇异值对应一组正交向量的长度。正交向量的数量更多，代表有效秩更高；各个向量的长度分布均匀，是该指标对应的统计特征。
核范数为所有奇异值相加的结果，用来统计梯度携带的总更新能量。有效秩基于熵计算，衡量梯度能量分散在多少个独立方向上。
低质量样本产生的梯度，总能量更高，能量集中在少数方向，其余方向信号趋近于零。
高质量样本产生的梯度，总能量更低，能量分散到更多独立方向，有效秩更高。
推理样本对应的梯度有效秩，高于普通指令样本对应的梯度有效秩。
同模型家族，不同参数量下，梯度能量分布模式接近。不同模型家族，梯度能量分布模式存在区别。
论文把 IFD、InsTag、样本难度、奖励分数等已有的数据评价指标，放到梯度谱这套框架下对照。
有效秩高，不等于梯度矩阵数学意义上的满秩。该指标描述样本推动模型参数调整的方向，不是模型权重本身的属性。
参考文献
Li M, Li Y, Li Z, Zhou T. (2025). How instruction and reasoning data shape post-training: Data quality through the lens of layer-wise gradients. arXiv预印本.