1 min read

p-value p值理解

事件、概率的分析

P(D is true|H0 is true)P(H0 is true|D is true)

参考石川,Harvey (2017)。 假设原假设H0和备择假设H1,发生事件是D。 p值等于 H0 is true的情况下,D发生的概率。 即: P(D is true|H0 is true)。 并非P(H0 is true|D is true), 当我们观测到D发生时,H0为真的概率。 但是这本身是我们想要的,D相当于解释变量,H0相当于被解释变量。

两者不同,在贝叶斯公式我们就可以清楚的知道,这里举一个极端的例子。 一个人上班,设为H,这个人坐电梯,设为D。 我们知道一个人因为上班H而坐电梯D的概率P(D is true|H is true)很高,比如0.9; 但是 我们知道一个人因为坐电梯D而上班H的概率P(H is true|D is true)就不一定那么高了,很可能是回家。 因此两者是不同的。1

再举一个例子, 我们假设一个因子D可以实现超额收益H1, 那么我们的原假设H0: 因子不产生超额收益

p-value=P(D is true|H0 is true)

p-value越小越好。 但是实际上我们想知道的是P(H0 is true|D is true),即因子D存在时, H0 is true有超额收益。2

Bayesianized p-value

MBF (minimum Bayes factor)=log(1p-value)p-valueep-valueP(D|H0)

prior odds=P(H0)P(H1)P(H0)

MBF×prior oddsP(D|H0)P(H0)P(D)P(H0|D)我们想要的

Bayesianized p-value=MBF×prior odds1+MBF×prior odds

prior odds作为先验概率,如果很小,即P(H0)很小,那么P(H0|D)也应该小,Bayesianized p-value小,这样make sense。

直观理解,P(H0)小也会影响Bayesianized p-value小,也能帮助推断。

举例:

  • 第一个例子:有一个音乐家声称可以完美的区分莫扎特和海顿的乐谱。我们将 10 张乐谱给他辨识,他全部正确。
  • 第二个例子:有一个常年喝茶的老妇人,她声称可以说出一杯加了奶的热茶中,奶是先于茶还是后于茶加入杯中的。同样,我们将 10 杯请她辨识,她全部正确。
  • 第三个例子:有一个酒馆老板,号称酒精赐予他预测未来的神力。我们让他猜扔硬币的正反面,结果他也是 10 次全对。

分别的H0都是不能区分,但是显然

  • 第一个P(H0)很高,因为是音乐家Bayesianized p-value 高
  • 第二个P(H0)可以,因为是常年喝茶Bayesianized p-value 可以
  • 第三个P(H0)不高,因为感觉像骗子Bayesianized p-value 不高

参考文献

Harvey, Campbell R. 2017. “Presidential Address: The Scientific Outlook in Financial Economics.” Journal of Finance 72 (4).

张五常. 2014. 张五常经济解释系列:科学说需求+收入与成本+受价与觅价+制度的选择(套装). 中信出版社.


  1. 但是我们显然更加关心第二个,因为我们能够通过坐电梯就可以推测出一个人上班的话,那么这个模型就是有解释力的,第一个虽然概率高,但是是套套逻辑。 (张五常 2014)

  2. 假设D独立地很少发生,p-value=P(D is true|H0 is true)很小, 但是并不意味着D is true一旦发生,就会导致H0 is true很小,因此H0 is true很大,可能两者都小。 因此当D是个小概率事件时,无论我们得到了多低的p-value,我们拒绝H0而错误的概率fpr也是非常高的。 因此缺失值很多、偶尔出现正常值的变量,一般都显著。