全期望值定律，全方差定律，全概率公式

全期望值定律law of total expectation比较熟悉竟然还有个全方差定律law of total variance关于条件期望与条件方差的总结一下。中文教材里的全概率公式其实英文叫全概率定律law of total probability1. 全期望值定律随机变量X XX关于另外一个随机变量Y YY的条件期望的期望等于该随机变量X XX的期望E X ( X ) E Y [ E X ( X ∣ Y ) ] E_{X}(X)E_Y[E_X(X|Y)]EX​(X)EY​[EX​(X∣Y)]2. 全方差定律这个就稍微有点复杂了V a r ( X ) E Y ( V a r ( X ∣ Y ) ) V a r Y ( E ( X ∣ Y ) ) Var(X)E_Y(Var(X|Y))Var_Y(E(X|Y))Var(X)EY​(Var(X∣Y))VarY​(E(X∣Y))证明先把方差表示成期望形式利用全期望值定理然后将第一项期望值展开最后把后两项期望值结合V a r ( X ) E ( X 2 ) − E 2 ( X ) E Y [ E ( X 2 ∣ Y ) ] − { E Y [ E ( X ∣ Y ) ] } 2 E Y [ V a r ( X ∣ Y ) E 2 ( X ∣ Y ) ] − { E Y [ E ( X ∣ Y ) ] } 2 E Y ( V a r ( X ∣ Y ) ) E Y [ E 2 ( X ∣ Y ) ] − { E Y [ E ( X ∣ Y ) ] } 2 E Y ( V a r ( X ∣ Y ) ) V a r Y ( E ( X ∣ Y ) ) \begin{aligned} Var(X)E(X^2)-E^2(X)\\ E_Y[E(X^2|Y)]-\{E_Y[E(X|Y)]\}^2\\ E_Y[Var(X|Y)E^2(X|Y)]-\{E_Y[E(X|Y)]\}^2\\ E_Y(Var(X|Y))E_Y[E^2(X|Y)]-\{E_Y[E(X|Y)]\}^2\\ E_Y(Var(X|Y))Var_Y(E(X|Y)) \end{aligned}Var(X)​E(X2)−E2(X)EY​[E(X2∣Y)]−{EY​[E(X∣Y)]}2EY​[Var(X∣Y)E2(X∣Y)]−{EY​[E(X∣Y)]}2EY​(Var(X∣Y))EY​[E2(X∣Y)]−{EY​[E(X∣Y)]}2EY​(Var(X∣Y))VarY​(E(X∣Y))​要能看出最后两项其实是E ( X ∣ Y ) E(X|Y)E(X∣Y)在Y YY上的方差。□ \square□发现之前写了一篇类似的博客关于条件方差的一个性质这篇博客比那篇更加严谨点。3. 全概率定律公式全概率定律构建了一个概率分布与它条件概率分布的关系P ( A ) ∑ b P ( A ∣ B ) P ( B b ) P(A)\sum_{b}P(A|B)P(Bb)P(A)b∑​P(A∣B)P(Bb)