条件付き確率のおさらい

UPDATE: 2024-03-23 12:13:46.169075

はじめに

条件付き確率が3変数を超えると、式変形の結果に自信が持てなくなるので、数値を用いて検証したときのメモ。

条件付き確率

このあとのメモを理解するための基本的な内容をまとめておく。ここでは離散変数の場合を扱うことにする。まずは周辺確率について。周辺確率は同時確率を片方の変数で総和することでも求められる。

\[ \begin{eqnarray} P(X) &=& \sum_{Y}P(X,Y) \\ P(Y) &=& \sum_{X}P(X,Y) \end{eqnarray} \]

3変数であっても、下記の通り総和をとることで周辺確率を求めることができる。

\[ \begin{eqnarray} P(X,Y) &=& \sum_{Z}P(X,Y,Z) \\ P(X) &=& \sum_{Y,Z}P(X,Y,Z) \end{eqnarray} \]

次は、条件付き確率について。確率変数\(X,Y\)の条件付き確率は下記の通り。1行目から2行目への式変形には乗法定理を利用している。

\[ \begin{eqnarray} P(X|Y) &=& \frac{P(X,Y)}{P(Y)}\\ &=& \frac{P(Y|X)P(X)}{P(Y)}\\ \end{eqnarray} \] 3変数であっても、乗法定理は下記の通り利用できる。

\[ \begin{eqnarray} P(X,Y,Z) &=& P(X|Y,Z)P(Y,Z) \\ &=&P(X|Y,Z)P(Y|Z)P(Z) \end{eqnarray} \]

ここまでの内容を利用すると、条件付き同時確率は下記の通り分解できる。1行目は条件付き確率の定義、1-2行目は乗法定理を利用している、同時確率\(P(X,Y,Z)\)から変数を出したいときは、出したいもの\(P(X|Y,Z)\)で条件づけて、その確率\(P(Y,Z)\)をかける。2-3行目はさきほどの3変数の乗法定理を利用している。

\[ \begin{eqnarray} P(X,Y|Z) &=& \frac{P(X,Y,Z)}{P(Z)} \\ &=& \frac{P(X|Y,Z)P(Y,Z)}{P(Z)} \\ &=& \frac{P(X|Y,Z)P(Y|Z)P(Z)}{P(Z)} \\ &=& P(X|Y,Z)P(Y|Z) \end{eqnarray} \]

4変数でも下記の通りである。

\[ \begin{eqnarray} P(X,Y|Z,K) &=& \frac{P(X,Y,Z,K)}{P(Z,K)} \\ P(X,Y,Z,K) &=& P(X,Y|Z,K)P(Z,K) \end{eqnarray} \]

数値の例

下記の3変数の同時確率があるとする。

ここでは、Pearlの因果推論で出てくる調整可公式での式変形で登場する下記の数式に数値を当てはめて検証する。1-2行目の変形は、\(Z\)の総和をとることで、周辺確率が計算できることを利用し、3変数の条件付き確率にしている。この際、\(X\)が条件付けされている必要がある。2-3行目の変形は、\(Z\)と\(X\)が独立である前提で式変形している。つまり、\(X\)の条件があってもなくても同じということ。

\[ \begin{eqnarray} P(Y|do(X)) &=& P_m(Y|X) \\ &=& \sum_{Z} P_m(Y|X,Z)P_m(Z|X)\\ &=& \sum_{Z} P_m(Y|X,Z)P_m(Z)\\ &=& \sum_{Z} P(Y|X,Z)P(Z)\\ \end{eqnarray} \]

当てはめるのは2行目のこの部分。\(X=0,Y=0\)の場合だと、末尾に書き下している結果を参照すると、確かに一致していることが確かめられる。

\[ \begin{eqnarray} P(Y|X)&=&\sum_{Z} P(Y|X,Z)P_m(Z|X) \\ P(Y=0|X=0)&=&P(Y=0|X=0,Z=0)P(Z=0|X=0) + P(Y=0|X=0,Z=1)P_m(Z=1|X=0) \\ \frac{P(X=0,Y=0)}{P(X=0)}&=&\frac{P(X=0,Y=0,Z=0)}{P(X=0,Z=0)}\frac{P(X=0,Z=0)}{P(X=0)} + \frac{P(X=0,Y=0,Z=1)}{P(X=0,Z=1)}\frac{P(X=0,Z=1)}{P(X=0)} \\ \frac{0.08}{0.40}&=& \frac{0.04}{0.20}\frac{0.20}{0.40} + \frac{0.04}{0.20}\frac{0.20}{0.40} \\ 0.2&=& 0.2 \end{eqnarray} \] とりあえず、書き下していく。3変数の同時確率。これは画像の通り。

- P(X=0,Y=0,Z=0) = 0.04
- P(X=0,Y=0,Z=1) = 0.04
- P(X=0,Y=1,Z=0) = 0.16
- P(X=1,Y=0,Z=0) = 0.06
- P(X=0,Y=1,Z=1) = 0.16
- P(X=1,Y=0,Z=1) = 0.09
- P(X=1,Y=1,Z=0) = 0.18
- P(X=1,Y=1,Z=1) = 0.27

まずは周辺確率。

----------------------------------
- P(X=0)=0.04+0.04+0.16+0.16=0.40
- P(X=1)=0.06+0.09+0.18+0.27=0.60
----------------------------------
- P(Y=0)=0.04+0.04+0.06+0.09=0.23
- P(Y=1)=0.16+0.16+0.18+0.27=0.77
----------------------------------
- P(Z=0)=0.04+0.16+0.06+0.18=0.44
- P(Z=1)=0.04+0.16+0.09+0.27=0.56
----------------------------------

次は2変数の同時確率。

----------------------------------
- P(X=0,Y=0)=0.04+0.04=0.08
- P(X=0,Y=1)=0.16+0.16=0.32
- P(X=1,Y=0)=0.06+0.09=0.15
- P(X=1,Y=1)=0.18+0.27=0.45
----------------------------------
- P(X=0,Z=0)=0.04+0.16=0.20
- P(X=0,Z=1)=0.04+0.16=0.20
- P(X=1,Z=0)=0.06+0.18=0.24
- P(X=1,Z=1)=0.09+0.27=0.36
----------------------------------
- P(Y=0,Z=0)=0.04+0.06=0.10
- P(Y=0,Z=1)=0.04+0.09=0.13
- P(Y=1,Z=0)=0.16+0.18=0.34
- P(Y=1,Z=1)=0.16+0.27=0.43
----------------------------------

そして、条件付き確率。

----------------------------------
- P(Y=0|X=0) = 0.08/0.40=0.20...P(X=0,Y=0)/P(X=0)
- P(Y=1|X=0) = 0.32/0.40=0.80
----------------------------------
- P(Z=0|X=0) = 0.20/0.40=0.50
- P(Z=1|X=0) = 0.20/0.40=0.50
----------------------------------
- P(Y=0|X=1) = 0.15/0.60=0.25
- P(Y=1|X=1) = 0.18/0.60=0.75
----------------------------------
- P(Z=0|X=1) = 0.24/0.60=0.40
- P(Z=1|X=1) = 0.36/0.60=0.60
----------------------------------
- P(X=0|Y=0) = 0.08/0.23=0.35
- P(X=1|Y=0) = 0.15/0.23=0.65
----------------------------------
- P(Z=0|Y=0) = 0.10/0.23=0.43
- P(Z=1|Y=0) = 0.13/0.23=0.57
----------------------------------
- P(X=0|Y=1) = 0.32/0.77=0.42
- P(X=1|Y=1) = 0.45/0.77=0.58
----------------------------------
- P(Z=0|Y=1) = 0.34/0.77=0.44
- P(Z=1|Y=1) = 0.43/0.77=0.56
----------------------------------
- P(X=0|Z=0) = 0.20/0.44=0.45
- P(X=1|Z=0) = 0.24/0.44=0.55
----------------------------------
- P(Y=0|Z=0) = 0.10/0.44=0.23
- P(Y=1|Z=0) = 0.34/0.44=0.77
----------------------------------
- P(X=0|Z=1) = 0.20/0.56=0.36
- P(X=1|Z=1) = 0.36/0.56=0.64
----------------------------------
- P(Y=0|Z=1) = 0.13/0.56=0.23
- P(Y=1|Z=1) = 0.43/0.56=0.77
----------------------------------

同時確率に対する条件付き確率。P({Y=0,Z=0}|X=0)ということ。

----------------------------------
- P(Y=0,Z=0|X=0) = 0.04/0.40=0.10...P(X=0,Y=0,Z=0)/P(X=0)
- P(Y=0,Z=1|X=0) = 0.04/0.40=0.10
- P(Y=1,Z=0|X=0) = 0.16/0.40=0.40
- P(Y=1,Z=1|X=0) = 0.16/0.40=0.40
----------------------------------
- P(Y=0,Z=0|X=1) = 0.06/0.60=0.10
- P(Y=0,Z=1|X=1) = 0.09/0.60=0.15
- P(Y=1,Z=0|X=1) = 0.18/0.60=0.30
- P(Y=1,Z=1|X=1) = 0.27/0.60=0.45
----------------------------------
- P(X=0,Z=0|Y=0) = 0.04/0.23=0.17
- P(X=0,Z=1|Y=0) = 0.04/0.23=0.17
- P(X=1,Z=0|Y=0) = 0.06/0.23=0.26
- P(X=1,Z=1|Y=0) = 0.09/0.23=0.39
----------------------------------
- P(X=0,Z=0|Y=1) = 0.16/0.77=0.21
- P(X=0,Z=1|Y=1) = 0.16/0.77=0.21
- P(X=1,Z=0|Y=1) = 0.18/0.77=0.23
- P(X=1,Z=1|Y=1) = 0.27/0.77=0.35
----------------------------------
- P(X=0,Y=0|Z=0) = 0.04/0.44=0.09
- P(X=0,Y=1|Z=0) = 0.16/0.44=0.36
- P(X=1,Y=0|Z=0) = 0.06/0.44=0.14
- P(X=1,Y=1|Z=0) = 0.18/0.44=0.41
----------------------------------
- P(X=0,Y=0|Z=1) = 0.04/0.56=0.07
- P(X=0,Y=1|Z=1) = 0.16/0.56=0.29
- P(X=1,Y=0|Z=1) = 0.09/0.56=0.16
- P(X=1,Y=1|Z=1) = 0.27/0.56=0.48
----------------------------------

条件が同時確率の場合。P(Y=0|{Z=0,X=0})ということ。

----------------------------------
- P(Y=0|Z=0,X=0) = 0.04/0.20=0.20...P(X=0,Y=0,Z=0)/P(Z=0,X=0)
- P(Y=1|Z=0,X=0) = 0.16/0.20=0.80
----------------------------------
- P(Y=0|Z=1,X=0) = 0.04/0.20=0.20
- P(Y=1|Z=1,X=0) = 0.16/0.20=0.80
----------------------------------
- P(Y=0|Z=0,X=1) = 0.06/0.24=0.25
- P(Y=1|Z=0,X=1) = 0.18/0.24=0.75
----------------------------------
- P(Y=0|Z=1,X=1) = 0.09/0.36=0.25
- P(Y=1|Z=1,X=1) = 0.27/0.36=0.75
----------------------------------
- P(Z=0|X=0,Y=0) = 0.04/0.08=0.50
- P(Z=1|X=0,Y=0) = 0.04/0.08=0.50
----------------------------------
- P(Z=0|X=1,Y=0) = 0.06/0.15=0.40
- P(Z=1|X=1,Y=0) = 0.09/0.15=0.60
----------------------------------
- P(Z=0|X=0,Y=1) = 0.16/0.32=0.50
- P(Z=1|X=0,Y=1) = 0.16/0.32=0.50
----------------------------------
- P(Z=0|X=1,Y=1) = 0.18/0.45=0.40
- P(Z=1|X=1,Y=1) = 0.27/0.45=0.60
----------------------------------
- P(X=0|Y=0,Z=0) = 0.04/0.10=0.40
- P(X=1|Y=0,Z=0) = 0.06/0.10=0.60
----------------------------------
- P(X=0|Y=1,Z=0) = 0.16/0.34=0.47
- P(X=1|Y=1,Z=0) = 0.18/0.34=0.53
----------------------------------
- P(X=0|Y=0,Z=1) = 0.04/0.13=0.31
- P(X=1|Y=0,Z=1) = 0.09/0.13=0.69
----------------------------------
- P(X=0|Y=1,Z=1) = 0.16/0.43=0.37
- P(X=1|Y=1,Z=1) = 0.27/0.43=0.63
----------------------------------

ベイズの定理

ベイズの定理で登場する全確率の公式についてもまとめておく。

全事象\(S\)が\(S_1,S_2\)に分割され、\(S_1,S_2\)どれも重ならず、互いに素であるとき、事象\(D\)は、

\[ \begin{eqnarray} P(D) &=& P(D \cap S)\\ &=& P(D \cap (S_1 \cup S_2) )\\ &=& P(D \cap S_1) \cup P(D \cap S_2) \\ &=& \sum_{i=1}^{2} P(D \cap S_i) \\ &=& \sum_{i=1}^{2} P(D|S_i)P(S_i) \\ && -------------------- \\ &=& \left(\sum_{i=1}^{2} P(S_i|D)P(D) \right) \end{eqnarray} \]

最後の行の形式で、全確率の公式が紹介されることはない。下記の通り、ベイズの定理で\(D\)が得られたときに\(S_1\)が得られる確率を計算したいときは下記の通り計算されるが、

\[ P(S_1|D) = \frac{P(S_1 \cap D)}{P(D)} = \frac{P(D|S_1)P(S_1)}{P(D)}=\frac{P(D|S_1)P(S_1)}{P(D|S_1)P(S_1) + P(D|S_2)P(S_2)} \]

最後の行の形式で、分母の全確率を計算しようとすると、計算したいものが、計算するために必要となってしまう。

\[ P(S_1|D) = \frac{P(S_1 \cap D)}{P(D)} = \frac{P(D|S_1)P(S_1)}{P(D)}=\frac{P(D|S_1)P(S_1)}{P(S_1|D)P(D) + P(S_2|D)P(D)} \]

実際に数値を当てはめてみる。

- P(S_1) = 0.25
- P(S_2) = 0.75
- P(D) = 0.04
- P(D|S_1) = 0.01
- P(D|S_2) = 0.05
---------------------下記は後で計算する
- P(S_1|D) = 0.0625
- P(S_2|D) = 0.9375

全確率の公式を用いて、\(P(D)\)は下記の通り計算できる。

\[ P(D) = P(D|S_1)P(S_1) + P(D|S_2)P(S_2) = 0.01*0.25 + 0.05*0.75 = 0.04 \]

思考実験として、下記でも同様に算出可能であることを確かめておく。

\[ P(D) = P(S_1|D)P(D) + P(S_2|D)P(D) \]

\(D\)の条件つき確率が必要なので、先に計算しておく。

\[ P(S_1|D) = \frac{P(D \cap S_1)}{P(D)} = \frac{P(D|S1)P(S_1)}{P(D)} = \frac{0.01*0.25}{0.04} = 0.0625 \\ P(S_2|D) = \frac{P(D \cap S_2)}{P(D)} = \frac{P(D|S2)P(S_2)}{P(D)} = \frac{0.05*0.75}{0.04} = 0.9375 \\ \]

先程の式に当てはめると、同じ結果が得られる。

\[ P(D) = P(S_1|D)P(D) + P(S_2|D)P(D) = 0.0625*0.04 + 0.9375*0.04 = 0.04 \]

参考文献および参考資料

• 確率についての質問
• 複数の確率変数の同時確率の式変形について