條件機率與獨立
統計先備知識

統計附錄,選讀、不列入評分。正課需要時再查閱,不必先讀完。
觀察|機率模型|抽樣變動|推論
向下捲動開始互動↓
📌 本頁使用方式(先備 · S2 統計)

① 依序閱讀:每節先讀說明;遇到互動元件時,先預測結果,再操作驗證。 ② 對照來源與算例:先算過本頁例子,再操作互動。計算細節、完整實作與證明預設收合,可按需要展開;各節附 Seeing Theory 網站與講義連結供對照。 ③ 檢查理解:答錯時先看回饋,再回到相關說明;標為延伸的內容可留待第二輪。 ④ 最後翻關鍵詞彙卡自測術語,並用 重點速查與來源查閱。

統計入門參考:Seeing Theory。章節旁的來源標記可點到本頁書目。

CONTENTS · 內容目錄
PART 01 · 集合與事件

集合與事件 統計入門參考 · 第 2 章

做機率題的第一步,是把「可能發生什麼」說清楚。樣本空間(sample space) 記作 $\Omega$,包含一次實驗的所有可能結果;事件(event)則是其中一部分。 例如擲一顆公平六面骰,$\Omega=\{1,2,3,4,5,6\}$。令 $A=\{2,4,6\}$ 表示「偶數」,$B=\{4,5,6\}$ 表示「至少 4」。

集合語言 交集 $A\cap B$ 表示兩件事同時成立;聯集 $A\cup B$ 表示至少一件成立;補集 $A^c$ 表示 $A$ 沒有發生。這三個動作會在條件機率裡反覆出現。

上例中,$A\cap B=\{4,6\}$,所以 $P(A\cap B)=2/6=1/3$; $A\cup B=\{2,4,5,6\}$,所以 $P(A\cup B)=4/6=2/3$。若兩個事件可能重疊, 加法規則要把重複算到的交集扣掉:

$$P(A\cup B)=P(A)+P(B)-P(A\cap B).$$
事件包含的點數機率讀法
$A$2、4、6$3/6$骰出偶數
$B$4、5、6$3/6$骰出至少 4
$A\cap B$4、6$2/6$既是偶數且至少 4
$A\cup B$2、4、5、6$4/6$是偶數或至少 4(含兩者皆是)
觀念釐清
機率題裡的「或」會排除兩者同時發生嗎?
通常不會。$A\cup B$ 是包含式的「或」:$A$、$B$ 至少一個成立,也包含兩者都成立。若題目明說只能擇一,才另外排除交集。

原始教材:Seeing Theory 第 2 章 · Set TheoryPDF p.19。本頁文字、例題與圖均重新製作。

延伸:分配律、De Morgan 與條件取反

集合條件如何展開與取反

在機率題與資料篩選中,分配律和 De Morgan 定律能幫你改寫條件:

$$A\cap(B\cup C)=(A\cap B)\cup(A\cap C),$$ $$(A\cup B)^c=A^c\cap B^c,\qquad (A\cap B)^c=A^c\cup B^c.$$

例如「沒有同時通過兩項檢查」表示「至少一項沒通過」;它與「兩項都沒通過」不同。 寫 pandas 條件時,每個條件加括號,並以 ~、&、| 對應取反、且、或。

證明:分配律與 De Morgan 定律

任取一個結果 ω。它屬於 $A\cap(B\cup C)$,恰好表示它在 A 中,而且在 B 或 C 中; 這等價於它在 $A\cap B$ 或 $A\cap C$ 中,所以兩集合相同。 同理,ω 不屬於 $A\cup B$,恰好表示它既不在 A 也不在 B;ω 不屬於 $A\cap B$,則表示至少不在其中一個集合。 逐一改寫便得到兩條 De Morgan 定律。

原始教材:Seeing Theory 第 2 章 · 分配律與 De Morgan 定律PDF p.20。本頁文字、例題與圖均重新製作。

PART 02 · 條件機率

條件機率 統計入門參考 · 第 2 章

條件機率(conditional probability)會把分母換掉。$P(A\mid B)$ 的意思是: 已知 $B$ 發生後,只在 $B$ 這個縮小的樣本空間裡,計算同時也屬於 $A$ 的比例。

$$P(A\mid B)=\frac{P(A\cap B)}{P(B)}\qquad(P(B)>0).$$
先看分母 看到直線右邊的事件,就先把它圈成新的全部。$P(A\mid B)$ 的分母是 $B$;$P(B\mid A)$ 的分母是 $A$。兩者通常不相等。
›目前共有 18 人篩檢陽性,其中 8 人真的有疾病。
概念示意
事件定義
以 100 人為例:A=真的有某疾病,B=篩檢呈陽性。四格可自行改成任何非負整數。
即時計算
總人數100
P(A)10/100 = 0.100
P(B)18/100 = 0.180
P(A|B)8/18 = 0.444
P(B|A)8/10 = 0.800
怎麼讀四格
左上格是 $A\cap B$。求 $P(A\mid B)$ 時,分母取整個 B 欄;求 $P(B\mid A)$ 時,分母取整個 A 列。分子雖相同,分母不同。
觀念釐清
如果條件事件一個人都沒有呢?
分母為 0 時,條件機率在這個初階定義下沒有定義。互動元件會顯示「未定義」,不會把它誤算成 0。

原始教材:Seeing Theory 第 2 章 · Conditional ProbabilityPDF p.27。本頁文字、例題與圖均重新製作。

PART 03 · 獨立與互斥

獨立與互斥 統計入門參考 · 第 2 章

若知道 $B$ 發生後,$A$ 的機率完全不變,我們稱 $A$ 與 $B$ 獨立(independent):

$$P(A\mid B)=P(A),$$

只要相關機率有定義,這等價於乘法式:

$$P(A\cap B)=P(A)P(B).$$

例如連續擲兩次公平硬幣,令 $A$ 為「第一次正面」、$B$ 為「第二次正面」。 四個結果 HH、HT、TH、TT 等可能,$P(A)=P(B)=1/2$ 且 $P(A\cap B)=1/4$, 正好等於乘積。知道第一次結果,不會改變第二次正面的機率。

獨立不等於互斥 互斥事件不能同時發生,所以 $P(A\cap B)=0$。若兩事件都有正機率,這不等於 $P(A)P(B)$,因此它們反而不獨立。
關係定義/檢查式知道 B 後對 A 的影響能否同時發生
獨立$P(A\cap B)=P(A)P(B)$不改變通常可以
互斥$A\cap B=\varnothing$B 發生便排除 A不可以
PART 03 · 自我檢測

一顆公平骰子只擲一次。$A$=出現偶數,$B$=出現 5。兩事件的關係是什麼?

(A) 互斥但不獨立
(B) 獨立,因為偶數和 5 沒有關係
(C) 既互斥又獨立

原始教材:Seeing Theory 第 2 章 · Set Theory 與條件機率PDF p.21。本頁文字、例題與圖均重新製作。

PART 04 · Bayes 公式

Bayes 公式 統計入門參考 · 第 2 章

Bayes 定理用來把條件方向翻過來。已知「有病時驗出陽性」並不等於 「驗出陽性時真的有病」;後者還取決於疾病原本有多常見。

$$P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)}.$$

若 $A$ 與 $A^c$ 分割所有人,分母可用全機率公式展開:

$$P(B)=P(B\mid A)P(A)+P(B\mid A^c)P(A^c).$$
🔗 後續用途 分類第 LDA 節會用 Bayes 定理把類別條件密度轉成後驗類別機率;統計學習的 Bayes 分類器則選後驗機率最大的類別。

原始教材:Seeing Theory 第 2 章 · Bayes RulePDF p.28。本頁文字、例題與圖均重新製作。

證明:從條件機率得到 Bayes 公式

當 $P(A)>0$、$P(B)>0$,由條件機率定義,

$$P(A\cap B)=P(A\mid B)P(B)=P(B\mid A)P(A).$$

兩邊除以 $P(B)$ 即得 Bayes 公式。若 $A_1,\ldots,A_K$ 是互斥且涵蓋全部結果的分割, 所有使用到的條件機率有定義,則 $B$ 被 $B\cap A_k$ 分割,因而

$$P(B)=\sum_kP(B\mid A_k)P(A_k).$$

零機率類別的聯合機率為 0,可直接省略,無須定義該類別上的條件機率。

PART 05 · 計數〔選讀〕

計數〔選讀〕 統計入門參考 · 第 2 章

當結果等可能,機率可以用符合條件的結果數除以全部結果數。更多計數技巧可在需要時再讀。

選讀:排列、組合與完整計數練習

當每個基本結果等可能時,機率常化成「符合條件的數量/全部數量」。計數時先問順序是否重要。 從 $n$ 個不同物件中選 $r$ 個:若順序重要,用排列;若只在乎選了哪一些,用組合。

$$P_{n,r}=\frac{n!}{(n-r)!},\qquad \binom{n}{r}=\frac{n!}{r!(n-r)!}.$$

符號 $n!$ 讀作 n 的階乘,表示從 n 乘到 1,例如 $4!=4\times3\times2\times1=24$;約定 $0!=1$。這裡 n 與 r 為整數,且 $0\le r\le n$,每個物件最多選一次。

原始教材:Seeing Theory 第 2 章 · CountingPDF p.23。本頁文字、例題與圖均重新製作。

EXERCISES · 練習

複習本頁概念 先備 · 自我檢測

回顧本頁概念與原教材,檢查自己能否說明公式、圖形與成立條件。

EXERCISE 3 · 原創

某警報在火災時有 98% 會響,無火災時有 2% 會誤響。要算警報響後有火災的機率,還缺哪項?

(A) 警報音量
(B) 火災的基準率
(C) 把 98% 和 2% 相加

題目來源:觀念範圍對照 Seeing Theory 第 2 章與PDF pp.19–30。

重點速查與來源

條件機率與獨立速查表 先備 · S2 統計

來源:完整書目與章節定位

本頁書目與章節定位

  • 統計入門參考:Seeing Theory。Tyler Dae Devlin、Jingru Guo、Daniel Kunin、Daniel Xiang,2018 年講義草稿。原書與下載資訊
    本頁對應:統計入門參考 · 第 2 章。

需要核對完整公式、比較表或實作時,再展開下方速查。

查閱完整速查與延伸提醒
看到的語句分母/計算先檢查
A 或 B$P(A)+P(B)-P(A\cap B)$交集是否被重複計算
已知 B,求 A$P(A\cap B)/P(B)$$P(B)>0$
A、B 獨立$P(A\cap B)=P(A)P(B)$不能只靠語感判斷
由 B 反推 A$P(B\mid A)P(A)/P(B)$先驗/基準率與分母
選 r 個且順序重要$n!/(n-r)!$是否可重複選
選 r 個且順序不重要$\binom{{n}}{{r}}$是否每組等可能

Seeing Theory · Compound Probability提供集合、計數與條件機率的原始互動章節; Seeing Theory PDF pp.19–30提供公式推導與完整例題脈絡。

CARDS · 關鍵詞彙卡

關鍵詞彙卡:點卡片翻面 先備 · 詞彙

詞彙卡整理本頁依 Seeing Theory 編寫的概念解說中常用的統計或機器學習專有名詞,正面附英文名稱。 先看正面的術語,試著說出定義,再翻面核對。可以洗牌複習,也可以搭配本章例子練習解釋。

複習:展開關鍵詞彙卡