貝氏推論
統計先備知識

統計附錄,選讀、不列入評分。正課需要時再查閱,不必先讀完。
觀察|機率模型|抽樣變動|推論
向下捲動開始互動↓
📌 本頁使用方式(先備 · S5 統計)

① 依序閱讀:每節先讀說明;遇到互動元件時,先預測結果,再操作驗證。 ② 對照來源與算例:先算過本頁例子,再操作互動。計算細節、完整實作與證明預設收合,可按需要展開;各節附 Seeing Theory 網站與講義連結供對照。 ③ 檢查理解:答錯時先看回饋,再回到相關說明;標為延伸的內容可留待第二輪。 ④ 最後翻關鍵詞彙卡自測術語,並用 重點速查與來源查閱。

統計入門參考:Seeing Theory。章節旁的來源標記可點到本頁書目。

CONTENTS · 內容目錄
PART 01 · Bayes 公式回顧

Bayes 公式回顧 統計入門參考 · 第 5 章

Bayes 公式處理「看到結果之後,未知狀態或假設有多可能」這類問題。先驗機率描述看到資料前的判斷, 概似描述各個未知狀態或假設與目前資料的相容程度;兩者相乘並重新正規化,就得到後驗機率。

若事件 $A$ 是「有疾病」、$+$ 是「檢驗陽性」,則

$$P(A\mid +)=\frac{P(+\mid A)P(A)}{P(+\mid A)P(A)+P(+\mid A^c)P(A^c)}.$$

回顧 S2 的篩檢算例:盛行率 1%、敏感度 90%、 偽陽性率 5% 時,陽性後的罹病機率約為 15.4%。這一頁接著把「更新事件機率」推進到 「用資料更新未知參數的整個分布」。需要重算人數表時,可回 S2 核對。

分母在做什麼 分母把所有能產生陽性的路徑加總:患者中的真陽性,加上健康者中的偽陽性。它讓後驗機率加總為 1。
🔗 正課中的分類機率 到分類章的 LDA時,各類別的先驗機率與類別條件密度會用同一個 Bayes 規則合成分類機率。
PART 01 · 自我檢測

某疾病很少見。檢驗呈陽性後,為何不能直接把敏感度當成罹病機率?

(A) 還要考慮盛行率與偽陽性
(B) 因為敏感度必定小於 50%
(C) 因為陽性結果完全沒有資訊

來源:Seeing Theory Ch.5 · Bayes' Theorem;講義。

PART 02 · 概似與最大概似

概似與最大概似 統計入門參考 · 第 5 章

固定已觀察的資料,把未知參數當成可變輸入,就得到概似函數(likelihood)。 它寫成 $L(p\mid x)$,數值等於在指定 $p$ 下看到資料 $x$ 的機率或密度,但閱讀方向是「哪些 $p$ 比較支持這批固定資料」。概似不是 $p$ 的機率分布,因此不要求對 $p$ 積分為 1。

完整計算:二項概似與相對支持度

假設每次投擲互相獨立,而且都使用同一個正面機率 $p$。得到 $s$ 次正面、$f$ 次反面時, 忽略與 $p$ 無關的二項係數後,

$$L(p\mid s,f)\propto p^s(1-p)^f,\qquad \hat p_{\mathrm{MLE}}=\frac{s}{s+f}\quad(s+f>0).$$
機率與概似的方向 機率固定參數、比較可能資料;概似固定已看到的資料、比較可能參數。公式相同,問題方向不同。

來源:Seeing Theory Ch.5 · Likelihood Function;講義。

證明:Bernoulli 最大概似估計,包括端點

若 s、f 都為正,對數概似為 $\ell(p)=s\log p+f\log(1-p)$,

$$\ell'(p)=\frac{s}{p}-\frac{f}{1-p}=0\ \Longrightarrow\ \hat p=\frac{s}{s+f},\qquad \ell''(p)=-\frac{s}{p^2}-\frac{f}{(1-p)^2}<0.$$

所以內部駐點是唯一最大值。若 s=0、f>0,概似在 p=0 最大;若 f=0、s>0,則在 p=1 最大。 若兩者都是 0,概似恆定,沒有唯一 MLE。

PART 03 · 先驗到後驗

先驗到後驗 統計入門參考 · 第 5 章

查公式:Beta 先驗密度、正規化與更新

Beta 分布常用來描述硬幣正面機率 $p$ 的先驗,其中 $0\le p\le1$、$\alpha>0$、$\beta>0$。 $B(\alpha,\beta)$ 是正規化常數,用來讓整條密度曲線下的面積等於 1。當 $p\sim\operatorname{Beta}(\alpha,\beta)$,而資料有 $s$ 次正面與 $f$ 次反面,後驗仍是 Beta:

$$\pi(p)=\frac{p^{\alpha-1}(1-p)^{\beta-1}}{B(\alpha,\beta)},\qquad p\mid s,f\sim\operatorname{Beta}(\alpha+s,\beta+f).$$

Beta 先驗可用兩個較清楚的量來讀:先驗平均是 $\alpha/(\alpha+\beta)$,先驗總量是 $\alpha+\beta$。前者決定中心,後者描述分布集中程度。 更新後的平均為 $(\alpha+s)/(\alpha+\beta+s+f)$。

›均勻先驗且尚無資料:先驗與後驗重合;相對概似是一條高度 1 的水平線。
1100
概念示意
同一張圖的三條曲線
上半圖的先驗與後驗是正規化密度,曲線下面積各為 1。下半圖是相對概似,最高點縮放為 1;兩種縱軸不能拿高度直接互比。
目前的更新
先驗Beta(1, 1)
資料0 正、0 反
後驗Beta(1, 1)
後驗平均0.500
MLE不唯一(無資料)
如何核對更新
後驗第一個參數等於先驗第一個參數加正面次數,第二個參數加反面次數。零筆資料時兩個參數都不變,所以後驗應與先驗完全重合。

來源:Seeing Theory Ch.5 · Prior to Posterior;講義。

計算細節:一般 Bayes 密度與共軛推導

一般的更新公式與正規化

參數 θ 為連續量時,先驗與後驗都是密度。固定資料 x,以概似乘上先驗,再除以整個參數範圍上的積分:

$$\pi(\theta\mid x)=\frac{L(\theta;x)\pi(\theta)}{\int L(u;x)\pi(u)\,du}.$$

分母必須有限且大於 0;它讓後驗密度積分為 1。離散參數則把積分換成加總。 所謂共軛先驗(conjugate prior),指更新後仍落在同一分布族;Beta 對 Bernoulli/二項概似就是一例。

證明:Beta 與二項概似的共軛更新

把先驗和概似相乘:

$$\pi(p\mid s,f)\propto p^s(1-p)^f p^{\alpha-1}(1-p)^{\beta-1} =p^{\alpha+s-1}(1-p)^{\beta+f-1}.$$

這正是 Beta 密度的形狀。由 $B(a,b)=\int_0^1u^{a-1}(1-u)^{b-1}\,du$,其正規化後為

$$\pi(p\mid s,f)=\frac{p^{\alpha+s-1}(1-p)^{\beta+f-1}}{B(\alpha+s,\beta+f)}.$$

α、β 均大於 0 時,零筆資料也有合法後驗,且後驗等於先驗。

PART 04 · 資料量與先驗影響

資料量與先驗影響 統計入門參考 · 第 5 章

後驗是先驗資訊與目前資料的折衷。對 Beta–Binomial 模型,後驗平均可直接拆成兩個平均的加權:

查看後驗平均的加權分解
$$E[p\mid s,f] =\frac{\alpha+\beta}{\alpha+\beta+s+f}\frac{\alpha}{\alpha+\beta} +\frac{s+f}{\alpha+\beta+s+f}\frac{s}{s+f}, \qquad s+f>0.$$

若 $s+f=0$,不要代入最後一個分數;此時後驗直接等於先驗。

若要預測下一次投擲,正面的後驗預測機率等於 $p$ 的後驗平均: $(\alpha+s)/(\alpha+\beta+s+f)$。

先驗總量 $\alpha+\beta$ 越大,需要越多資料,才會讓後驗明顯改變。資料量增加時,資料比例的權重增加; 這不保證先驗永遠變得無關,還要確認模型與資料收集方式合理。

來源:Seeing Theory Ch.5 · Prior to Posterior;講義。

證明:下一次正面的後驗預測機率

對未知 p 的後驗密度加權:

$$P(X_{\rm new}=1\mid s,f)=\int_0^1P(X_{\rm new}=1\mid p)\pi(p\mid s,f)\,dp =E[p\mid s,f]=\frac{\alpha+s}{\alpha+\beta+s+f}.$$

這裡假設新投擲與既有資料在給定同一 p 後條件獨立。

EXERCISES · 練習

複習本頁概念 先備 · 自我檢測

回顧本頁概念與原教材,檢查自己能否說明公式、圖形與成立條件。

EXERCISE 3 · 共軛更新

Beta(1,1) 先驗配上 0 次正面、0 次反面,後驗為何?

(A) Beta(0,0)
(B) 仍是 Beta(1,1)
(C) MLE 為 0.5,所以後驗集中在 0.5

題目依 Seeing Theory Ch.5 的 Bayes、Likelihood 與 Prior to Posterior 定義重新編寫;講義。

重點速查與來源

貝氏推論〔選讀〕速查表 先備 · S5 統計

來源:完整書目與章節定位

本頁書目與章節定位

  • 統計入門參考:Seeing Theory。Tyler Dae Devlin、Jingru Guo、Daniel Kunin、Daniel Xiang,2018 年講義草稿。原書與下載資訊
    本頁對應:統計入門參考 · 第 5 章。

需要核對完整公式、比較表或實作時,再展開下方速查。

查閱完整速查與延伸提醒

先判斷你要算的是事件機率、參數的相對支持度,或參數的後驗分布,再選公式。

概念用途Seeing Theory 原站講義頁
Bayes 公式由結果更新未知狀態Bayes' Theoremp.49–50
概似固定資料,比較參數Likelihood Functionp.51–52
先驗到後驗結合先驗與資料Prior to Posteriorp.52–54
CARDS · 關鍵詞彙卡

關鍵詞彙卡:點卡片翻面 先備 · 詞彙

詞彙卡整理本頁依 Seeing Theory 編寫的概念解說中常用的統計或機器學習專有名詞,正面附英文名稱。 先看正面的術語,試著說出定義,再翻面核對。可以洗牌複習,也可以搭配本章例子練習解釋。

複習:展開關鍵詞彙卡