① 依序閱讀:每節先讀說明;遇到互動元件時,先預測結果,再操作驗證。 ② 對照來源與算例:先算過本頁例子,再操作互動。計算細節、完整實作與證明預設收合,可按需要展開;各節附 Seeing Theory 網站與講義連結供對照。 ③ 檢查理解:答錯時先看回饋,再回到相關說明;標為延伸的內容可留待第二輪。 ④ 最後翻關鍵詞彙卡自測術語,並用 重點速查與來源查閱。
統計入門參考:Seeing Theory。章節旁的來源標記可點到本頁書目。
Bayes 公式處理「看到結果之後,未知狀態或假設有多可能」這類問題。先驗機率描述看到資料前的判斷, 概似描述各個未知狀態或假設與目前資料的相容程度;兩者相乘並重新正規化,就得到後驗機率。
若事件 $A$ 是「有疾病」、$+$ 是「檢驗陽性」,則
$$P(A\mid +)=\frac{P(+\mid A)P(A)}{P(+\mid A)P(A)+P(+\mid A^c)P(A^c)}.$$回顧 S2 的篩檢算例:盛行率 1%、敏感度 90%、 偽陽性率 5% 時,陽性後的罹病機率約為 15.4%。這一頁接著把「更新事件機率」推進到 「用資料更新未知參數的整個分布」。需要重算人數表時,可回 S2 核對。
某疾病很少見。檢驗呈陽性後,為何不能直接把敏感度當成罹病機率?
固定已觀察的資料,把未知參數當成可變輸入,就得到概似函數(likelihood)。 它寫成 $L(p\mid x)$,數值等於在指定 $p$ 下看到資料 $x$ 的機率或密度,但閱讀方向是「哪些 $p$ 比較支持這批固定資料」。概似不是 $p$ 的機率分布,因此不要求對 $p$ 積分為 1。
假設每次投擲互相獨立,而且都使用同一個正面機率 $p$。得到 $s$ 次正面、$f$ 次反面時, 忽略與 $p$ 無關的二項係數後,
$$L(p\mid s,f)\propto p^s(1-p)^f,\qquad \hat p_{\mathrm{MLE}}=\frac{s}{s+f}\quad(s+f>0).$$來源:Seeing Theory Ch.5 · Likelihood Function;講義。
若 s、f 都為正,對數概似為 $\ell(p)=s\log p+f\log(1-p)$,
$$\ell'(p)=\frac{s}{p}-\frac{f}{1-p}=0\ \Longrightarrow\ \hat p=\frac{s}{s+f},\qquad \ell''(p)=-\frac{s}{p^2}-\frac{f}{(1-p)^2}<0.$$所以內部駐點是唯一最大值。若 s=0、f>0,概似在 p=0 最大;若 f=0、s>0,則在 p=1 最大。 若兩者都是 0,概似恆定,沒有唯一 MLE。
Beta 分布常用來描述硬幣正面機率 $p$ 的先驗,其中 $0\le p\le1$、$\alpha>0$、$\beta>0$。 $B(\alpha,\beta)$ 是正規化常數,用來讓整條密度曲線下的面積等於 1。當 $p\sim\operatorname{Beta}(\alpha,\beta)$,而資料有 $s$ 次正面與 $f$ 次反面,後驗仍是 Beta:
$$\pi(p)=\frac{p^{\alpha-1}(1-p)^{\beta-1}}{B(\alpha,\beta)},\qquad p\mid s,f\sim\operatorname{Beta}(\alpha+s,\beta+f).$$Beta 先驗可用兩個較清楚的量來讀:先驗平均是 $\alpha/(\alpha+\beta)$,先驗總量是 $\alpha+\beta$。前者決定中心,後者描述分布集中程度。 更新後的平均為 $(\alpha+s)/(\alpha+\beta+s+f)$。
來源:Seeing Theory Ch.5 · Prior to Posterior;講義。
參數 θ 為連續量時,先驗與後驗都是密度。固定資料 x,以概似乘上先驗,再除以整個參數範圍上的積分:
$$\pi(\theta\mid x)=\frac{L(\theta;x)\pi(\theta)}{\int L(u;x)\pi(u)\,du}.$$分母必須有限且大於 0;它讓後驗密度積分為 1。離散參數則把積分換成加總。 所謂共軛先驗(conjugate prior),指更新後仍落在同一分布族;Beta 對 Bernoulli/二項概似就是一例。
把先驗和概似相乘:
$$\pi(p\mid s,f)\propto p^s(1-p)^f p^{\alpha-1}(1-p)^{\beta-1} =p^{\alpha+s-1}(1-p)^{\beta+f-1}.$$這正是 Beta 密度的形狀。由 $B(a,b)=\int_0^1u^{a-1}(1-u)^{b-1}\,du$,其正規化後為
$$\pi(p\mid s,f)=\frac{p^{\alpha+s-1}(1-p)^{\beta+f-1}}{B(\alpha+s,\beta+f)}.$$α、β 均大於 0 時,零筆資料也有合法後驗,且後驗等於先驗。
後驗是先驗資訊與目前資料的折衷。對 Beta–Binomial 模型,後驗平均可直接拆成兩個平均的加權:
若 $s+f=0$,不要代入最後一個分數;此時後驗直接等於先驗。
若要預測下一次投擲,正面的後驗預測機率等於 $p$ 的後驗平均: $(\alpha+s)/(\alpha+\beta+s+f)$。
先驗總量 $\alpha+\beta$ 越大,需要越多資料,才會讓後驗明顯改變。資料量增加時,資料比例的權重增加; 這不保證先驗永遠變得無關,還要確認模型與資料收集方式合理。
來源:Seeing Theory Ch.5 · Prior to Posterior;講義。
對未知 p 的後驗密度加權:
$$P(X_{\rm new}=1\mid s,f)=\int_0^1P(X_{\rm new}=1\mid p)\pi(p\mid s,f)\,dp =E[p\mid s,f]=\frac{\alpha+s}{\alpha+\beta+s+f}.$$這裡假設新投擲與既有資料在給定同一 p 後條件獨立。
回顧本頁概念與原教材,檢查自己能否說明公式、圖形與成立條件。
Beta(1,1) 先驗配上 0 次正面、0 次反面,後驗為何?
題目依 Seeing Theory Ch.5 的 Bayes、Likelihood 與 Prior to Posterior 定義重新編寫;講義。
需要核對完整公式、比較表或實作時,再展開下方速查。
先判斷你要算的是事件機率、參數的相對支持度,或參數的後驗分布,再選公式。
| 概念 | 用途 | Seeing Theory 原站 | 講義頁 |
|---|---|---|---|
| Bayes 公式 | 由結果更新未知狀態 | Bayes' Theorem | p.49–50 |
| 概似 | 固定資料,比較參數 | Likelihood Function | p.51–52 |
| 先驗到後驗 | 結合先驗與資料 | Prior to Posterior | p.52–54 |
詞彙卡整理本頁依 Seeing Theory 編寫的概念解說中常用的統計或機器學習專有名詞,正面附英文名稱。 先看正面的術語,試著說出定義,再翻面核對。可以洗牌複習,也可以搭配本章例子練習解釋。