分布與抽樣
統計先備知識

統計附錄,選讀、不列入評分。正課需要時再查閱,不必先讀完。
觀察|機率模型|抽樣變動|推論
向下捲動開始互動↓
📌 本頁使用方式(先備 · S3 統計)

① 依序閱讀:每節先讀說明;遇到互動元件時,先預測結果,再操作驗證。 ② 對照來源與算例:先算過本頁例子,再操作互動。計算細節、完整實作與證明預設收合,可按需要展開;各節附 Seeing Theory 網站與講義連結供對照。 ③ 檢查理解:答錯時先看回饋,再回到相關說明;標為延伸的內容可留待第二輪。 ④ 最後翻關鍵詞彙卡自測術語,並用 重點速查與來源查閱。

統計入門參考:Seeing Theory。章節旁的來源標記可點到本頁書目。

CONTENTS · 內容目錄
PART 01 · 隨機變數與分布

隨機變數與分布 統計入門參考 · 第 3 章

隨機變數(random variable)是一條規則:它把每個隨機結果對應到一個數。 隨機的是實驗結果;映射規則本身在實驗前已經定好。把結果變成數字後,我們才能談平均、變異數與分佈。

數值例。擲兩次公平硬幣,樣本空間是 $\Omega=\{HH,HT,TH,TT\}$。令 $X$ 為正面次數,則 $X(HH)=2$、$X(HT)=X(TH)=1$、$X(TT)=0$。注意 HT 與 TH 是不同結果,卻映到同一個數值 1。

原始結果 $\omega$HHHTTHTT
$X(\omega)$:正面次數2110
結果本身的機率$1/4$$1/4$$1/4$$1/4$

把映到相同數值的機率加起來,就得到 $P(X=0)=1/4$、$P(X=1)=1/2$、$P(X=2)=1/4$。 這三個機率合起來才是 $X$ 的機率分佈(probability distribution)。

分清兩層 樣本空間列的是實驗結果;隨機變數的取值是數字。兩個不同結果可以有相同的隨機變數值。
PART 01 · 自我檢測

擲兩次公平硬幣,令 $X$ 為正面次數。$P(X=1)$ 是多少?

(A) $1/4$
(B) $1$
(C) $1/2$

原始教材:Seeing Theory 第 3 章 · Random VariablesPDF p.31。本頁文字、例題與圖均重新製作。

PART 02 · 離散與連續

離散與連續 統計入門參考 · 第 3 章

離散隨機變數只有有限或可數個可能值,使用機率質量函數(probability mass function, PMF): 每根柱子的高度就是某一點的機率。連續隨機變數則使用機率密度函數(probability density function, PDF): 區間下方的面積才是機率。

$$P(X=x)=p(x)\quad\text{(離散)},\qquad P(a\le X\le b)=\int_a^b f(x)\,dx\quad\text{(連續)}.$$
密度不是點機率 連續分佈在任何單一點的機率都是 0;密度 $f(x)$ 可以大於 1,只要整條曲線下的總面積是 1。

數值例。若 $X\sim U(2,6)$,密度高度為 $1/(6-2)=1/4$。 因此 $P(3\le X\le5)$ 是寬 2、高 $1/4$ 的長方形面積,也就是 $1/2$。 但 $P(X=4)=0$;單點沒有寬度,因此沒有面積。

累積分布函數(cumulative distribution function, CDF) 把左側已累積的機率記成 $F(x)=P(X\le x)$。它對離散與連續變數都適用。

$$P(a<X\le b)=F(b)-F(a).$$

若是連續分布,端點的機率為 0,上式也等於 $P(a\le X\le b)$。 若是離散分布,想把左端點 $a$ 也算入,還要加上 $P(X=a)$。 以上面的 $U(2,6)$ 為例,$F(5)=3/4$、$F(3)=1/4$,相減就得到區間機率 $1/2$。 公式中的積分符號 ∫ 表示曲線下面積,本頁以長方形與圖形理解,不需要先會積分運算。

類型可能值圖的高度代表區間機率
離散有限或可數該點的機率把區間內的 PMF 相加
連續一段連續範圍每單位長度的機率密度對 PDF 積分,即曲線下面積
PART 02 · 自我檢測

某連續分佈在 $x=2$ 的密度是 1.4。下列哪個判讀正確?

(A) $P(X=2)=1.4$
(B) 密度可以高於 1,但總面積仍須等於 1
(C) 這一定是無效分佈,因為機率不能超過 1

原始教材:Seeing Theory 第 3 章 · Discrete and ContinuousPDF p.34。本頁文字、例題與圖均重新製作。

PART 03 · 常用分布

常用分布 統計入門參考 · 第 3 章

分佈族把常見的隨機機制寫成少數參數。Bernoulli 表示一次成敗;二項分佈表示 $n$ 次獨立、同成功率的 Bernoulli 試驗中成功幾次;均勻分佈把固定區間內等長區段給相同機率; 常態分佈由中心 $\mu$ 與尺度 $\sigma$ 決定。

›Bernoulli:一次成敗,藍色柱表示指定區間內的機率。
概念示意
四個分佈族
選分佈後調參數,再指定區間。離散分佈把區間內柱子機率相加;連續分佈計算區間下方面積。
目前摘要
平均值0.5
變異數0.25
區間機率1.0000
計算方式區間內 PMF 相加
參數條件
Bernoulli/二項:$0\le p\le1$;二項的 $n$ 為正整數。均勻:$a<b$。常態:$\sigma>0$。元件會把輸入限制在有效範圍。
查閱:四種分布的平均與變異數
分佈記號與參數平均值變異數常見用途
Bernoulli$X\sim\mathrm{{Bernoulli}}(p)$$p$$p(1-p)$一次成敗
二項$X\sim\mathrm{{Binomial}}(n,p)$$np$$np(1-p)$$n$ 次獨立同率試驗的成功數
均勻$X\sim U(a,b)$$(a+b)/2$$(b-a)^2/12$區間內等長範圍等可能
常態$X\sim N(\mu,\sigma^2)$$\mu$$\sigma^2$許多小效應相加的連續量
PART 03 · 自我檢測

每件產品獨立通過檢驗的機率為 0.8,隨機檢查 10 件並記錄通過件數。哪個模型最合適?

(A) $\mathrm{{Bernoulli}}(0.8)$
(B) $\mathrm{{Binomial}}(10,0.8)$
(C) $N(0.8,10)$

原始教材:Seeing Theory 第 3 章 · Discrete and ContinuousPDF p.35。本頁文字、例題與圖均重新製作。

查公式與算例:各分布的 PMF/PDF

從公式算出每根柱與每一段面積

下列 PMF/PDF 連同支撐範圍定義分布;沒有列入的離散值或區間外的密度皆為 0。

分布PMF/PDF範圍與參數
Bernoulli$P(X=1)=p,\ P(X=0)=1-p$$0\le p\le1$
二項$P(X=k)=\binom nk p^k(1-p)^{n-k}$$k=0,\ldots,n$;$n\ge1$ 整數,$0<p<1$
均勻$f(x)=1/(b-a)$$a\le x\le b$;$a<b$
常態$f(x)=\frac1{\sigma\sqrt{2\pi}}e^{-(x-\mu)^2/(2\sigma^2)}$$x\in\mathbb R$;$\sigma>0$

二項分布的端點 $p=0$ 表示 X 恆等於 0,$p=1$ 表示 X 恆等於 n。 例如 $X\sim\mathrm{Binomial}(3,0.5)$,恰有兩次成功的機率是 $\binom32(0.5)^3=3/8$。 均勻 $U(2,6)$ 的密度為 1/4,因此落在 [3,5] 的機率為 $2/4=1/2$。

證明:二項 PMF、平均與變異數

令 $X=\sum_{i=1}^nI_i$,其中 $I_i$ 是獨立、成功率同為 p 的 Bernoulli 變數。 指定 k 次成功所在位置後,該序列的機率為 $p^k(1-p)^{n-k}$,位置共有 $\binom nk$ 種。 不同序列互斥,所以加總得到 PMF。由期望值線性性及獨立性,

$$E[X]=\sum_i p=np,\qquad \operatorname{Var}(X)=\sum_i p(1-p)=np(1-p).$$
延伸:Poisson 計數與指數等待時間

計數與等待:Poisson、Exponential

Poisson 分布描述固定觀察範圍內的非負整數計數,例如一段時間內到站的人數。 參數 λ 是該範圍的期望計數;模型同時限制平均與變異數相等:

$$P(X=k)=e^{-\lambda}\frac{\lambda^k}{k!},\quad k=0,1,\ldots,\quad\lambda>0; \qquad E[X]=\operatorname{Var}(X)=\lambda.$$

指數分布(Exponential)描述非負連續等待時間,以 λ 表示率參數:

$$f(t)=\lambda e^{-\lambda t}\ (t\ge0),\qquad P(T>t)=e^{-\lambda t},\qquad E[T]=\frac1\lambda,\quad\operatorname{Var}(T)=\frac1{\lambda^2}.$$
證明:指數分布的面積與等待機率
$$\int_0^\infty\lambda e^{-\lambda u}\,du=1,\qquad P(T>t)=\int_t^\infty\lambda e^{-\lambda u}\,du=e^{-\lambda t}.$$

以分部積分得 $E[T]=1/\lambda$、$E[T^2]=2/\lambda^2$,相減可得變異數 $1/\lambda^2$。 此外,$P(T>s+t\mid T>s)=e^{-\lambda(s+t)}/e^{-\lambda s}=e^{-\lambda t}$,這稱為無記憶性。

原始教材:Seeing Theory 第 3 章 · Poisson、二項、指數與常態PDF p.34。本頁文字、例題與圖均重新製作。

PART 04 · 抽樣分布

抽樣分布 統計入門參考 · 第 3 章

母體分佈描述單一觀測 $X$ 可能長什麼樣;抽樣分佈(sampling distribution)描述 一個統計量在重複抽取新樣本時如何變動。兩者描述的隨機量不同。

完整算例:25 顆骰子的平均

數值例。若一次公平擲骰的平均為 $\mu=3.5$、變異數為 $\sigma^2=35/12$,每次獨立擲 25 顆並取平均,則

$$E(\bar X)=3.5,\qquad \operatorname{Var}(\bar X)=\frac{35/12}{25}=\frac{7}{60},\qquad \operatorname{SD}(\bar X)\approx0.342.$$

單顆骰子的結果仍然散在 1 到 6;25 顆的平均會集中在 3.5 附近。 樣本平均的變異數縮小為原來的 $1/n$,標準差縮小為 $1/\sqrt n$。

分佈一次重複實驗記錄什麼平均標準差
原始分佈一個觀測 $X$$\mu$$\sigma$
樣本平均的抽樣分佈$n$ 個觀測的平均 $\bar X$$\mu$$\sigma/\sqrt n$
🔗 後續用途 線性迴歸的係數推論要理解估計量在重複抽樣下如何變動;Bootstrap則用重抽樣近似難以直接推導的抽樣分佈。

原始教材:Seeing Theory 第 3 章 · Central Limit Theorem 前的抽樣準備PDF p.38。本頁文字、例題與圖均重新製作。

PART 05 · 大數法則與中央極限定理

大數法則與中央極限定理 統計入門參考 · 第 3 章

中央極限定理(central limit theorem, CLT)描述樣本平均的分佈形狀。 若 $X_1,X_2,\ldots$ 獨立同分佈(i.i.d.),且有有限平均 $\mu$ 與 $0<\sigma^2<\infty$,則

查看中央極限定理的標準化寫法
$$\frac{\bar X-\mu}{\sigma/\sqrt n} \xrightarrow{d}N(0,1),$$

也就是 $n$ 足夠大時,$\bar X$ 的分佈近似 $N(\mu,\sigma^2/n)$。 「足夠大」沒有統一門檻;母體愈偏斜或尾端愈重,常態近似通常需要更大的 $n$。

›n=1 時,樣本平均就是原始觀測,分佈仍明顯右偏。
模擬示意
固定母體:指數分佈
原始 $X$ 右偏,平均與變異數都是 1。每次取 $n$ 個 i.i.d. 觀測的平均,重複 160 次。藍色柱為模擬樣本平均,綠線為同平均、同變異數的常態近似。
目前模擬
每組樣本數 n1
樣本平均的平均—
樣本平均的標準差—
理論標準差1.000
兩個定理回答不同問題
大數法則(LLN)說 $\bar X$ 會靠近 $\mu$;CLT 說標準化後的抽樣分佈趨近常態。在條件成立時,對任何固定的正誤差門檻,平均偏離母體平均超過門檻的機率趨近 0;單次路徑不保證每加一筆都更接近。
PART 05 · 自我檢測

下列哪個條件組合符合本頁使用的中央極限定理版本?

(A) 觀測 i.i.d.,母體平均有限,且 $0<\sigma^2<\infty$
(B) 觀測值必須本來就是常態分佈
(C) 樣本平均必須隨每筆新資料單調靠近母體平均

原始教材:Seeing Theory 第 3 章 · Central Limit TheoremPDF p.39。本頁文字、例題與圖均重新製作。

EXERCISES · 練習

複習本頁概念 先備 · 自我檢測

回顧本頁概念與原教材,檢查自己能否說明公式、圖形與成立條件。

EXERCISE 4 · 原創

增加樣本數後,某次樣本平均反而離母體平均更遠。這與大數法則矛盾嗎?

(A) 不矛盾;定理描述長期機率行為,不保證逐步單調
(B) 矛盾,因為誤差必須每一步都下降
(C) 不矛盾,因為樣本平均永遠不會收斂

題目來源:觀念範圍對照 Seeing Theory 第 3 章與PDF pp.31–40。

重點速查與來源

分布與抽樣速查表 先備 · S3 統計

來源:完整書目與章節定位

本頁書目與章節定位

  • 統計入門參考:Seeing Theory。Tyler Dae Devlin、Jingru Guo、Daniel Kunin、Daniel Xiang,2018 年講義草稿。原書與下載資訊
    本頁對應:統計入門參考 · 第 3 章。

需要核對完整公式、比較表或實作時,再展開下方速查。

查閱完整速查與延伸提醒
概念核心式常見誤讀
PMF$P(X=x)=p(x)$柱高就是離散點機率
PDF$P(a\le X\le b)=\int_a^b f(x)dx$密度高度不是單點機率
樣本平均$E(\bar X)=\mu$平均不會除以 n
樣本平均的變異$\operatorname{{Var}}(\bar X)=\sigma^2/n$標準差是 $\sigma/\sqrt n$
LLN$\bar X$ 靠近 $\mu$不保證逐步單調
CLT$(\bar X-\mu)/(\sigma/\sqrt n)\Rightarrow N(0,1)$描述抽樣分佈,不要求原始母體常態

Seeing Theory · Probability Distributions提供隨機變數、離散/連續分佈與 CLT 的原始互動章節; Seeing Theory PDF pp.31–40提供定義、分佈族與定理脈絡。

CARDS · 關鍵詞彙卡

關鍵詞彙卡:點卡片翻面 先備 · 詞彙

詞彙卡整理本頁依 Seeing Theory 編寫的概念解說中常用的統計或機器學習專有名詞,正面附英文名稱。 先看正面的術語,試著說出定義,再翻面核對。可以洗牌複習,也可以搭配本章例子練習解釋。

複習:展開關鍵詞彙卡