① 依序閱讀:每節先讀說明;遇到互動元件時,先預測結果,再操作驗證。 ② 對照來源與算例:先算過本頁例子,再操作互動。計算細節、完整實作與證明預設收合,可按需要展開;各節附 Seeing Theory 網站與講義連結供對照。 ③ 檢查理解:答錯時先看回饋,再回到相關說明;標為延伸的內容可留待第二輪。 ④ 最後翻關鍵詞彙卡自測術語,並用 重點速查與來源查閱。
統計入門參考:Seeing Theory。章節旁的來源標記可點到本頁書目。
統計推論從一個很實際的困難開始:你想知道整個母體的特徵,卻只能觀察其中一小部分。 例如,一間飲料店想知道所有顧客平均要等幾分鐘,不可能永遠追蹤每一位顧客,於是先抽一批人記錄等候時間。
參數(parameter)是母體中固定但未知的數,例如真正的平均等候時間 $\mu$。 統計量(statistic)是從樣本算出的數,例如樣本平均 $\bar X$。 用來猜參數的統計量稱為估計量(estimator);看到資料後得到的具體數字叫估計值(estimate)。
$$\bar X=\frac{1}{n}\sum_{i=1}^n X_i$$估計量的偏差(bias)看的是反覆抽樣後的平均位置:
$$\operatorname{Bias}(\hat\theta)=E(\hat\theta)-\theta。$$若偏差為 0,估計量稱為不偏。舉例來說,若 $X_1,\ldots,X_n$ 來自同一母體且 $E(X_i)=\mu$,則 $E(\bar X)=\mu$,所以樣本平均是不偏估計量。 不偏是長期平均的性質;某一次算出的 13 仍可能離真正的 $\mu$ 很遠。
樣本是 12、15、11、14、13 分鐘,$n=5$。樣本平均為
$$\bar x=\frac{12+15+11+14+13}{5}=13\text{ 分鐘}。$$這個 13 是對 $\mu$ 的點估計。它不保證等於母體平均,也沒有單獨告訴你估計有多穩;下一節用標準誤補上這項資訊。
不能這樣斷定。13 是這一次樣本提供的估計值。換一批顧客,樣本平均通常會改變;我們需要標準誤或區間來描述這種不確定性。
某校想估計全校學生每天的平均睡眠時數,隨機抽 100 人算出平均 6.7 小時。哪個配對正確?
Seeing Theory 網頁 · Point Estimation:現行網頁的 Point Estimation 用抽樣估計未知參數;本節改用等候時間重新說明。 開啟原始來源
估計值會因樣本而變。若能從同一母體反覆抽取大小相同的樣本,每次都算 $\bar X$, 這些樣本平均會形成一個抽樣分佈(sampling distribution)。它的標準差就是樣本平均的 標準誤(standard error, SE)。
若觀測來自同一母體、彼此獨立,而且母體有有限變異數 $\sigma^2$,則
$$\operatorname{SE}(\bar X)=\frac{\sigma}{\sqrt n}。$$這個等式不要求母體是常態分佈,也不要求研究者事先知道 $\sigma$。 若 $\sigma$ 未知,常用樣本標準差 $s$ 代替,得到估計標準誤 $s/\sqrt n$。
假設母體標準差已知為 $\sigma=10$。抽 $n=25$ 人時,
$$\operatorname{SE}(\bar X)=\frac{10}{\sqrt{25}}=2。$$若想把標準誤降到 1,需要 $n=100$,因為 $10/\sqrt{100}=1$。 這只表示樣本平均更穩定;個別觀測的標準差仍是 10。
| 數量 | 描述誰的變動 | 這個例子的值 |
|---|---|---|
| 母體標準差 $σ$ | 個別觀測 | 10 |
| $SE(X̄)$,$n=25$ | 不同樣本的平均 | 2 |
| $SE(X̄)$,$n=100$ | 不同樣本的平均 | 1 |
其他條件相同,樣本數從 25 增加到 100,樣本平均的標準誤會怎樣?
Seeing Theory PDF · pp. 41–42:PDF 的 Frequentist Inference 起始段用中央極限定理說明標準化樣本平均;本節把其中的 $σ/√n$ 抽樣尺度獨立拆開,並補上有限變異與未知 σ 的條件。 開啟原始來源
點估計給一個數,信賴區間(confidence interval)則用「估計值 ± 誤差範圍」表達程序的不確定性。 先看條件最單純的情況:$X_1,\ldots,X_n$ 獨立來自常態母體,母體標準差 $\sigma$ 已知。
$$\bar X\pm z_{1-\alpha/2}\frac{\sigma}{\sqrt n}$$99% 的長期涵蓋率較高,但同一份資料下區間也較寬。你得到較高的涵蓋保障,同時失去一些精準度。信心水準要在看資料前依用途決定。
已算出一條 95% 信賴區間 [48.08, 55.92]。哪句解讀符合頻率學派?
Seeing Theory 網頁 · Confidence Interval:現行網頁有反覆產生信賴區間的視覺;本頁改成已知 σ 的常態模型,並明示有限次涵蓋計數。 開啟原始來源
若 $X_1,\ldots,X_n$ 獨立來自常態母體,而 σ 未知,改以樣本標準差 s 估計。 當 $n\ge2$、$s>0$,使用 $n-1$ 個自由度的 t 臨界值:
$$T=\frac{\bar X-\mu}{S/\sqrt n}\sim t_{n-1},\qquad \bar x\pm t_{n-1,1-\alpha/2}\frac{s}{\sqrt n}.$$這裡 $t_{\nu,q}$ 是自由度 ν 的 t 分布之 q 分位數。t 分布比標準常態有較厚的尾部,反映估計 σ 的額外不確定性。 例如 $n=10,\bar x=20,s=3$,95% 區間以 $t_{9,0.975}\approx2.262$ 計算,為 $20\pm2.146$,即約 [17.854,22.146]。
常態抽樣給出精確的 t 分布。母體非常態時,大樣本下可能適用近似,但小樣本、重尾或相依資料不能只靠換成 t 臨界值解決。 迴歸係數的 t 區間使用同樣的「估計值 ± 臨界值 × 標準誤」,自由度由模型剩餘自由度決定。
延伸銜接:ISLP §3.1.2 的 t 統計量與迴歸區間;此處的一樣本 t 區間是本站先備補充,並非 Seeing Theory PDF 的新增原文。
常態樣本下,$Z=(\bar X-\mu)/(\sigma/\sqrt n)\sim N(0,1)$, $U=(n-1)S^2/\sigma^2\sim\chi^2_{n-1}$,且 Z 與 U 獨立。 因此 $Z/\sqrt{U/(n-1)}=(\bar X-\mu)/(S/\sqrt n)$ 服從 t 分布。 從 $P(-t_{n-1,1-\alpha/2}\le T\le t_{n-1,1-\alpha/2})=1-\alpha$ 解出 μ 的範圍,即得上式。
假設檢定(hypothesis test)把問題改寫成兩個互斥的主張。虛無假設 $H_0$ 是用來計算參考分佈的基準;對立假設 $H_A$ 是資料若夠不尋常時所支持的方向。
在已知 $\sigma$ 的常態平均數問題中,檢定 $H_0:\mu=\mu_0$ 可用
$$z=\frac{\bar x-\mu_0}{\sigma/\sqrt n}。$$p 值(p-value)是在 $H_0$ 成立的前提下,得到目前這麼極端或更極端結果的機率。 它不是 $H_0$ 為真的機率,也不是「結果純屬偶然」的機率。
令 $H_0:\mu=50$,已知 $\sigma=10$,$n=25$,觀察到 $\bar x=54.4$,則 $z=(54.4-50)/(10/5)=2.20$。若 $H_A:\mu>50$,右尾 p 值約為 0.0139; 若 $H_A:\mu\ne50$,雙尾 p 值約為 0.0278。
某檢定得到 p = 0.03。哪個說法正確?
Seeing Theory PDF · pp. 43–48:PDF pp. 43–48 說明檢定、拒絕域與 p 值;現行網頁的 Frequentist Inference 沒有這三段。 開啟原始來源
檢定的結論可能犯兩種錯。型一錯誤(Type I error)是在 $H_0$ 真的時候拒絕它; 型二錯誤(Type II error)是在 $H_0$ 不真時仍未能拒絕它。這裡的條件不能省略。
$$P(\text{拒絕 }H_0\mid H_0\text{ 為真})\leq\alpha,\qquad \beta(\mu)=P_\mu(\text{未拒絕 }H_0\mid \mu\text{ 是指定的對立值})。$$一般檢定把型一錯誤率控制在 $\alpha$ 以下;在本頁這種連續、精確校準的 z 檢定中, 邊界虛無假設下會取到等號。
| 真實情況/決策 | 未拒絕 $H_0$ | 拒絕 $H_0$ |
|---|---|---|
| $H_0$ 為真 | 正確決策 | 型一錯誤;機率由 $α$ 控制 |
| $H_0$ 不真 | 型二錯誤;機率為 $β$ | 正確決策;檢定力 $1-β$ |
右尾檢定 $H_0:\mu=50$ 對 $H_A:\mu>50$,已知 $\sigma=10$、$n=25$,取 $\alpha=0.05$。 拒絕門檻為 $50+1.645(10/5)=53.290$。若真實平均其實是 54,拒絕的機率約為 0.639, 這是該對立值下的檢定力;型二錯誤機率約為 $1-0.639=0.361$。
在樣本數與真實效果固定時,拒絕門檻會更嚴格,型一錯誤下降,但型二錯誤通常上升。增加樣本數常能同時維持較小的 α 並提高檢定力。
Seeing Theory PDF · Types of Error:PDF pp. 44–45 定義型一與型二錯誤。本頁將型二錯誤寫成未拒絕 H₀,並將 α 明確寫成條件機率。 開啟原始來源
藥物其實沒有療效,但研究拒絕了「沒有療效」的虛無假設。這是哪種錯誤?
有些估計量的標準誤很難推公式。自助法(bootstrap)把手上的樣本當成一個暫時母體, 每次有放回抽取同樣多筆,重算估計量。重複很多次後,這些估計量的標準差可用來估標準誤。
原始樣本有 20 筆。一次標準 bootstrap 重抽應該怎麼做?
Seeing Theory 網頁 · The Bootstrap:現行網頁的 The Bootstrap 示範從經驗分佈有放回重抽並估樣本平均的標準誤。 開啟原始來源
回顧本頁概念與原教材,檢查自己能否說明公式、圖形與成立條件。
其他條件相同,把信心水準由 90% 提高到 99%,區間通常會怎樣?
一個雙尾檢定得到 p=0.08,事先設定 α=0.05。最合適的結論是?
bootstrap 做了 2000 份重抽。這裡的 2000 代表什麼?
需要核對完整公式、比較表或實作時,再展開下方速查。
| 想回答的問題 | 工具 | 核心讀法 | 本頁條件 |
|---|---|---|---|
| 未知參數大約是多少? | 點估計 | $X̄$ 是會隨抽樣改變的估計量 | 隨機且具代表性的樣本 |
| 估計量換樣本會變多少? | 標準誤 | $SE(X̄)=σ/√n$ | 獨立同分布、有限變異;σ 未知時以 s/√n 估計 |
| 哪些參數值與資料相容? | 信賴區間 | 信心水準描述程序的長期涵蓋率 | 本頁互動為常態、已知 σ |
| 資料對基準假設有多不尋常? | z 檢定與 p 值 | p 值以 H₀ 成立為條件 | 常態、獨立、已知 σ |
| 公式難推時怎麼估 SE? | Bootstrap | 有放回抽 n 筆,重算 B 次 | 樣本須能代表母體;相依資料需改方法 |
詞彙卡整理本頁依 Seeing Theory 編寫的概念解說中常用的統計或機器學習專有名詞,正面附英文名稱。 先看正面的術語,試著說出定義,再翻面核對。可以洗牌複習,也可以搭配本章例子練習解釋。