f 是什麼、誤差從哪來

把「學習」寫成一條式子：Y = f(X) + ε ISLP §2.1講義 02 · p.2–9

第 1 章告訴你統計學習是幹什麼的。這一章要把它寫成一條式子， 之後九章的所有方法都只是在這條式子的不同位置上動手腳。式子長這樣：

$Y$ 是你想預測的那個東西（銷售量、油耗、會不會違約）， $X = (X_1, \dots, X_p)$ 是你手上量得到的那些變數。 $f$ 是「$X$ 對 $Y$ 提供的系統性資訊」——固定不變、真實存在，但你永遠看不到它。 $\varepsilon$ 是隨機誤差項，跟 $X$ 無關，平均值是 0。

整章只做兩件事：（一）怎麼估 f、（二）怎麼判斷估得好不好。 聽起來很抽象，但第二件事其實是整本書最實用的部分——因為「看起來配得很漂亮」 跟「在新資料上真的準」是兩件常常相反的事。

先把兩個常見的目的分清楚，因為它們會導向完全不同的方法選擇：

兩者也可以同時要。房價模型既想知道「靠河的房子貴多少」（推論）， 也想知道「這間房子被高估了嗎」（預測）。只是通常得在中間選一個折衷點。

講義完整實作：把 (X, Y) 讀進 Python

第 2 章的 lab 是 Python 入門，所以下面每一張卡的定位是 「這一節的計算需要哪一個工具」。先從最基本的開始：把資料讀成一張表， 才有 X 和 Y 可以談。

np.float64(40952.0)

(392, 9)

可縮減與不可縮減誤差：努力的上限在哪 ISLP §2.1.1講義 02 · p.10–15

先問一個看似哲學、其實非常實用的問題：如果你猜對了 f，誤差會是 0 嗎？ 不會。假設 $\hat f$ 與 $X$ 都固定，只有 $\varepsilon$ 在變動，那麼

這是 ISLP 式 2.3。左邊是你會量到的平均平方誤差，右邊拆成兩塊：

• 可縮減誤差（reducible error）：$\hat f$ 沒學對 $f$ 的部分。 換更合適的方法、蒐集更多資料、把真正有用的變數加進來——都在打這一塊。
• 不可縮減誤差（irreducible error）：$\mathrm{Var}(\varepsilon)$。 就算你神奇地得到 $\hat f = f$，這一塊還在。 因為 $Y$ 本來就有一部分變異跟 $X$ 沒關係。

順帶把「最好的 f」講清楚。在平方誤差的意義下，最好的預測函數就是條件期望值， 也就是迴歸函數（regression function）：

講義第 11 頁畫的就是這個：在 $x$ 這條垂直線上，$Y$ 有一整個分佈， $f(x)$ 是那個分佈的平均。剩下的上下散開就是 $\varepsilon$，誰也拿不走。

講義第 12–15 頁接著問：那要怎麼估 $E[Y \mid X = x]$？最直覺的辦法是 最近鄰平均（nearest neighbor averaging）——把 $x$ 附近一小塊區域裡的 $y$ 平均起來當作 $f(x)$。一維、二維時這招很好用，可是

講義完整實作：親手做出一個 Y = f(X) + ε

array([[1.        , 0.78689588],
       [0.78689588, 1.        ]])

(np.float64(2.7243406406465125),
 np.float64(2.7243406406465125),
 np.float64(2.7243406406465125))

先假設形狀，還是讓資料自己長？ ISLP §2.1.2講義 02 · p.16–21

知道要估 $f$ 了，接下來的分岔是：要不要先假設 f 的形狀？ 兩條路各有代價。

參數式方法（parametric method）分兩步。第一步假設形狀， 最簡單的假設是線性：

第二步用訓練資料估那 $p + 1$ 個係數（第 3 章的最小平方法）。 這一招的威力在於：原本要估「一個任意的 $p$ 維函數」，現在只要估 $p+1$ 個數字。 代價是——假設錯了就一路錯。ISLP 圖 2.4 的黃色平面明顯漏掉了 真實 $f$ 的彎曲（圖 2.3 的藍色曲面）。

非參數式方法（non-parametric method）不預設形狀， 只要求配出來的曲面「貼近資料又不要太粗糙」。ISLP 圖 2.5 用薄板樣條 （thin-plate spline）配同一份 Income 資料，還原得非常漂亮。 但天下沒有白吃的午餐：

講義完整實作：先把「形狀」畫出來看看

彈性換來準度，也換掉了解釋力 ISLP §2.1.3講義 02 · p.22–26

把上一節的分岔攤開，其實是一條連續的光譜。一端是彈性低但看得懂， 另一端是彈性高但講不清楚。ISLP 圖 2.7 把本書的方法擺在這張圖上。

你可能會問：既然只要預測準，為什麼不永遠選最彈性的那個？ ISLP 的回答很直接——令人意外的是，用比較不彈性的方法常常反而預測更準。 原因是過度配適，下一節就會用數字說清楚。

講義完整實作：決定要多彈性之前，先看資料

              mpg       weight
count  392.000000   392.000000
mean    23.445918  2977.584184
std      7.805007   849.402560
min      9.000000  1613.000000
25%     17.000000  2225.250000
50%     22.750000  2803.500000
75%     29.000000  3614.750000
max     46.600000  5140.000000

訓練 MSE 一路往下，測試 MSE 是 U 型 ISLP §2.2.1講義 02 · p.27–29

要比較方法，得先有量尺。迴歸問題最常用的是均方誤差（MSE）：

問題在於：這個平均是對哪一批資料算的？ 如果用的是配適時那批資料，它叫訓練 MSE； 如果用的是模型完全沒見過的資料，它叫測試 MSE。 兩者的行為完全不同，而我們真正在意的是後者。

為什麼不能用訓練 MSE 當代理？因為大部分方法就是直接或間接在最小化它。 你拿一個「已經被最佳化過的目標值」當成公正的評分，當然會太樂觀。 極端一點：一條通過每一個訓練點的曲線，訓練 MSE 是 0，但它什麼都沒學到。

ISLP 強調這個形狀是統計學習的基本性質： 不管用什麼資料、什麼方法，訓練 MSE 會隨彈性下降，而測試 MSE 不一定。 當訓練 MSE 很小、測試 MSE 卻很大，我們就說發生了過度配適（overfitting）。

講義完整實作：期望值就是加權平均

Weighted average is: 10.8

把測試 MSE 拆成三塊：偏差²、變異、不可縮減誤差 ISLP §2.2.2ESL §7.3 · 進階

上一節看到了 U 型，這一節解釋它是怎麼長出來的。可以證明： 在某個測試點 $x_0$ 上，期望測試 MSE 一定能拆成三塊 （ISLP 式 2.7、ESL 式 7.9）：

三項都非負，所以期望測試 MSE 永遠不可能低於 $\mathrm{Var}(\varepsilon)$—— 這條式子同時給了 U 型的機制與 P01 那條下限。三項各是什麼意思：

• 偏差（bias）$= E[\hat f(x_0)] - f(x_0)$： 用一個過於簡單的模型去逼近複雜真實問題所引入的系統性錯誤。 真實 $f$ 明顯非線性時，線性迴歸不管餵多少資料都會有高偏差。 一般而言愈彈性 → 偏差愈低。
• 變異（variance）$= \mathrm{Var}(\hat f(x_0))$： 換一組訓練資料重配一次，$\hat f(x_0)$ 會抖動多少。 彈性高的曲線緊貼著點跑，動一個點整條線就變樣。 一般而言愈彈性 → 變異愈高。
• $\mathrm{Var}(\varepsilon)$：跟方法無關的常數。

順帶一個 ESL §7.3 給的漂亮特例。對 KNN 迴歸，三項有封閉形式（ESL 式 7.10）：

看第三項：變異就是 $\sigma_\varepsilon^2 / k$，$k$ 愈大愈小。 第二項是「$f(x_0)$ 與 $k$ 個鄰居上 $f$ 的平均」之差，$k$ 愈大鄰居愈遠、這個差愈大。 一條式子把偏差–變異取捨寫得清清楚楚，也預告了本頁最後一節的 KNN。

講義完整實作：蒙地卡羅要能重現

[ 4.09482632 -1.07485605]
[ 4.09482632 -1.07485605]

分類設定：最好能做到多好，KNN 又靠 K 做什麼 ISLP §2.2.3講義 02 · p.31–41

前面全都在講迴歸。搬到分類問題，觀念一個都不用丟，只要換掉量尺： 把 MSE 換成錯誤率（error rate）。

$I(\cdot)$ 是指示變數：分錯是 1、分對是 0，所以這個式子就是「分錯的比例」。 跟迴歸一樣，我們在意的是測試錯誤率，而訓練錯誤率會系統性偏低。

Bayes 分類器：能做到多好的天花板

可以證明（證明超出 ISLP 範圍），測試錯誤率會被一個非常簡單的分類器最小化： 把每一筆觀測指派給條件機率最大的那個類別。

這叫做 Bayes 分類器。兩類問題裡，它就是 「$\Pr(Y = 1 \mid X = x_0) > 0.5$ 就猜 1，否則猜 2」。 機率恰好等於 0.5 的那條線是 Bayes 決策邊界。 它達到的錯誤率是所有分類器的下限：

它大於 0，因為兩類在母體裡本來就重疊。 Bayes 錯誤率就是分類問題版本的不可縮減誤差。 下面這個元件把「重疊」直接畫出來：

KNN：不知道真實機率時的替代方案

Bayes 分類器要求你知道 $\Pr(Y \mid X)$——真實資料上不可能。 K 最近鄰（K-nearest neighbors, KNN）用最土的辦法把它估出來： 找出離 $x_0$ 最近的 $K$ 個訓練點（記作 $\mathcal{N}_0$），數一數裡面各類佔幾成。

然後指派給比例最高的那一類。就這樣，沒有參數、沒有假設。 $K$ 是唯一的旋鈕，而它控制的正是彈性：$1/K$ 就是 KNN 的彈性度。

把所有的 $K$ 一次畫出來，就是 ISLP 圖 2.17 的形狀—— 跟迴歸那邊的訓練／測試 MSE 圖一模一樣的故事：

講義完整實作：錯誤率其實就是布林陣列取平均

array([[ 4,  5,  6,  7],
       [12, 13, 14, 15]])

Column "food" has 16.54% missing values
Column "bar" has 25.98% missing values
Column "pickle" has 29.13% missing values
Column "snack" has 21.26% missing values
Column "popcorn" has 22.83% missing values

動手驗證：ISLP 第 2 章精選題 ISLP §2.4 習題

下面幾題取自 ISLP §2.4 的課後習題，題號都對得回課本。先自己想過再點選項； 每個選項——包含錯的——都寫了為什麼。想看完整解答再對照下面3個站。

統計學習的基本框架速查表 ISLP Ch.2

考前把這一頁掃過去就好。

迴歸與分類：同一套邏輯的兩種語言

參數式與非參數式

本頁模擬跑出來的數字

σ = 1，所以 Var(ε) = 1.00 是所有數字的下限。 三個情境的最佳 df 分別是 2、7、18——這就是「沒有一個放諸四海皆準的彈性度」。 數字由 tools/frames/gen_statlearn.py 在 default_rng(524)、 M = 300 下產生。

Bayes 錯誤率 = 0.1382，是這一列的下限。 K = 1 的訓練錯誤率必定是 0（最近的鄰居就是自己）。 課本圖 2.15–2.17 用的是另一份模擬資料，報告 Bayes 0.1304、K = 10 為 0.1363、 K = 1 為 0.1695、K = 100 為 0.1925——數字不同，形狀一致。

公式速查

本頁「預期輸出」逐字取自課程 lab notebook（老師在課程環境實跑）；圖表用的烘焙資料由 tools/frames/ 在固定種子下產生，環境為 numpy 1.24.4 · pandas 2.3.2 · scikit-learn 1.6.1 · scipy 1.13.1 · statsmodels 0.14.2 · ISLP 0.4.0 · pygam 0.10.1。每張卡下方的「來源」標了 lab 的儲存格編號，可以直接回去對。

關鍵詞彙卡：點卡片翻面 課程題庫 · 26 張

詞彙卡取自本章講義與 ISLP 第 2 章，正面是中文術語（附英文原名）。 先看正面、心裡默想定義，再翻面對答案；洗牌後再過一輪，直到每張都能不看答案講出來。