線性迴歸：從基本模型理解變數關係

Advertising 資料要回答的四件事 教科書 · 第 3 章開頭講義 03

桌上只有一張表：200 個市場，每個市場在電視、廣播、報紙上各花了多少錢 （單位：千美元），以及賣掉多少單位的產品（單位：千個）。四欄、200 列，沒有別的。 ISLP 第 3 章開場就從這張表問出七個問題——而回答它們的工具， 全部都是同一個線性模型。

這一頁的順序就是這些問題的順序。先把「一個 x 對一個 y」講到底 （怎麼估、估得準不準、擬合得好不好），再推到「多個 x 一起放進來」， 最後看這個模型什麼時候會壞掉、什麼時候該換工具。線性迴歸是 1805 年的東西， 但它幾乎是所有現代方法的骨架：第 6 章在它上面加懲罰項、第 7 章換掉基底函數、 第 4 章把它套進連結函數。熟悉這一章的模型與推論方法，有助於理解後續章節。

先看答案。下面這一欄「Advertising 上的答案」全部是課本 §3.4 用實際資料算出來的， 可用來回答這四個問題：

最小平方法：讓 RSS 最小的那條線 教科書 · 第 3.1.1 節講義 03

先只用一個變數。講義的出發點是一個模型：假設 sales 與 TV 預算的關係是一條直線， 再加上一個誤差項

$\beta_0$ 是截距、$\beta_1$ 是斜率，兩個都是未知常數，合稱係數或參數； $\varepsilon$ 是誤差項，收集所有直線沒解釋到的部分。講義用四個字母交代對 $\varepsilon$ 的假設， 合稱 LINE：

• L（Linearity，線性）：$E[Y\mid X]=\beta_0+\beta_1X$，Y 的平均值真的落在一條直線上。
• I（Independence，獨立）：不同觀測的誤差 $\varepsilon_i$ 彼此獨立。
• N（Normality，常態）：誤差服從常態分布。
• E（Equal variance，等變異）：每一筆誤差的變異數都是同一個 $\sigma^2$。

四條合起來就是講義寫的 $\varepsilon_i$ i.i.d. $\sim N(0,\sigma^2)$，等價於 給定整組 x 之後各 $Y_i$ 相互獨立，且 $Y_i\mid X=x_i\sim N(\beta_0+\beta_1x_i,\ \sigma^2)$： 每一筆 Y 都是以直線上那一點為中心、寬度固定的常態分布。 這四條假設不會一開始全部用到。下表先標出哪個結果需要哪個假設，讀到 P02 與 P06 時再回來對照。

模型寫好了，但 $\beta_0$、$\beta_1$ 不知道。手上有 n 對觀測值 $(x_1, y_1), \dots, (x_n, y_n)$，要挑一條「最靠近」這些點的線。 「靠近」有很多種定義，但幾乎所有人都用同一個：讓殘差平方和最小。 第 i 筆的殘差是 $e_i = y_i - \hat y_i$，於是

對 $\hat\beta_0$、$\hat\beta_1$ 各偏微分等於零，解出來就是封閉解——不需要反覆更新參數、 不需要調學習率。這一步只用到代數，上面的 LINE 一條都還沒用到；它們要到 P02 問「這個斜率可信嗎」時才登場：

第二式順便告訴你一件事：最小平方線一定通過 $(\bar x, \bar y)$。

斜率是個別資料點斜率的加權平均

講義把第一式多寫了一步：把分子的 $(x_i-\bar x)(y_i-\bar y)$ 拆成 $(x_i-\bar x)^2$ 乘上一個比值。

$s_i$ 是「從中心點 $(\bar x,\bar y)$ 連到第 i 個資料點」這條線的斜率，每個點各有一條； $w_i$ 非負、加總為 1，所以最小平方斜率就是這 n 條個別斜率的加權平均。 權重是 $(x_i-\bar x)^2$ 佔總和的比例：x 離平均越遠的點，權重越大； 剛好落在 $x_i=\bar x$ 的點權重是 0，它的 $s_i$ 沒有定義，求和時直接略去這些項（或把該項定為 0）， 因為它對斜率完全沒有發言權。 這解釋了兩件事：為什麼拖動最右邊的點斜率動得特別厲害（下面的元件可以試）， 以及 P06 的槓桿值為什麼長成 $h_i = 1/n + w_i$ 這個樣子。

尺度與標準化不改變擬合值

講義在同一頁補了一句：x 的尺度不影響 $\hat y$ 的估計。 換單位、減掉平均、除以標準差，這些都是線性重新參數化 $x'=(x-c)/s$；代進公式，斜率與截距跟著換算

但每一筆的 $\hat y_i$、殘差、RSS、R²、RSE 一個都不變；$s\gt0$ 時斜率的 SE 同比例放大， 斜率的 t 統計量也不變（下一節結尾的標準誤 QUIZ 會再考一次換單位）。 會變的是截距：平移 c 之後 $\hat\beta_0'$ 代表另一個位置的平均，它的 t 檢定問的是另一個問題。 所以在多元迴歸裡不能拿係數大小比較變數重要性；P05 的收合盒會談中心化如何改變截距與交互作用主效應的意義。 對 y 做線性變換 $y'=ay+b$ 同理，擬合值變成 $\hat y'=a\hat y+b$。

拖動下面元件中的任何一個點，係數、RSS、R² 全部即時重算。 先預測「把最右邊那個點往上拖，斜率會怎麼變」，再動手驗證。

              coef  std err       t  P>|t|
intercept  34.5538    0.563  61.415    0.0
lstat      -0.9500    0.039 -24.528    0.0

SE、信賴區間與 t 檢定：這個斜率可信嗎 教科書 · 第 3.1.2 節、3.2.2講義 03

$\hat\beta_1 = 0.0475$ 這個數字，可信嗎？先弄清楚在問什麼。P01 的模型說真實世界裡有一條看不到的 母體迴歸線（population regression line）

標準誤與區間還不熟時，可先複習 S4 的標準誤與 信賴區間。

我們只有一份樣本，用它算出來的是最小平方線；換一份樣本，就會得到另一條。 把「換樣本」這件事想成可以重複做很多次：每一次都得到一個 $\hat\beta_1$，這些值排成的分布叫做 抽樣分布（sampling distribution）。估計量是樣本的函數，樣本會變，估計量就有自己的分布； 下面元件下方的直方圖畫的就是它。抽樣分布回答兩個問題：中心在哪裡（有沒有偏）、散得多開（估得準不準）。

中心先講。$\hat\beta_1$ 可以整理成 y 的線性組合：

係數 $c_i$ 只跟 x 有關，而且 $\sum_i c_i=0$、$\sum_i c_ix_i=1$。 把 $y_i=\beta_0+\beta_1x_i+\varepsilon_i$ 代進去，$\beta_0$ 那一項被 $\sum c_i=0$ 消掉、 $\beta_1$ 那一項被 $\sum c_ix_i=1$ 留下，得到 $\hat\beta_1=\beta_1+\sum_i c_i\varepsilon_i$。 在 LINE 的線性假設加上 $E[\varepsilon\mid X]=0$ 下，最小平方估計無偏： 抽樣分布的中心就在 $\beta_1$。不過單獨一條線仍可能偏離母體迴歸線不少，而我們手上就只有一條。

散得多開？這就是標準誤（standard error）要量的東西，也就是抽樣分布的標準差。 由 $\hat\beta_1-\beta_1=\sum_i c_i\varepsilon_i$，用 I 與 E（誤差不相關、同變異 $\sigma^2$）算變異數， $\mathrm{Var}(\hat\beta_1)=\sigma^2\sum_i c_i^2=\sigma^2/S_{xx}$：

第一條式子把「什麼會讓斜率估得準」講完了： 雜訊 σ² 小、樣本多、x 散得開。σ² 通常不知道， 就用殘差算出的 RSE² 估計（下一節會定義 RSE）。下面的示意圖讓你觀察重複抽樣時，估計出的迴歸線如何改變， 下方的直方圖就是 $\hat\beta_1$ 的抽樣分布：

有了 SE，兩個標準工具就出來了。95% 信賴區間：

以及假設檢定。虛無假設 $H_0: \beta_1 = 0$（X 與 Y 沒有關係）對上 $H_a: \beta_1 \neq 0$，檢定統計量是

它衡量「$\hat\beta_1$ 離 0 有幾個標準誤」。$H_0$ 成立時 t 服從自由度 n − 2 的 t 分佈（為什麼是 t 分布，見上方收合的「線性組合」推導）， n 大於約 30 之後跟標準常態幾乎一樣，所以 |t| 超過大約 2 就對應 5% 的顯著水準。 p 值是「假設 $H_0$ 為真，看到這麼極端或更極端的 t 的機率」。 注意它不是「$H_0$ 為真的機率」。

三個單獨看都顯著——包含 newspaper。 P04 會比較這一列在多元迴歸中的變化。課本的 β₀ 信賴區間是 [6.130, 7.935]、 β₁ 是 [0.042, 0.053]：「完全不打廣告時，銷售量平均落在 6130 到 7935 單位之間」。

信賴區間與預測區間：兩個問題、兩種寬度

同一個 $x_0$，模型給出同一個點估計 $\hat y_0=\hat\beta_0+\hat\beta_1x_0$，但它可以回答兩個不同的問題：

• 信賴區間（confidence interval, CI）：所有 $X=x_0$ 的個體，平均 Y 是多少？ 它只反映我們對母體迴歸線 $f(x_0)=\beta_0+\beta_1x_0$ 估得多準，也就是第二章說的可縮減誤差。
• 預測區間（prediction interval, PI）：某一個新的 $X=x_0$ 個體，它的 Y 會落在哪裡？ 就算 $\beta_0$、$\beta_1$ 全知道，這個個體還帶著自己的 $\varepsilon$，也就是不可縮減誤差； PI 要把兩種誤差一起算進去。

講義的簡單迴歸公式把差別寫得很清楚，兩式只差根號裡多了一個 1 （講義把上尾臨界值記成 $t_{\alpha/2}$，本頁統一寫成累積分位數 $t_{1-\alpha/2,\,n-2}$，是同一個正數）：

用教材的數字對照。lab 用 Boston 的 medv 對 lstat， 在 lstat = 10 這一點預測值是 25.05， CI 是 (24.47, 25.63)，PI 是 (12.83, 37.28)，程式在下方「完整實作」。 課本的 Advertising 版本：TV 花 100,000 美元、radio 花 20,000 美元時預測銷售 11,256 單位， CI 是 [10,985, 11,528]，PI 是 [7,930, 14,580]。兩個區間中心相同，PI 寬了好幾倍， 因為市場與市場之間的 ε 遠比「平均線估不準」大得多。下面的示意元件讓你調 n 與 σ， 看兩條帶各自怎麼變：

array([[17.56567478, 42.04151344],
       [12.82762635, 37.27906833],
       [ 8.0777421 , 32.52845905]])

本節的 t 推論與兩種區間，用的正是 P01 列出的 LINE 假設（線性條件平均、獨立常態且同變異的誤差），再加上滿欄秩與正殘差自由度；只有計算最小平方係數本身不需要常態假設。

RSE 與 R²：擬合得好不好 教科書 · 第 3.1.3 節講義 03

檢定過關（「有關係」）之後，下一個問題是「擬合得多好」。 兩個常用的量，一個有單位、一個沒有。

殘差標準誤（residual standard error）估的是誤差標準差 σ， 單位跟 y 一樣：

Advertising 用三個媒體的模型 RSE = 1.69，而 sales 的平均是 14.02—— 相對誤差大約 12%。這個「12%」用銷售量的尺度呈現誤差大小。

R² 把它換成無單位的比例。先定義總平方和 $\mathrm{TSS} = \sum(y_i - \bar y)^2$（完全不看 x、只用 $\bar y$ 猜的誤差），則

讀作「y 的變異有多少比例被模型解釋掉了」。簡單線性迴歸時還有一個關係： $R^2$ 恰好等於 x 與 y 相關係數的平方（這是 ISLP 3.7 第 7 題）。 多元迴歸時它等於 $\mathrm{Cor}(Y, \hat Y)^2$。

所以請記住這個性質：在同一訓練集上比較含截距的巢狀最小平方模型時， R² 不會因為加變數而下降， 因此它不能用來比較變數個數不同的模型。要比，就要用會罰複雜度的指標， 或者乾脆用第 5 章的交叉驗證去估測試誤差。

本節 0≤R²≤1 與相關係數平方的性質，使用含截距、在訓練資料上做普通最小平方的設定；任意預測或測試資料的 R² 可以為負。判斷預測好壞仍要使用獨立資料。

同時放進多個變數：F 檢定在問什麼 教科書 · 第 3.2 節講義 03

三個媒體要不要各擬合一條簡單迴歸，然後把結論拼起來？不行。 三條線各自忽略了另外兩個變數，而且沒辦法拿一組預算去預測銷售量。 正確的做法是讓每個變數都有自己的斜率：

多元迴歸的係數應這樣解讀：控制模型中的其他變數後，Xⱼ 增加一單位時， Y 的條件平均相差 βⱼ。這是模型中的條件關聯或預測差； 沒有因果研究設計與額外假設時，不能解讀成介入 Xⱼ 所造成的效果。同樣用最小平方法最小化

寫成矩陣就是一行。這也是本頁標題那條式子：

接著是第一個問題：「至少有一個變數有用嗎」。 虛無假設是 $H_0: \beta_1 = \beta_2 = \cdots = \beta_p = 0$，用 F 檢定：

$H_0$ 為真時分子與分母的期望值都是 σ²，所以 F 應該在 1 附近； $H_a$ 為真時分子會變大，F 就明顯大於 1。多大才算大？取決於 n 與 p， 交給軟體算 p 值。下表列出講義與課本的完整係數表，包含各變數的 t 值。

整體 F = 570.3、R² = 0.8972、 RSE = 1.686。VIF 分別是 1.005、1.145、1.145，所以 newspaper 不顯著不是 共線性把 SE 撐大造成的（對照 P06 的 Credit 例子就知道差別）—— 是它的資訊真的被 radio 蓋掉了。

              coef  std err       t  P>|t|
intercept  33.2228    0.731  45.458  0.000
lstat      -1.0321    0.048 -21.416  0.000
age         0.0345    0.012   2.826  0.005

類別變數怎麼進模型，交互作用又是什麼 教科書 · 第 3.3.1–3.3.2 節講義 03

前面所有的 x 都是數字。可是「貨架位置：好／中／差」、「是不是學生」、 「哪一個地區」怎麼放進模型？可以用虛擬變數表示：編成 0 與 1。

兩個水準只要一欄。以 Credit 資料的 Student 為例：

於是 β₀ 是「非學生的平均」、β₁ 是「學生比非學生多出來的部分」。 k 個水準只要 k − 1 欄；沒有分到欄的那個水準叫基準水準 （baseline），截距代表它。為什麼不給每個水準都一欄？ 因為 k 欄加起來恆等於 1，會跟截距完全共線，矩陣就不可逆了。 這叫虛擬變數陷阱（dummy variable trap）。

下面三列就是 ISLP 表 3.8（課本用的欄名是 region／East／South／West，ISLP 的 Python 資料集把同一欄命名為 Ethnicity，數字完全一致）。三個水準的整體檢定 F = 0.0434、p = 0.9575——沒有證據顯示族群之間的 balance 平均有差異。 重點是：個別虛擬欄的係數與 p 值會隨基準水準的選擇而變，整體的 F 檢定不會。 所以判斷一個質性變數整體有沒有用，要看 F，不要看個別虛擬欄。

接著是交互作用。標準線性模型是加法的： 每個變數的條件斜率跟其他變數的值無關。可是「電視廣告與銷售的關聯會不會取決於廣播花了多少」 這種問題（行銷上叫綜效、統計上叫交互作用）就違反加法假設。解法是丟一個乘積項進去：

看第二種寫法：$X_1$ 的斜率變成 $\beta_1 + \beta_3X_2$， 會隨 $X_2$ 移動。當 $X_2$ 是質性變數（0／1）時這個關係很容易從圖上看出—— 就是「兩條線平不平行」：

R² 從 89.7%（只有主效果）跳到 96.8%。換個方式算更有感：加法模型擬合完後剩下的變異裡， 有 (96.8 − 89.7)/(100 − 89.7) ≈ 69% 被這一個乘積項解釋掉了。 係數的解讀是「TV 預算每多 1000 美元，銷售量增加 (19 + 1.1 × radio) 單位」—— 廣播預算愈高，模型中的電視廣告斜率愈大。這是樣本中的交互作用， 單憑觀察資料不能判定為因果綜效。

              coef  std err       t  P>|t|
intercept  36.0885    1.470  24.553  0.000
lstat      -1.3921    0.167  -8.313  0.000
age        -0.0007    0.020  -0.036  0.971
lstat:age   0.0042    0.002   2.244  0.025

非線性、殘差相關、異質變異、離群、高槓桿、共線性 教科書 · 第 3.3.3 節講義 03

線性迴歸擬合起來很容易，擬合出錯的結論也一樣容易。先回頭看 P01 的 LINE： 哪一條假設失效，壞掉的東西不一樣。

• L 壞掉：$E[Y\mid X]$ 根本不是直線，係數描述的形狀就是錯的，後面的推論再精準也沒有意義。
• I 壞掉：誤差彼此相關，傳統 SE 公式失準；在講義示範的正相關情境下通常低估， t、p 值與區間都偏樂觀，一般方向則取決於相關結構與設計。
• E 壞掉：變異隨 x 改變，SE 公式把每一筆都當成同樣可信，SE 與檢定失準； 只要 $E[\varepsilon\mid X]=0$ 仍成立，係數本身仍無偏。
• N 壞掉：小樣本的 t 與 F 分布不再精確；n 大時中央極限定理會幫忙。
• $E[\varepsilon\mid X]=0$ 失敗（例如漏掉重要變數）：係數本身會偏掉，這不是 SE 的問題，也不是換一種 SE 就能修的。

講義整理了六個最常見的潛在問題，每一個都有對應的診斷工具（diagnostic tool）與處理方式； 講義自己也說，辨認與處理這些問題「既是科學也是藝術」。先看全表，再逐一動手看：

診斷圖的橫軸為什麼是 ŷ，不是觀測編號或 y

殘差圖（residual plot）是後面幾乎每一個工具的底圖，先把它的橫軸講清楚。 殘差 $e_i=y_i-\hat y_i$ 放縱軸沒有爭議，橫軸有三種候選：

• 觀測編號 i：只在順序本身有意義時才是資訊。時間序列的編號就是時間， 殘差對它畫能看出相鄰殘差同號，這正是第 2 個問題的工具。但 Advertising 的 200 個市場排序是任意的， 把資料列洗牌一次，圖就整個變樣；一張換個排序就改變結論的圖，不能拿來當診斷。
• 擬合值 $\hat y_i$：它是模型對所有預測變數的一維摘要 $\hat\beta_0+\sum_j\hat\beta_jx_{ij}$，而且按「模型認為的訊號大小」排序。 簡單迴歸時它只是 x 的線性變換，殘差對 $\hat y$ 就是殘差對 x；多元迴歸時 p 個變數畫不進一個橫軸， $\hat y$ 把它們壓成一條。更重要的是，含截距的最小平方保證 $\sum_i e_i=0$ 與 $\sum_i e_i\hat y_i=0$， 也就是殘差與擬合值正交：殘差對 $\hat y$ 的最小平方直線斜率恰好是 0， 圖上絕不會出現假的線性趨勢；看到 U 形或漏斗，就是模型真的漏了東西。
• 觀測值 $y_i$：它含有殘差本身（$y_i=\hat y_i+e_i$），所以 $\mathrm{Cov}(e,y)=\mathrm{Var}(e)$ 恆為正。 殘差對 y 的相關係數恰好是 $\sqrt{1-R^2}$，最小平方斜率是 $1-R^2$；R² 越低這條假趨勢越陡， 會讓人誤以為模型誤設。

結論：整體形狀（非線性、漏斗）看殘差對 $\hat y$；要知道是哪一個變數需要非線性項， 改看殘差對單一 $x_j$，或 P04 收合盒裡的部分迴歸圖；懷疑誤差相關時才看殘差對時間。 下面用同一組示意資料把三種橫軸擺在一起，按「洗牌觀測順序」看哪一張會變：

講義補充連結：為什麼殘差圖用擬合值當橫軸、 殘差與反應變數的相關係數。

問題 1 到 5 都靠殘差類的圖看。講義用了四張：殘差圖、殘差對觀測順序圖、學生化殘差圖， 以及把學生化殘差對槓桿值畫的影響圖。下面這個元件把六組資料（一組乾淨的、五組各有一種特徵） 跟這四張圖交叉組合起來。先切換資料，再切換診斷圖，觀察各種問題的圖形特徵：

殘差圖（residual plot）：非線性與異質變異

橫軸 $\hat y_i$、縱軸 $e_i$，理想狀況是一團沒有結構的雲。講義用 Auto 資料示範：mpg 對 horsepower 的殘差彎成明顯的 U 形， 這是非線性的強烈證據；加入 horsepower² 之後 U 形消失，殘差幾乎沒有形狀，表示二次項確實改善了模型 （上方元件的第 ② 組就是這份資料）。同一張圖也看異質變異：殘差的散布隨 $\hat y$ 張開成漏斗形， 表示誤差的變異隨反應水準放大。講義的處理方式是對反應變數做壓縮尺度的變換，例如 $\log Y$ 或 $\sqrt{Y}$， 大值被壓得比小值多，可能改善漏斗形；是否合適仍要看轉換後的模型與殘差。

殘差對觀測順序圖（residuals vs time／order plot）：誤差相關

線性模型的誤差不相關假設要求 $\operatorname{Cov}(\epsilon_i,\epsilon_j\mid X)=0$（$i\ne j$），不是只檢查相鄰兩筆。 時間序列資料最容易違反，相鄰時間點的誤差往往同號。診斷方式是把殘差依時間（或收集順序）畫出來： 持續的正相關可能讓相鄰殘差傾向取相近的值，圖上出現一段一段的漂移；其他 lag 的相關則要再看 ACF。

後果講義用一個極端例子說明：把資料不小心複製一份，n 變成 2n，最小平方解完全不變，但 SE 公式以為多了一倍的資訊， 信賴區間大約縮成原來的 $1/\sqrt2$（大樣本下的近似，精確比例還牽涉 RSE 與 t 分位數的自由度），這當然是假的。 講義的結論是：像這樣誤差正相關時，估計出的 SE 會低估真正的 SE，信賴區間與預測區間都比應有的窄，p 值偏小； 更一般的相關結構下方向不一定，要看設計與相關的樣式。這種資料要換用能描述時間相依的模型，超出本章範圍。

講義補充連結：誤差相關對線性迴歸的影響。

學生化殘差圖（studentized residual plot）：離群值

離群值是 y 離模型預測很遠的點。要判斷「多遠算遠」，不能直接比原始殘差，因為每一筆殘差的尺度不一樣。 學生化殘差（studentized residual）是把殘差除以它自己的估計標準差。 這種用估計標準差做標準化的動作稱為 studentization，與 Student’s t 統計量的標準化想法相同：

為什麼要除以 $\sqrt{1-h_i}$？因為 $\mathrm{Var}(e_i) = \sigma^2(1-h_i)$，高槓桿點的殘差天生就小， 直接比原始殘差對它不公平。學生化之後才有共同尺度，常用 $|r_i|>3$ 作為回查線索，這些觀測是可能的離群值（outlier）。 把 $r_i$ 對 $\hat y_i$ 畫出來就是學生化殘差圖，上方元件的第 ④ 組可以看到那一個點。

離群值對最小平方線的影響通常有限（它的 x 不怪、槓桿低），但會推高 RSE：課本的例子裡， 含那一點時 RSE 是 1.09，拿掉後只有 0.77。RSE 是所有 SE、區間與 p 值的原料，一個點就能改變整份推論的解讀。 處理方式：確認是資料收集或記錄錯誤才刪除；否則它可能在提醒模型缺了一個變數。

講義補充連結：Studentized residual。

槓桿統計量（leverage statistic）、Cook's distance 與影響圖（influence plot）：高槓桿與影響點

槓桿值 $h_i$ 是帽子矩陣的對角元，衡量「第 i 筆的 x 有多不尋常」。簡單線性迴歸有明確公式：

回想 P01：$h_i=1/n+w_i$，第二項正是第 i 筆在「斜率是加權平均」裡的權重。更一般地 $\hat y_i=\sum_j h_{ij}y_j$， 所以 $h_i$ 就是第 i 筆自己的 y 對自己擬合值的權重，介於 1/n 與 1 之間，而且所有 $h_i$ 的平均恰好是 $(p+1)/n$。 遠超過這個平均（實務上常用 2 倍或 3 倍當門檻值）的點就是高槓桿點（high leverage point）： 它的 x 不尋常，對擬合值可能有較大的影響。

高槓桿不等於有影響。講義區分兩個詞：拿掉之後迴歸式明顯改變的觀測叫影響點（influential observation）； 槓桿高代表位置敏感，但仍需看它偏離模型的程度；在簡單線性、等變異模型下， 增加遠離平均的有效 x 觀測可增加設計資訊，不代表所有高槓桿點都應保留或刪除。 要同時看「x 怪不怪」與「y 怪不怪」，講義用 Cook's distance：

$\hat y_{j(-i)}$ 是拿掉第 i 筆後重新擬合、對第 j 筆的預測值；左式問「少了這一筆，全部的擬合值一共動了多少」， 右式說這個量正好是學生化殘差平方乘上槓桿比 $h_i/(1-h_i)$。把 $h_i$ 放橫軸、$r_i$ 放縱軸、氣泡大小畫 $D_i$， 就是影響圖（influence plot），也就是上方元件的「殘差對槓桿圖」（residuals vs leverage plot）： 右上與右下角的點最危險。講義給的處理方式有兩個：這些點特別值得回頭檢查資料是否有效； 它們也標出設計空間裡資料太少的區域，能補資料就補。

講義補充連結：Leverage (statistics)、 影響點與高槓桿點的差別。

相關矩陣（correlation matrix）與變異數膨脹因子（VIF）：共線性

第六個問題自己一節。共線性（collinearity）是指兩個以上的預測變數彼此高度相關。 在條件平均模型正確且 $E(\epsilon\mid X)=0$ 下，共線性本身不造成偏差，但會讓 RSS 的等高線從碗變成一條狹長的溝—— 沿著溝走，RSS 幾乎不變，於是「哪一組係數最好」變得極難分辨，係數的 SE 跟著膨脹、檢定力下降。 最直接的檢查是看預測變數的相關矩陣：某一對相關係數很高就要留意。 但講義提醒這不夠：三個以上的變數可能整體高度共線（multicollinearity），而任何一對的相關都不特別高。 更好的工具是變異數膨脹因子：

$R^2_{X_j \mid X_{-j}}$ 是「拿 $X_j$ 對其他所有預測變數做迴歸」得到的 R²。 它接近 1 就代表 $X_j$ 的資訊已經被別人講完了，VIF 就會變得很大。 最小值是 1（完全無共線性），超過 5 或 10 是常用的警戒值，表示該進一步檢查；要不要改模型仍看分析目的與估計精度。 講義給的處理方式有兩個：拿掉其中一個多餘的變數；或把共線的變數合成一個（例如取平均）。 下方滑桿可觀察信賴區域如何從圓變成溝。

講義補充連結：多重共線性與相關的差別。

                              coef  std err       t  P>|t|
intercept                  17.7151    0.781  22.681    0.0
poly(lstat, degree=2)[0] -179.2279    6.733 -26.620    0.0
poly(lstat, degree=2)[1]   72.9908    5.482  13.315    0.0
age                         0.0703    0.011   6.471    0.0

   df_resid           ssr  df_diff      ss_diff           F        Pr(>F)
0     503.0  19168.128609      0.0          NaN         NaN           NaN
1     502.0  14165.613251      1.0  5002.515357  177.278785  7.468491e-35

比較線性模型與 KNN 的適用情境 教科書 · 第 3.5 節講義 03

線性迴歸是參數方法（parametric）：它先假設 f 的形狀 （一條直線），然後只需要估 p + 1 個數字。好處很多——容易擬合、係數可解讀、 有現成的 t 與 F 檢定。主要限制是：如果那個形狀猜錯了， 就算資料再多也無法消除。

對照組是 K 近鄰迴歸（KNN regression），一種無母數方法。 要預測 $x_0$，就找離它最近的 K 個訓練點，把它們的 y 平均起來：

鄰居包含自己嗎？新的測試點不在訓練集合裡，所以沒有「自己」可選。 但直接在訓練資料上預測某個訓練點時，它到自己的距離是 0，通常會包含自己。 沒有重複座標時，K = 1 因而可以得到零訓練誤差，卻不代表對新資料也準； leave-one-out 或交叉驗證會把被驗證的觀測排除在該次的訓練集合之外。若有同距離或重複座標，還須看平手的處理方式。

它不預先指定 f 的參數形式。K 小＝很有彈性但很不穩； K 大＝很平滑但可能糊掉真正的結構。這是第 2 章介紹的偏差–變異取捨。

ISLP 圖 3.19–3.20 的結論是：真實關係接近直線時線性迴歸占優勢； 關係明顯彎曲且 p 很小時 KNN 可能較好，但加入無關變數後 KNN 會迅速受維度詛咒影響。 第 2 章的 KNN 圖可用來複習這個彈性取捨。

最後一件事，也是課本特別強調的：就算 KNN 的測試 MSE 稍微低一點， 選線性迴歸仍然可能是對的。能用幾個係數清楚說明模型中的關係、 能附上 p 值與信賴區間，這些在真實工作裡值得換掉一點點預測精度。 第 7 章會給你一個折衷方案（GAM）：保留「每個變數各自一條曲線」的可解讀性， 同時放掉線性的限制。

動手驗證：教科書第 3 章精選題 教科書 · 第 3.7 節 習題

下面幾題取自 ISLP §3.7 的課後習題，題號都對得回課本。先自己想過再點選項； 每個選項都有解說；需要完整解答時，可查閱下面3個站。

線性迴歸速查表 教科書 · 第 3 章

考前把這一頁掃過去就好。

六個潛在問題的一頁速查

本章自我檢測 課程題庫

這些題目取自課程題庫，只給對錯與說明，不計分。答錯就回到對應章節重讀。

關鍵詞彙卡：點卡片翻面 課程詞彙

詞彙卡整理本章講義與 ISLP 第 3 章中常用的統計或機器學習專有名詞，正面附英文名稱。 先看正面的術語，試著說出定義，再翻面核對。可以洗牌複習，也可以搭配本章例子練習解釋。