① 依序閱讀：每節先讀說明；遇到互動元件時，先預測結果，再操作驗證。 ② 對照來源與算例：先算過本頁例子，再操作互動。計算細節、完整實作與證明預設收合，可按需要展開；各節附 Seeing Theory 網站與講義連結供對照。 ③ 檢查理解：答錯時先看回饋，再回到相關說明；標為延伸的內容可留待第二輪。 ④ 最後翻關鍵詞彙卡自測術語，並用 重點速查與來源查閱。
統計入門參考：Seeing Theory。章節旁的來源標記可點到本頁書目。
兩個變數一起高於各自平均，或一起低於各自平均時，中心化後的乘積為正；一高一低時為負。 樣本共變異數（sample covariance）把這些乘積取平均，相關係數再除以兩邊的尺度。
算例。$x=(1,2,3)$、$y=(2,4,5)$，兩者平均為 2 與 $11/3$。 中心化乘積總和為 3，所以 $s_{xy}=3/2=1.5$；平方和為 2 與 $14/3$， 因而 $r=3/\sqrt{2(14/3)}\approx0.982$。若改成 $x=(2,2,2)$，其平方和為 0， 分母也為 0；此時相關係數未定義，不能填成 0。
高相關本身不能證明因果；例如氣溫可同時提高冷飲銷量與用電量，兩者的相關可能來自共同原因。 相關為 0 也不保證獨立；對稱的 U 形關係可能讓正、負中心化乘積互相抵消。
| 資料形狀 | 共變異數／相關 | 能否推論 |
|---|---|---|
| 沿上升直線 | 正，r 接近 1 | 有正向線性關係 |
| 沿下降直線 | 負，r 接近 −1 | 有負向線性關係 |
| U 形 | r 可能接近 0 | 仍可能有強烈非線性關係 |
| 任一變數為常數 | r 未定義 | 該變數沒有可標準化的變異 |
把所有 x 值從公尺改成公分（乘以 100），且 100 為正數。相關係數會怎樣？
簡單線性迴歸用直線 $\hat y=b_0+b_1x$ 預測 $y$。每一筆觀測與直線的垂直差是殘差； 普通最小平方法（ordinary least squares, OLS）選出讓殘差平方和最小的截距與斜率。
$$e_i=y_i-\hat y_i,\qquad \operatorname{RSS}(b_0,b_1)=\sum_{i=1}^n[y_i-(b_0+b_1x_i)]^2,$$來源：Seeing Theory Ch.6 · Ordinary Least Squares；講義。
對 RSS 分別微分並設為 0：
$$\sum_i(y_i-b_0-b_1x_i)=0,\qquad \sum_ix_i(y_i-b_0-b_1x_i)=0.$$第一式給出 $b_0=\bar y-b_1\bar x$；代回第二式，得 $b_1S_{xx}=S_{xy}$。 若 $S_{xx}>0$，這就是正文的唯一解。對任意截距與斜率，還有
$$\operatorname{RSS}(b_0,b_1)=\operatorname{RSS}(\hat b_0,\hat b_1) +n[(b_0-\hat b_0)+(b_1-\hat b_1)\bar x]^2+(b_1-\hat b_1)^2S_{xx}.$$後兩項非負，且只有兩係數都等於 OLS 解時同為 0，所以駐點確實是唯一全域最小值。
殘差 $e_i=y_i-\hat y_i$ 是觀測值相對於目前模型的剩餘差異。正殘差表示點在預測線上方， 負殘差表示在下方。含截距的 OLS 會使訓練資料殘差總和為 0，但這只是一階條件，不能證明模型合適。
$$\sum_i e_i=0\quad\text{（含截距的訓練 OLS）},\qquad R^2=1-\frac{\sum_i e_i^2}{\sum_i(y_i-\bar y)^2}.$$這個 R² 公式需要 y 有變異，使分母大於 0；若所有 y 相同，這個比值沒有定義。
| 看到的現象 | 可能代表 | 下一步 |
|---|---|---|
| 彎曲圖樣 | 線性形式漏掉曲線 | 考慮轉換或非線性項 |
| 散布隨預測值變大 | 變異可能不固定 | 檢查異質變異與不確定性估計 |
| 少數很大的殘差 | 離群觀測或資料問題 | 回查資料並做敏感度分析 |
| 殘差隨時間成串 | 觀測可能相關 | 建模時間或群組結構 |
含截距的 OLS 訓練殘差加總為 0。這足以證明直線模型正確嗎？
來源：Seeing Theory Ch.6 · OLS 的誤差平方；講義。
含截距 OLS 的第一條正規方程直接給出 $\sum_ie_i=0$；第二條給出 $\sum_ix_ie_i=0$。 因此 $\sum_i(\hat y_i-\bar y)e_i=0$。將 $y_i-\bar y=(\hat y_i-\bar y)+e_i$ 平方後加總：
$$\sum_i(y_i-\bar y)^2=\sum_i(\hat y_i-\bar y)^2+\sum_ie_i^2.$$這是含截距、以相同訓練資料計算之 OLS 的分解；對測試資料或任意預測模型，不保證交叉項為 0，也不保證 R² 非負。
比較多組平均時，需要把組間差異與組內變動一起考慮。ANOVA 的完整做法放在這裡供需要時查閱。
單因子變異數分析（one-way ANOVA）檢定 $H_0:\mu_1=\mu_2=\cdots=\mu_k$。總平方和可以精確拆成「組間」與「組內」： 組間衡量各組平均離總平均多遠，組內衡量個體離各自組平均多遠。
$$SS_{\mathrm{Total}}=SS_{\mathrm{Between}}+SS_{\mathrm{Within}},$$ $$SS_{\mathrm{Between}}=\sum_{j=1}^k n_j(\bar y_j-\bar y)^2, \qquad SS_{\mathrm{Within}}=\sum_{j=1}^k\sum_i(y_{ij}-\bar y_j)^2,$$ $$F=\frac{MS_{\mathrm{Between}}}{MS_{\mathrm{Within}}} =\frac{SS_{\mathrm{Between}}/(k-1)}{SS_{\mathrm{Within}}/(n-k)}.$$若三組的組平均完全相同，但各組內仍有變動，ANOVA 的 F 會是多少？
來源：Seeing Theory Ch.6 · Analysis of Variance；講義。
每組內把偏差寫成 $y_{ij}-\bar y=(y_{ij}-\bar y_j)+(\bar y_j-\bar y)$。 平方後的交叉項在第 j 組加總為
$$2(\bar y_j-\bar y)\sum_i(y_{ij}-\bar y_j)=0.$$所以總平方和恰等於組內與組間平方和；這是代數恆等式，不需要常態假設。 在獨立、同變異數、常態誤差及 $H_0$ 下，兩個平方和除以 σ² 分別是自由度 k−1 與 n−k 的獨立卡方量， 因此兩個均方比服從 $F_{k-1,n-k}$。代數分解與 F 檢定的分布條件要分開看。
需要核對完整公式、比較表或實作時，再展開下方速查。
同一個平方和在迴歸與 ANOVA 中可能使用不同縮寫。閱讀表格時先看定義與下標，再看名稱。
| 量 | 公式核心 | 用途 | 原站 |
|---|---|---|---|
| 相關 r | 中心化乘積／兩邊平方和 | 線性方向與強度 | Correlation |
| 迴歸 RSS（原站寫 SSE） | Σ(y−ŷ)² | 選擇 OLS 線 | OLS |
| ANOVA 組間／組內 SS | 總變動的兩部分 | 比較多組平均 | ANOVA |
詞彙卡整理本頁依 Seeing Theory 編寫的概念解說中常用的統計或機器學習專有名詞，正面附英文名稱。 先看正面的術語，試著說出定義，再翻面核對。可以洗牌複習，也可以搭配本章例子練習解釋。