統計學習導論與 EDA

先理解問題，再用資料檢查想法 講義 01

回答自然語言問題、協助寫程式、下棋、預測蛋白質結構、生成圖片， 從資料學習已經能完成許多不同的工作。 Watson、AlphaGo、AlphaFold、ChatGPT 等案例，展示了這些方法在科學、工作與日常生活中的應用。

這些成果需要理解資料、表達問題、建立模型與評估表現。掌握這些基礎， 才能理解方法為什麼有效，以及遇到新問題時如何使用它。 本課從容易觀察與解讀的例子開始：先查看資料的分布與關係， 也就是探索式資料分析（exploratory data analysis, EDA）。

從新聞看統計學習能完成的工作 講義 01

講義選用的新聞涵蓋問答、遊戲、科學與媒體生成。依事件年份回看這些案例， 可以看到從資料學習如何用來完成不同的任務。

各案例採用的技術包含深度學習、生成模型、強化學習，或多種訓練方式的組合。 理解資料、設定學習目標、建立模型與評估表現，是進一步理解這些成果的共同基礎。 本課會從較容易看懂的模型與資料例子開始，逐步建立這些能力。

統計、機器學習與資料科學：重疊中的不同側重 講義 01

統計、機器學習、資料探勘、統計學習、人工智慧，常出現在同一個專案裡。 這些名稱有不同的歷史與關注重點，使用的方法則有許多重疊。 講義的作者觀點是：機器學習源自 AI，統計學習源自統計；兩者都研究監督式與非監督式問題， 也持續互相影響。

因此，同一個隨機森林可以出現在統計研究或機器學習專案；差異常在你問什麼、 如何評估，以及需要交代哪些限制。本課重點是建模與解讀： 理解方法的想法、何時可用，以及如何評估表現。

講義也說明相鄰課程的分工：數理統計與統計推論深入理論；機器學習與深度學習課可更重視 大規模預測；資料科學實作課關心整條資料流程；時間序列與存活分析處理特定資料結構。 想從零寫演算法，又是另一條練習路徑。這些方向可以互補。

先問：有什麼資料，想回答什麼？ 講義 01教科書 · 第 2.1 節

先指定你要完成的任務，再決定哪些欄位是輸入 X、是否有目標值 Y。 例如用年齡等特徵預測薪資，薪資就是 Y；只想找出具有相似特徵的群組，則沒有拿某個 Y 來監督學習。

有標籤的資料也可以只拿其中的 X 做非監督式分析。例如 NCI60 記錄了癌症型別， 降維時可以先不使用型別，完成後才用它檢查結果。資料表有沒有標籤欄，與分析是否使用標籤， 是不同的問題。

迴歸與分類：看訓練的 Y 代表什麼

迴歸（regression）預測數值量，例如薪資與油耗； 分類（classification）預測類別，例如漲／跌、良性／惡性。 類別即使被編成 0、1，也不會因此變成連續量。

分類模型可以先輸出屬於各類的機率，再依門檻值決定標籤。 用歷史的「是否下雨」訓練、回報降雨機率，仍是這裡所說的分類任務。 分類章的門檻值例子會讓你動手看機率如何變成決策。

預測與推論：這次要回答哪個問題

預測（prediction）關心新觀測值猜得準不準； 推論（inference）還想理解變數與結果的關係，以及估計有多不確定。 兩種目標可以並存。想說「改變 X 會造成 Y 改變」則還需要因果推論所要求的研究設計與假設， 不能只靠模型預測準確。

Netflix：推薦系統是一種應用任務 講義 01

推薦系統很適合用來檢查剛才的分類方式。講義的 Netflix Prize 案例從 2006 年開始： 約 40 萬名使用者對 1.8 萬部電影給 1–5 分，但使用者與電影組成的評分表約有 98% 缺漏。 目標是預測另外 100 萬組使用者—電影配對的評分。

講義列出的原始基準是均方根誤差（root mean squared error, RMSE）0.953， 第一個改善 10% 的團隊可贏得百萬美元。這裡先理解評估的想法： 比較預測評分與保留供評估的真實評分，相差越小越好。 誤差的詳細定義會在統計學習的基本框架學到。

評分表很稀疏，也不表示「缺的格子都應補成 0」。沒有評分可能只是沒看過， 不是給了零分。缺漏的意義要先釐清，這也把我們帶向後面的 EDA。

從統計到 AI：十個想法各解決什麼問題？ 講義 01

統計學習的工具各自解決不同問題：EDA 幫我們先認識資料，bootstrap 描述估計的不確定性，正則化則調整模型的彈性。先理解眼前要回答的問題，再選擇合適的工具；各思想的歷史可展開閱讀。

先看資料：資料表、摘要與選圖 講義 01

EDA 用摘要與圖形探索資料的結構、異常和變數關係，再依觀察調整問題。 你會在摘要與圖形之間來回：圖上看到異常，再回頭查原始記錄；摘要有不合理的範圍，再換個分組或尺度看。

先知道每列、每欄代表什麼

資料框（DataFrame）是一張二維資料表，不同欄可以存數值、文字或類別。 一列通常是一筆記錄，一欄是一個變數。記錄單位必須說清楚：Wage 的一列是一位受訪者， Bikeshare 的一列可以是一個時段。n 是觀測值個數；選定預測任務後， p 是使用的預測變數個數，不是直接把整張表的欄數抄過來。

先用摘要統計量認識資料

開始 EDA 時，可以先計算一些摘要統計量（summary statistics）， 快速掌握資料大致落在哪裡、分散到什麼程度。講義介紹的統計量可以這樣理解：

摘要不能代替完整分布。兩組資料可能有接近的平均值，卻有不同的偏斜、群組或極端值。 也不要看到缺值就先刪除：先查缺值怎麼產生，再決定如何處理，並記錄整理前後的變化。

用圖回答分布、關係與結構

講義以 Seaborn 說明這些圖形：它建立在 Matplotlib 與 pandas 之上。 有些函式管理整張圖與多個子圖，有些只畫到一個座標軸；迴歸趨勢圖、殘差圖與矩陣圖也各有用途。 這裡先練習依問題選圖並讀圖，操作細節可查 pandas 附錄與視覺化附錄的 Seaborn 分類地圖。

課程資料集總表與五組讀圖練習 講義 01教科書 · 第 1 章

下面先列出講義介紹的課程資料集，再用五組資料練習讀圖。總表幫你認識每份資料在記錄什麼；讀圖時先確認分析單位、欄位意義與資料版本，再回答圖中支持什麼觀察。表中的資料欄數與選定任務後的預測變數數 p，要分開看。

依〈統計學習導論〉的順序整理資料集：點名稱可查資料說明；窄螢幕可左右滑動表格與下方圖形。

N、P 的計算方式：本表沿用講義的資料規模；P 是所採資料表的欄數，不是選定模型後的預測變數個數。Credit 不含 ID；Auto 含 name，套件將 name 設為索引後剩 8 欄；NYSE 含日期，設為索引後剩 5 欄。

Fund 以轉置後的經理人為列（原表為 50 × 2,000）；Khan 列的是 63 筆訓練資料，另有 20 筆測試資料；NCI60 的型別標籤另存。完整資料入口：ISLP 官方資料集目錄。

接下來的 Wage、Smarket、NCI60、Auto、Bikeshare 各有一個不同的閱讀重點。先讀圖說、寫下自己的觀察，再做自測；不要只記住資料集名稱或一個漂亮分數。

先用五份真實資料練習讀圖：看清一點、一個箱子或一條線代表什麼，再判斷圖能回答哪個問題。

Wage：薪資與年齡、年份、教育程度

資料含3000位男性的薪資與人口特徵。若把wage當預測目標，這是一個迴歸問題；先看分布，還不用急著選模型。

Smarket：前幾天的報酬與當天漲跌

1250個交易日、9個資料欄。目標Direction是當天漲或跌，屬於分類問題；先比較過去報酬在兩組中的分布。

NCI60：把6830個基因畫成兩個座標

投影使用基因表現量探索結構；資料另附的癌症型別供投影完成後上色對照，未作為訓練目標y。

Auto：油耗分布與馬力的關係

先用直方圖看mpg的分布，再看馬力與mpg的散佈圖。這兩種圖分別回答「單一變數如何分布」與「兩個變數有什麼關係」。

Bikeshare：哪些月份、時段租借較多？

bikers記錄每小時的租借量。先看下面兩張圖，找出一年中、一天中租借量較高的時候。這一章先練習讀圖，模型的詳細說明放在第四章的Bikeshare例子。

開始練習 Lab，繼續學習後續章節 講義 01

知道要問什麼之後，工具才有工作可做。講義的 PyData 工具鏈可以先記成下面幾層； 你不需要為了讀本章先安裝所有套件。

想找自己的資料，講義列了政府資料開放平台、 Kaggle Datasets與 Google Dataset Search。 競賽例子則有 Kaggle、T-Brain 與中研院資料科學漫步。資料與競賽入口只是起點， 仍要讀資料字典、授權、收集方式及當次任務規則；不同年份的活動安排不放進本頁學習要求。

動手驗證：概念自測 教科書 · 第 1 章

ISLP 第 1 章沒有課後習題，所以這幾題是照本章觀念設計的。先自己想過再點選項； 每個選項都有解說，答完後可以核對自己的理由。第 2 章起另有課本習題可練習。

這四題整合本頁已介紹的判斷，不需要先會估計模型或推導公式。

統計學習導論與 EDA速查表 教科書 · 第 1 章

本頁以課程講義〈Introduction〉的新聞、領域分工、推薦系統、十個思想與 EDA 為主線； 資料例子的數字與程式來源標在各圖及 lab 卡片旁。新聞是講義選用的歷史案例， 不用來宣稱模型目前的能力或完整訓練方式。

關鍵詞彙卡：點卡片翻面 課程詞彙

詞彙卡整理本章講義與 ISLP 第 1 章中常用的統計或機器學習專有名詞，正面附英文名稱。 先看正面的術語，試著說出定義，再翻面核對。可以洗牌複習，也可以搭配本章例子練習解釋。