2.2 評估方法
通常,我們可通過實驗測試來對學習器的泛化誤差進行評估并進而做出選在現實任務中往往會選擇.為此,需使用一個“測試集”(testing set)來測試學習器對新樣本的判別能考慮時間開銷、存儲爿銷、可解釋性等方面的因素,然后以測試集上的“測試誤差”(testing error)作為泛化誤差的近似,通常素.這里暫且只考慮泛化我們假設測試樣本也是從樣本真實分布中獨立同分布采樣而得.但需注意的誤差,是,測試集應該盡可能與訓練集互斥,即測試樣本盡量不在訓練集中出現、未在訓練過程中使用過.測試樣本為什么要盡可能不出現在訓練集中呢?為理解這一點,不妨考慮這樣一個場景:老師出了10道習題供同學們練習,考試時老師又用同樣的這10道題作為試題,這個考試成績能否有效反映出同學們學得好不好呢?答案是否定的,可能有的同學只會做這10道題卻能得高分.回到我們的問題上來,我們希望得到泛化性能強的模型,好比是希望同學們對課程學得很好、獲得了對所學知識“舉一反三”的能力;