第2章  模型評估與選擇
    2.1經驗誤差與過擬合
    通常我們把分類錯誤的樣本數占樣本總數的比例稱為“錯誤率”(errorrate)，即如果在m個樣本中有a個樣本分類錯誤，則錯誤率E=a/m;相應的，1- a/m稱為“精度”(accuracy)，即“精度=1-錯誤率”，更一般地，我們把學習器的實際預測輸出與樣本的真實輸出之間的差異稱為“誤差”(error)，學習器在訓練集上的誤差稱為“訓練誤差”(training error)或“經驗誤差”(empirical error)，在新樣本上的誤差稱為“泛化誤差”(generalizationerror)．顯然，我們希望得到泛化誤差小的學習器，然而，我們事先并不知道新樣本是什么樣，實際能做的是努力使經驗誤差最小化．在很多情況下，我們可以學得一個經驗誤差很小、在訓練集上表現很好的學習器，例如甚至對所有訓練樣本都分類正確，即分類錯誤率為零，分類精度為100%，但這是不是我們想要的學習器呢？遺憾的是，這樣的學習器在多數情況下都不好．我們實際希望的，是在新樣本上能表現得很好的學習器，為了達到這個目的，應該從訓練樣本中盡可能學出適用于所有潛在樣本的“普遍規律”，這樣才能在遇到新樣本時做出正確的判別．然而，當學習器把訓練樣本學得“太好”了的時候，很可能已經把訓練樣本自身的一些特點當作了所有潛在樣本都會具有的一般性質，這樣就會導致泛化性能下降．這種現象在機器學習中稱為“過擬合”(overfitting).