以表2.5中的數據為例,先根據式(2.34)和(2.35)計算出TF=24.429,由表2.6可知,它大于a=0.05時的F檢驗臨界值5.143,因此拒絕“所有算法性能相同”這個假設.然后使用Nemenyi后續檢驗,在表2.7中找到k=3時qo.os=2.344,根據式(2.36)計算出臨界值域CD=1.657,由表2.5中的平均序值可知,算法A與B的差距,以及算法B與C的差距均未超過臨界值域,而算法A與C的差距超過臨界值域,因此檢驗結果認為算法A與C的性能顯著不同,而算法A與B、以及算法B與C的性能沒有顯著差別.上述檢驗比較可以直觀地用Friedman檢驗圖顯示.例如根據表2.5的序值結果可繪制出圖2.8,圖中縱軸顯示各個算法,橫軸是平均序值,對每個算法,用一個圓點顯示其平均序值,以圓點為中心的橫線段表示臨界值域的大小.然后就可從圖中觀察,若兩個算法的橫線段有交疊,則說明這兩個算法沒有顯著差別,否則即說明有顯著差別.從圖2.8中可容易地看出,算法A與B沒有顯著差別,因為它們的橫線段有交疊區域,而算法A顯著優于算法C,因為它們的橫線段沒有交疊區域, 對學習算法除了通過實驗估計其泛化性能,人們往往還希望了解它“為什么”具有這樣的性能.“偏差一方差分解”(bias-variance decomposition)是解釋學習算法泛化性能的一種重要工具,偏差一方差分解試圖對學習算法的期望泛化錯誤率進行拆解.我們知道,算法在不同訓練集上學得的結果很可能不同,即便這些訓練集是來自同一個分布.