2.2.4 調參與最終模型
大多數學習算法都有些參數(parameter)需要設定,參數配置不同,學得模型的性能往往有顯著差別.因此,在進行模型評估與選擇時,除了要對適用學習算法進行選擇,還需對算法參數進行設定,這就是通常所說的“參數調節”或簡稱“調參”(parameter tuning).
讀者可能馬上想到,調參和算法選擇沒什么本質區別:對每種參數配置都訓練出模型,然后把對應最好模型的參數作為結果,這樣的考慮基本是正確的,機器學習常涉及兩掌參數:一類是算法的參霆 但有一點需注意:學習算法的很多參數是在實數范圍內取值,因此,對每種參數亦稱”超參數“,數目常在配置都訓練出模型來是不可行的,現實中常用的做法,是對每個參數選定一個10以內:另一類是模型昏參數,數目可能很多』篇 范圍和變化步長,例如在[0;0.2]范圍內以0.05為步長,則實際要評估的候選參如大型“深度學習”模型 數值有5個,最終是從這5個候選值中產生選定值.顯然,這樣選定的參數值往甚至有上百億個參數,一者調參方式相似均是零 往不是“最佳”值,但這是在計算開銷和性能估計之間進行折中的結果,通過生多個模型之后基于某萎 這個折中,學習過程才變得可行,事實上,即便在進行這樣的折中后,調參往往評估方法來進行選擇:習同之處在于前者通常是由 仍很困難.可以簡單估算一下:假定算法有3個參數,每個參數僅考慮5個候選人工設定多個參數候選釜值,這樣對每一組訓練/測試集就有53:125個模型需考察;很多強大的學習算后產生模型,后者則是通過學習來產生多個候選模法有不少參數需設定,這將導致極大的調參工程量,以至于在不少應用任務中,型(例如神經網絡在不同 參數{輪數停止訓練).