上世紀八十年代中后期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的研究，機器學(xué)習(xí)中關(guān)于概念學(xué)習(xí)的研究開始很早，從中產(chǎn)生的不少思想對整個領(lǐng)域都有深遠影響，例如作為主流學(xué)習(xí)技術(shù)之一的決策樹學(xué)習(xí)，就起源于關(guān)于概念形成的樹結(jié)構(gòu)研究[Hunt and Hovland，1963l. [Winston，1970]在著名的“積木世界”研究中，將概念學(xué)習(xí)與基于泛化和特化的搜索過程聯(lián)系起來．[Simon and Lea，1974]較早提出了“學(xué)習(xí)”是在假設(shè)空間中搜索的觀點．[Mitchell，1977]稍后提出了版本空間的概念．概念學(xué)習(xí)中有很多關(guān)于規(guī)則學(xué)習(xí)規(guī)則學(xué)習(xí)參見第is章·  的內(nèi)容，奧卡姆剃刀原則主張選擇與經(jīng)驗觀察一致的最簡單假設(shè)，它在自然科學(xué)如物理學(xué)、天文學(xué)等領(lǐng)域中是一個廣為沿用的基礎(chǔ)性原則，例如哥白尼堅持“日心說”的理由之一就是它比托勒密的“地心說”更簡單且符合天文觀測，奧卡姆剃刀在機器學(xué)習(xí)領(lǐng)域也有很多追隨者[Blumer et al.，1996].但機器學(xué)習(xí)中什么是“更簡單的”這個問題一直困擾著研究者們，因此，對奧卡姆剃刀在機器學(xué)習(xí)領(lǐng)域的作用一直存在著爭議[Webb，1996; Domingos，1999].需注意的是，奧卡姆剃刀并非科學(xué)研究中唯一可行的假設(shè)選擇原則，例如古希臘哲學(xué)家伊壁鳩魯（公元前341年一前270年）提出的“多釋原則”(principle of multipleexplanations)，主張保留與經(jīng)驗觀察一致的所有假設(shè)[Asmis，1984]，這與集成集成學(xué)習(xí)參見第8章-    學(xué)習(xí)(ensemble learning)方面的研究更加吻合．機器學(xué)習(xí)領(lǐng)域最重要的國際學(xué)術(shù)會議是國際機器學(xué)習(xí)會議(ICML)、國際神經(jīng)信息處理系統(tǒng)會議(NIPS)和國際學(xué)習(xí)理論會議(COLT)，重要的區(qū)域性會議主要有歐洲機器學(xué)習(xí)會議(ECML)和亞洲機器學(xué)習(xí)會議(ACML);最重要的國際學(xué)術(shù)期刊是Journal of Machine Learning Research和Machine Learning.