高效的機器學習模型需要高質量的數據。訓練您的機器學習模型并不是過程中的單個有限階段。即使將其部署在生產環境中,也可能需要穩定的新培訓數據流,以確保模型隨時間的預測準確性。畢竟,訓練數據會顯式地調用數據集中代表 外部世界中不斷變化的地面事實的屬性。如果不進行定期重新訓練,隨著實際變量的發展,模型的準確性自然會隨時間下降。在本文中,我們將討論為什么不管您的初始訓練數據過程多么嚴格,繼續訓練您的機器學習模型都是至關重要的。我們還將討論再培訓的方法以及每種方法的優點。
最后,我們將介紹如何在任何機器學習項目開始時預見對后續更新的需求。通過從一開始就建立再培訓過程,您將設計一個可持續的預測模型。
數據漂移和再培訓需求
為什么大多數機器學習模型都需要更新才能保持準確性?答案在于訓練數據的性質以及它告知機器學習模型的預測功能的方式。
訓練數據是一個靜態數據集,機器學習模型可從該數據集中推斷出模式和關系,并對未來進行預測。
隨著現實條件的變化,訓練數據的地面真實性表示可能會不太準確。想象一下用于預測50個大型都會區租金成本的機器學習模型。從2000年到2019年的培訓數據可能會以驚人的準確性預測2020年的租金價格。預測2050年的租金價格可能不太有效,因為房地產市場的基本性質可能會在未來幾十年發生變化。
應用自然語言處理(NLP)訓練聊天機器人可提供數據漂移的另一個有用說明。我們使用語言的方式正在不斷發展,因此必須更新對支持聊天機器人的訓練數據的語義分析,以反映當前的語言。想象一下,嘗試使用1980年代的培訓數據來訓練聊天機器人與現代消費者進行互動。在40年中,語言可能會發生巨大變化-迫使需要更新的培訓數據。
已經以多種方式描述了這種現象,包括數據漂移,概念漂移和模型衰減。無論您說什么,它都代表了機器學習的硬道理:在將來的某個時候,您的訓練數據將不再為準確預測提供基礎。
不可避免的挑戰的答案是定期使用新數據或擴展數據重新訓練您的模型。確實,訓練模型是一個持續的過程,尤其是在質量很重要的情況下。
您應該如何應對更新機器學習模型?簡單來說,您有兩個選擇:使用更新的輸入手動重新訓練模型,或構建旨在從新數據中不斷學習的模型。
手動模型重新訓練方法
實質上,手動更新機器學習模型的方法是復制您的初始訓練數據過程-但要使用一組更新的數據輸入。在這種情況下,您可以決定如何以及何時提供算法新數據。
此選項的可行性取決于您定期獲取和準備新訓練數據的能力。您可以隨時間監視模型的性能,確定何時需要更新。如果模型的準確性明顯下降,則可能需要對更新的數據進行重新訓練。
這種方法的優點之一是,修補通常可以帶來見識和創新。如果密切監視模型并找出缺點,則可能會發現包含更多數據或以更基本的方式修改算法的價值。
模型訓練的持續學習方法
持續學習模型通常會從部署了數據的生產環境中合并新的數據流。
消費者每天都會使用持續學習的機器學習模型。考慮音樂流媒體平臺S,該平臺使用協作過濾功能根據具有相似愛好的其他用戶的偏好向用戶提供推薦,以創造價值和競爭優勢。
當S用戶收聽音樂時,與他們的選擇有關的數據將反饋到公司的預測算法中。由此產生的反饋循環完善了該應用為其用戶提供的建議,并允許高級個性化設置,例如機器生成的個性化播放列表。其他領先的消費媒體服務提供商也使用類似的持續學習系統。
如您所料,構建這些系統所需的技術專長和資源對于許多組織來說根本無法滿足。此外,您需要穩定的數據流以進行自動集成。在持續學習模型中,人為干預是可能的,但它代表了真正的瓶頸。例如,S在將其數百萬用戶生成的數據反饋回其算法之前,不需要對其進行清理或格式化。
無論是手動更新還是持續學習似乎更有效且可行,您都需要從戰略上考慮用于生成新數據以進行再培訓的勞動力和技術。如果您打算在可預見的將來使用模型,則需要適當的資源來保持模型最新。
期待發展:選擇團隊
創建培訓數據需要人員,流程和工具的戰略組合。要瀏覽收集,清理和標記數據的歧義,您需要一個有效的技術人員堆棧,其中包括熟練的技術人員和先進的技術。
許多組織無法管理或擴展內部團隊來準備培訓數據,因此他們尋求利用人類智能的替代方法。眾包勞工是一種常見選擇,它使您可以在短時間內挖掘數百名匿名工人。
然而,匿名眾包帶來了隱性成本,包括與工人的溝通不暢,這可能導致工作質量低下。而且,如果在開發初始訓練數據集時這些缺點很明顯,那么當您嘗試重新訓練和更新模型時,它們將尤其令人沮喪。
對于一群匿名的眾包工人,幾乎不可能進行監督或轉移機構記憶。每次開發新的培訓數據時,都有發現新的不一致和性能問題的風險。
C提供了另一個選項:隨時準備轉變您的數據操作的托管團隊。您可以聘請我們的專業技術人員來滿足您的特定數據需求,并根據需要隨時間擴大或縮小規模。您將獲得具有眾包勞動力的靈活性的真實團隊的服務和溝通,從而在不犧牲效率的情況下降低成本。
如果要長期保持機器學習模型的性能,則需要足夠靈活的員工隊伍來滿足您不斷進行的培訓數據需求。看一下我們可擴展的機器學習方法,看看我們如何幫助其他公司克服數據挑戰,為創新產品提供動力并破壞其行業。
C是將人員和技術結合在一起以提供用于機器學習和核心業務數據處理的云勞動力解決方案的全球領導者。我們的管理團隊擁有150多個AI項目的經驗,幾乎可以使用任何工具來高精度地處理數據。作為影響力采購服務提供商,C為發展中國家的人才創造了經濟和領導機會。
以上就是關于如何使您的機器學習模型保持最新的全部內容介紹,想了解更多關于機器學習的信息,請繼續關注中培偉業。