這是一個AI賦能的時代，而機器學(xué)習(xí)則是實現(xiàn)AI的一種重要技術(shù)手段。那么，是否存在一個通用的通用的機器學(xué)習(xí)系統(tǒng)架構(gòu)呢？

在老碼農(nóng)的認知范圍內(nèi)，Anything is nothing，對系統(tǒng)架構(gòu)而言尤其如此。但是，如果適用于大多數(shù)機器學(xué)習(xí)驅(qū)動的系統(tǒng)或用例，構(gòu)建一個可擴展的、可靠的機器學(xué)習(xí)系統(tǒng)架構(gòu)還是可能的。從機器學(xué)習(xí)生命周期的角度來看，這個所謂的通用架構(gòu)涵蓋了關(guān)鍵的機器學(xué)習(xí)階段，從開發(fā)機器學(xué)習(xí)模型，到部署訓(xùn)練系統(tǒng)和服務(wù)系統(tǒng)到生產(chǎn)環(huán)境。我們可以嘗試從10個要素的維度來描述這樣的一個機器學(xué)習(xí)系統(tǒng)架構(gòu)。

???AI 智能聊天, 問答助手, AI 智能搜索, 免費無限量使用 DeepSeek R1 模型???

1.數(shù)據(jù)和特征工程流水線

在給定的時間內(nèi)提供高質(zhì)量的數(shù)據(jù)，并以可伸縮和靈活的方式生成有用的機器學(xué)習(xí)特征。一般來說，數(shù)據(jù)流水線可以與特征工程流水線分離。數(shù)據(jù)流水線是指提取、轉(zhuǎn)換和加載(ETL)的流水線，其中，數(shù)據(jù)工程師負責將數(shù)據(jù)傳輸?shù)酱鎯ξ恢?，比如建立在對象存儲之上的?shù)據(jù)湖，特征工程流水線側(cè)重于將原始數(shù)據(jù)轉(zhuǎn)換成可以幫助機器學(xué)習(xí)算法更快、更準確地學(xué)習(xí)的機器學(xué)習(xí)特征。

特征工程一般分為兩個階段。在第一階段，特征工程邏輯通常由數(shù)據(jù)科學(xué)家在開發(fā)階段通過各種實驗創(chuàng)建，以便找到最佳的特征集合，而數(shù)據(jù)工程師或機器學(xué)習(xí)工程師則負責特征工程流水線的生產(chǎn)，為模型訓(xùn)練和在生產(chǎn)環(huán)境中服務(wù)提供高質(zhì)量的特征數(shù)據(jù)。

2. 特征存儲

存儲機器學(xué)習(xí)的特征數(shù)據(jù)，進行版本管理，用于發(fā)現(xiàn)、共享和重用，并為模型訓(xùn)練和服務(wù)提供一致的數(shù)據(jù)和機器學(xué)習(xí)特征，從而提高機器學(xué)習(xí)系統(tǒng)的可靠性。

面對機器學(xué)習(xí)的特征數(shù)據(jù)，特征存儲是特征工程流水線創(chuàng)建的持久化存儲方案。特性存儲支持模型訓(xùn)練和服務(wù)。因此，它是一個非常重要的部分，是端到端機器學(xué)習(xí)系統(tǒng)架構(gòu)的一個重要組件。

3.機器學(xué)習(xí)模型訓(xùn)練和再訓(xùn)練流水線

對于機器學(xué)習(xí)訓(xùn)練運行不同的參數(shù)和超參數(shù)，以一種簡單和可配置的方式進行實驗，并記錄這些訓(xùn)練所運行的各種參數(shù)和模型性能指標。自動評估、驗證、選擇性能最好的模型并將其記錄到機器學(xué)習(xí)模型庫中。

4.訓(xùn)練與模型的元存儲

存儲并記錄機器學(xué)習(xí)的運行，包括參數(shù)、指標、代碼、配置結(jié)果和經(jīng)過培訓(xùn)的模型，并提供模型的生命周期管理、模型注釋、模型發(fā)現(xiàn)和模型重用等功能。

對于一個完整的機器學(xué)習(xí)系統(tǒng)來說，以工程、模型訓(xùn)練和模型服務(wù)為特征，可以從數(shù)據(jù)中生成大量的元數(shù)據(jù)。所有這些元數(shù)據(jù)對于了解系統(tǒng)如何工作非常有用，可以從數(shù)據(jù)-> 特征-> 模型-> 服務(wù)端來提供可跟蹤性，并在模型停止工作時提供用于調(diào)試的有用信息。

5.機器學(xué)習(xí)模型服務(wù)流水線

為在生產(chǎn)環(huán)境中使用機器學(xué)習(xí)模型提供適當?shù)幕A(chǔ)設(shè)施，既考慮到全程服務(wù)，也要考慮延遲。

一般來說，有三種服務(wù)模式: 批量服務(wù)、流式服務(wù)和online服務(wù)。每種服務(wù)類型都需要完全不同的基礎(chǔ)設(shè)施。此外，基礎(chǔ)設(shè)施應(yīng)該是容錯和自動擴展的，以響應(yīng)請求和吞吐量波動，特別是對于關(guān)鍵業(yè)務(wù)的機器學(xué)習(xí)系統(tǒng)。

6.監(jiān)控生產(chǎn)中的 ML 模型

在生產(chǎn)環(huán)境中，在發(fā)現(xiàn)數(shù)據(jù)和模型漂移及異常時，提供數(shù)據(jù)收集、監(jiān)控、分析、可視化和通知功能，并提供必要的信息協(xié)助系統(tǒng)調(diào)試。

7.機器學(xué)習(xí)流水線

與特定的機器學(xué)習(xí)工作流相比，機器學(xué)習(xí)流水線提供了一個可重用的框架，使數(shù)據(jù)科學(xué)家能夠更快地開發(fā)和迭代，同時保持高質(zhì)量的代碼并減少生產(chǎn)時間。一些機器學(xué)習(xí)流水線框架還提供了編排和架構(gòu)抽象的功能。

8.工作流編排

工作流編排是集成端到端機器學(xué)習(xí)系統(tǒng)的關(guān)鍵組件，協(xié)調(diào)和管理所有這些關(guān)鍵組件的依賴項。工作流編排工具還提供諸如日志記錄、緩存、調(diào)試和重試等功能。

9.持續(xù)集成/持續(xù)培訓(xùn)/持續(xù)交付(CI/CT/CD)

持續(xù)測試和持續(xù)集成是指持續(xù)用新數(shù)據(jù)培訓(xùn)新模型，在需要時升級模型性能，并以安全、敏捷和自動化的方式持續(xù)為生產(chǎn)環(huán)境提供服務(wù)并部署模型。

10.針對數(shù)據(jù)和模型的端到端質(zhì)量控制

在端到端機器學(xué)習(xí)工作流的各個階段，需要嵌入可靠的數(shù)據(jù)質(zhì)量檢查、模型質(zhì)量檢查、數(shù)據(jù)和概念漂移檢測，以確保機器學(xué)習(xí)系統(tǒng)本身是可靠且可信的。這些質(zhì)量控制的檢查包括描述統(tǒng)計學(xué)、整體數(shù)據(jù)形狀、數(shù)據(jù)缺失、數(shù)據(jù)重復(fù)、幾乎恒定的特征、統(tǒng)計測試、距離指標和模型預(yù)測質(zhì)量，等等。

以上，可以稱之為機器學(xué)習(xí)系統(tǒng)架構(gòu)的10個要素。在我們的實踐中，整個工作流應(yīng)該保持大致相同，但可能需要對其中某些要素進行調(diào)整和定制。

如何對機器學(xué)習(xí)的系統(tǒng)架構(gòu)進行調(diào)整呢？

如何在產(chǎn)品設(shè)計之初精簡架構(gòu)要素呢？

如何在引入機器學(xué)習(xí)系統(tǒng)系統(tǒng)時，保持原有系統(tǒng)架構(gòu)的持續(xù)性呢？?

以上就是機器學(xué)習(xí)系統(tǒng)架構(gòu)的十個要素的詳細內(nèi)容，更多請關(guān)注php中文網(wǎng)其它相關(guān)文章！