中國電子學(xué)會 2023 科學(xué)技術(shù)獎授獎名單公佈，這次，我們發(fā)現(xiàn)了一個熟悉的身影 —— 騰訊 Angel 機(jī)器學(xué)習(xí)平臺。

在大模型快速發(fā)展的當(dāng)下，科學(xué)技術(shù)獎授予機(jī)器學(xué)習(xí)平臺類研究和應(yīng)用項目，對於模型訓(xùn)練平臺的價值和重要性給予了充分的肯定。

科學(xué)技術(shù)獎?wù)J可了機(jī)器學(xué)習(xí)平臺類專案的研究和應(yīng)用，特別在大型模型快速發(fā)展的背景下，對模型訓(xùn)練平臺的價值和重要性給予了充分的認(rèn)可。

隨著深度學(xué)習(xí)的興起，各大公司開始意識到機(jī)器學(xué)習(xí)平臺在發(fā)展人工智慧技術(shù)中的重要性。谷歌、微軟、英偉達(dá)等公司都推出了自己的機(jī)器學(xué)習(xí)平臺，以加速人工智慧模式的訓(xùn)練過程。這些平臺為開發(fā)者提供了便利的支持，使他們能夠更快地建構(gòu)和優(yōu)化複雜的人工智慧系統(tǒng)。這種趨勢促使人們更加關(guān)注機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，並為未來的人工智慧應(yīng)用打下了堅實的基礎(chǔ)。

從2023年開始，大型模型的興起進(jìn)一步推動了模型參數(shù)量的提升。各大公司紛紛推出了參數(shù)規(guī)模達(dá)到千億甚至萬億等級的模型，這些模型普遍採用深度神經(jīng)網(wǎng)路結(jié)構(gòu)。然而，這種發(fā)展也帶來了兩個核心痛點：模型分散式訓(xùn)練的困難以及應(yīng)用複雜性所帶來的模型設(shè)計挑戰(zhàn)。

為什麼是 Angel 機(jī)器學(xué)習(xí)平臺？

詳解四大核心技術(shù)突破

由多名院士等權(quán)威專家組成的鑑定委員會認(rèn)為， 騰訊Angel 機(jī)器學(xué)習(xí)平臺技術(shù)複雜度高、研發(fā)難度大、創(chuàng)新性強(qiáng)，應(yīng)用前景廣闊，整體技術(shù)達(dá)到國際先進(jìn)水平，其中面向all-to-all 通訊的高效快取調(diào)度與管理技術(shù)、自適應(yīng)預(yù)採樣與圖結(jié)構(gòu)搜尋技術(shù)達(dá)到國際領(lǐng)先水準(zhǔn)。

^{? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 騰訊Angel 平臺架構(gòu)圖片}

##地說# * * *->>).架構(gòu)，這種架構(gòu)的特點是將儲存模型參數(shù)和執(zhí)行模型計算這兩個任務(wù)分別在不同的伺服器上運行。透過增加更多的伺服器，可以支援更大規(guī)模、運算需求更高的模型。這種架構(gòu)使得模型訓(xùn)練過程更有效率，能夠處理大規(guī)模資料集和複雜模型運算。分散式參數(shù)伺服器的設(shè)計使得系統(tǒng)具有良好的擴(kuò)充性和靈活性，能夠滿足不同規(guī)模和需求的機(jī)器學(xué)習(xí)任務(wù)。這種架構(gòu)的優(yōu)點在於可以有效地利用叢集資源，提高運算效率，並為使用者提供更快速、更

###面對海量資料和超大規(guī)模模型訓(xùn)練需求，騰訊Angel 機(jī)器學(xué)習(xí)平臺在網(wǎng)路通信與快取、模型儲存與調(diào)度、多模態(tài)模型與融合學(xué)習(xí)排序、大規(guī)模圖模型與結(jié)構(gòu)搜尋技術(shù)等核心環(huán)節(jié)取得技術(shù)突破。 ###############為了提高訓(xùn)練效率，TB 級機(jī)器學(xué)習(xí)模型通常採用分散式訓(xùn)練方法，需要大量的參數(shù)和梯度同步，以1.8T 模型千卡訓(xùn)練為例， IO 通訊量達(dá)到25TB, 耗時佔53%，此外，加上不同算力集群間的異質(zhì)網(wǎng)路環(huán)境，通訊網(wǎng)路延遲不一，這些都對模型訓(xùn)練過程中的通訊開銷提出了較高的要求。騰訊Angel 機(jī)器學(xué)習(xí)平臺基於騰訊雲(yún)星脈網(wǎng)路的高效通訊與快取調(diào)度管理技術(shù)，可有效解決TB 級模型訓(xùn)練通訊開銷大的問題，實現(xiàn)網(wǎng)路通訊耗時減少80%，分散式訓(xùn)練效能達(dá)業(yè)界主流方案的2.5 倍。 ###############現(xiàn)有的算力條件下，儘管模型達(dá)到 TB 級，而主流 GPU 的顯存仍只有 80G，參數(shù)儲存有瓶頸。針對 TB 級模型訓(xùn)練參數(shù)儲存困難的關(guān)鍵問題， 騰訊 Angel 機(jī)器學(xué)習(xí)平臺提出了顯存主存統(tǒng)一視角儲存管理機(jī)制，實現(xiàn)模型儲存容量比業(yè)界增加 1 倍，訓(xùn)練效能是業(yè)界主流方案 2 倍。 ############

大模型要向通用模型發(fā)展，離不開對多模態(tài)數(shù)據(jù)的處理支持，不同模態(tài)，例如文字、圖像、視頻等數(shù)據(jù)的對齊融合理解難度大。在多模態(tài)模型的訓(xùn)練上， 騰訊 Angel 機(jī)器學(xué)習(xí)平臺針對廣告場景，提出多模態(tài)融合學(xué)習(xí)的全連結(jié)排序廣告推薦技術(shù)，協(xié)助廣告回想率提升 40% 以上。

另外，針對推薦系統(tǒng)導(dǎo)向的圖模型訓(xùn)練，騰訊Angel 機(jī)器學(xué)習(xí)平臺設(shè)計了圖節(jié)點特徵自適應(yīng)圖網(wǎng)路結(jié)構(gòu)搜尋技術(shù)，可自動輸出最佳結(jié)構(gòu)，解決了TB 圖模型應(yīng)用中「圖資料探勘難」 的問題，實現(xiàn)模型訓(xùn)練效能提升28 倍，與業(yè)界比具有最適擴(kuò)展性。

騰訊Angel 機(jī)器學(xué)習(xí)平臺鍛造之路

#騰訊混元大模型擴(kuò)展到萬億規(guī)模

作為騰訊人工智慧技術(shù)的基礎(chǔ)平臺，騰訊Angel 平臺誕生於2015 年，支援PS-Worker 分散式訓(xùn)練， 以及十億參數(shù)LDA 模型的訓(xùn)練。

2017 年，Angel 框架在 Github 開源，向開發(fā)者開放，同時，技術(shù)上，Angel 解決了異質(zhì)網(wǎng)路下的通訊問題，效能進(jìn)一步提升。 2019 年，在可擴(kuò)展圖模型多模態(tài)理解技術(shù)取得突破，解決兆節(jié)點可擴(kuò)展圖模型問題。 2021 年，提出 GPU 顯存統(tǒng)一視角儲存技術(shù)，解決大模型 參數(shù)儲存與效能問題。

在騰訊通用人工智慧大模型騰訊混元的打造中，騰訊 Angel 機(jī)器學(xué)習(xí)平臺也扮演了重要角色。

2023 年 9 月，騰訊混元大模型正式對外亮相，預(yù)訓(xùn)練語料超 2 萬億 tokens，具有強(qiáng)大的中文理解與創(chuàng)作能力、邏輯推理能力，以及可靠的任務(wù)執(zhí)行能力。

面對建造騰訊混元大模型的需求，騰訊Angel 機(jī)器學(xué)習(xí)平臺打造了自研的面向大模型訓(xùn)練和推理的機(jī)器學(xué)習(xí)框架Angel PTM 和Angel HCF，支持單任務(wù)萬卡級別超大規(guī)模訓(xùn)練和大規(guī)模推理服務(wù)部署。實現(xiàn)大模型訓(xùn)練效率提升至主流開源框架的 2.6 倍，千億級大模型訓(xùn)練可節(jié)省 50% 算力成本，升級後支援單任務(wù)萬卡級別超大規(guī)模訓(xùn)練。在推理上，騰訊 Angel 機(jī)器學(xué)習(xí)平臺推理速度提高了 1.3 倍，在騰訊混元大模型文生圖的應(yīng)用中，推理耗時從原本的 10 秒縮短至 3 至 4 秒。

此外，Angel 還提供了從模型研發(fā)到應(yīng)用落地的一站式平臺，支援用戶透過API 介面或精調(diào)等方式快速呼叫騰訊混元大模型能力，加速大模型應(yīng)用構(gòu)建，騰訊會議、騰訊新聞、騰訊影片等超過400 個騰訊產(chǎn)品及場景都已接取騰訊混元內(nèi)測。

騰訊混元透過採用混合專家模型 (MoE) 結(jié)構(gòu)，已將模型擴(kuò)展至萬億級參數(shù)規(guī)模，推動了性能提升和推理成本下降。作為通用模型，騰訊混元在中文表現(xiàn)上處於業(yè)界領(lǐng)先水平，尤其在文字生成、數(shù)理邏輯和多輪對話中表現(xiàn)表現(xiàn)卓越。目前，騰訊混元也積極發(fā)展多模態(tài)模型，以進(jìn)一步加強(qiáng)文生圖和文生視訊能力。

騰訊大量的應(yīng)用場景，為騰訊 Angel 機(jī)器學(xué)習(xí)平臺的落地提供了實驗地。除了騰訊混元大模型，騰訊 Angel 機(jī)器學(xué)習(xí)平臺也支援了騰訊廣告以及騰訊會議等產(chǎn)品，並透過騰訊雲(yún)端服務(wù)多個產(chǎn)業(yè)和企業(yè)客戶，協(xié)助各行各業(yè)的數(shù)位化和智慧化發(fā)展。

以騰訊廣告為例，採用騰訊Angel 機(jī)器學(xué)習(xí)平分散式訓(xùn)練優(yōu)化、多模態(tài)理解圖資料探勘等創(chuàng)新技術(shù)，廣告業(yè)務(wù)場景中的多模態(tài)大模型訓(xùn)練速度提升5 倍，模型規(guī)模提升10 倍，實現(xiàn)廣告回想率大幅提升。

以上是來自科技進(jìn)步一等獎的肯定：騰訊破解萬億參數(shù)大模型訓(xùn)練難題的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！