生成式AI（AIGC）開啟了人工智慧通用化的新紀(jì)元，圍繞大模型的百舸爭流蔚為壯觀，算力基礎(chǔ)設(shè)施是首要的競逐焦點(diǎn)，而存力覺醒也日益成為業(yè)界共識。

在新的時(shí)代，大模型從單模態(tài)走向多模態(tài)，參數(shù)和訓(xùn)練資料集的規(guī)模呈幾何級數(shù)增長，海量的非結(jié)構(gòu)化資料需要高性能混合負(fù)載能力的支撐；同時(shí)，資料密集型範(fàn)式大行其道，超算、高效能運(yùn)算（HPC）等應(yīng)用場景邁向縱深，既有的資料儲存基座已難以滿足不斷升級的需求。

如果說算力、演算法、數(shù)據(jù)是驅(qū)動人工智慧發(fā)展的“三駕馬車”，那麼在外部環(huán)境發(fā)生巨大變化的背景下，三者亟需重新達(dá)成動態(tài)的平衡。演算法模型完善帶來的「軟實(shí)力」提升，算力供給優(yōu)化引發(fā)的「硬實(shí)力」增強(qiáng)，需要進(jìn)一步的加持－資料傳輸?shù)摹高\(yùn)力」和資料儲存的「存力」即是尚待改進(jìn)的動力來源，新型的資料儲存基座將在應(yīng)對諸多挑戰(zhàn)的過程中破繭成蝶。

需求複雜且持續(xù)進(jìn)化的應(yīng)用場景，是資料儲存新基座最好的試金石。從這個(gè)意義上講，教科研產(chǎn)業(yè)就是其中的典型代表：算力與資料是該領(lǐng)域數(shù)位轉(zhuǎn)型的關(guān)鍵要素，學(xué)科融合的科學(xué)研究運(yùn)算與基於資料的決策支援同等重要。從HPC邁向HPDA(高效能資料分析）是改善教學(xué)及科研效率的一大步，而AI的賦能則有助於解決過往算不了、算不準(zhǔn)、算不動的難題。

在近日舉辦的2023世界人工智慧大會上，華為OceanStor Pacific分散式儲存輔助上海交通大學(xué)建構(gòu)的HPC AI存力底座正式上線，「交我算」統(tǒng)一資料基座將在今年再擴(kuò)充25PB，其可望成為教科研數(shù)位化、智慧轉(zhuǎn)型的新標(biāo)桿，也為資料儲存新基座的探索之旅樹立了里程碑。

數(shù)據(jù)與算力的關(guān)係演變與衍生挑戰(zhàn)

伴隨千行百業(yè)的數(shù)位轉(zhuǎn)型進(jìn)入深水區(qū)，以及人工智慧、大數(shù)據(jù)等新興技術(shù)的協(xié)同爆發(fā)，數(shù)據(jù)與算力的關(guān)係正在發(fā)生微妙的變化。

教科研領(lǐng)域身處數(shù)位經(jīng)濟(jì)的風(fēng)口浪尖，對此變化頗為敏感。過去，數(shù)據(jù)必須跟著算力跑。為了應(yīng)對複雜科學(xué)和工程問題的快速數(shù)值求解，教科研界在很長一段時(shí)間裡更專注於如何打造最強(qiáng)大的算力，而數(shù)據(jù)僅作為算力的配套設(shè)施來考慮。

如今，「算力圍著資料轉(zhuǎn)」逐漸成為新的趨勢。新興應(yīng)用的湧現(xiàn)、資料量體的膨脹、資料安全問題的凸顯，讓資料本身的價(jià)值備受重視。基於AI、大數(shù)據(jù)等技術(shù)的突破，傳統(tǒng)超算正向資料密集型超算演變，多元異質(zhì)算力需要圍繞同一個(gè)資料儲存基座進(jìn)行建構(gòu)。

上海交通大學(xué)網(wǎng)路資訊中心副主任林新華認(rèn)為，數(shù)據(jù)與算力的主導(dǎo)權(quán)發(fā)生逆轉(zhuǎn)，既是建設(shè)數(shù)據(jù)密集型超算平臺的契機(jī)，也為統(tǒng)一數(shù)據(jù)存儲基座的構(gòu)建帶來不少新的挑戰(zhàn)。

首先是資料爆發(fā)式成長，對儲存容量的需求顯著提高。根據(jù)統(tǒng)計(jì)，「交我算」平臺的資料規(guī)模成長幅度達(dá)到每年7PB，氣像海洋、能源探勘、衛(wèi)星遙感、基因定序、冷凍電鏡、AI自動駕駛、製造CAE、動畫渲染等應(yīng)用情境的資料量都達(dá)到PB級，用一套資料基礎(chǔ)設(shè)施容納如此龐大的資料量殊為不易。

其次是新業(yè)務(wù)不斷湧現(xiàn)，對儲存效能要求更高。 AI通用化進(jìn)程的提速，特別是大模型、多模態(tài)的批量輸出，對IO性能構(gòu)成嚴(yán)峻挑戰(zhàn)。在百TB級資料集成為常態(tài)的情況下，自然語言處理、多模態(tài)應(yīng)用加劇了資料量的增速，小檔案訓(xùn)練資料集的高效存取更要求儲存效能再上新臺階。

再次，跨校區(qū)多叢集儲存共用，資料在異質(zhì)叢集間的流動可能造成資料遺失、運(yùn)作緩慢等問題。 「交我算」平臺提供多種異質(zhì)算力，擁有ARM叢集、X86叢集以及AI叢集等。在眾多集群中，只有做到全數(shù)據(jù)流動和數(shù)據(jù)融合，才能釋放算力和數(shù)據(jù)的最大價(jià)值。

最後，傳統(tǒng)AI本地盤訓(xùn)練，伴隨高並發(fā)資料分析，打破IO牆迫在眉睫。資料多次搬遷過程中的IO瓶頸非常突出－傳統(tǒng)的讀寫流程冗長，載入資料涉及三次資料搬遷，checkpoint也有兩次資料搬遷，其間產(chǎn)生的效率損失不容忽視。

分散式儲存統(tǒng)一融合資料基座的突圍路徑

為了因應(yīng)上述挑戰(zhàn)，自2019年起，上海交通大學(xué)與華為儲存展開深度合作，共同打造「交我算」資料密集型超算平臺。依託在技術(shù)與應(yīng)用創(chuàng)新上的深厚積累，華為OceanStor Pacific分散式儲存產(chǎn)品協(xié)助「交我算」建構(gòu)統(tǒng)一資料基座，支撐起全校多種異質(zhì)算力平臺。

建構(gòu)分散式統(tǒng)一融合資料基座，是「交我算」擁抱新興資料應(yīng)用的必經(jīng)之路?；稒M向擴(kuò)展分散式儲存架構(gòu)，「交我算」平臺的儲存容量和頻寬可按需擴(kuò)充。一是性能容量線性成長，單集群可達(dá)EB級容量；二是藉助高密大容量硬件，節(jié)省機(jī)櫃空間；三是採用大比例EC，以場景化壓縮提升磁碟利用率。

據(jù)了解，「交我算」平臺從初始的2PB容量、6GB/s頻寬，到2020年增至20PB容量、60GB/s頻寬，2022年又?jǐn)U容至40PB容量、120GB/s頻寬，預(yù)計(jì)2023年容量將再擴(kuò)充25PB。同時(shí)，華為OceanStor Pacific分散式儲存擁有5U 120碟位的超高密設(shè)計(jì)，結(jié)合超大比例EC資料冗餘保護(hù)演算法，在滿足高可靠性的基礎(chǔ)上將硬碟空間利用率提升至91.6%。

分散式全閃硬體加持是「交我算」應(yīng)對儲存效能難題的基石。在華為OceanStor Pacific的助力下，「交我算」平臺採用全閃硬體加速，大幅提升頻寬與IOPS效能，每節(jié)點(diǎn)80萬IOPS、頻寬20GB/S能夠滿足混合負(fù)載條件下的高效能需求。

全域分散式儲存跨校區(qū)統(tǒng)一管理是「交我算」解決多叢集儲存共用難題的良方。透過採用全域檔案系統(tǒng)跨域多套儲存管理的方式，「交我算」平臺建構(gòu)起跨校區(qū)的統(tǒng)一資料基座，在華為OceanStor Pacific分散式儲存產(chǎn)品的支撐下，達(dá)成全域檔案視圖、資料管理與調(diào)度、全域資料流動、統(tǒng)一串流元資料等多重目標(biāo)。

資料分析加速、多種協(xié)定存取無損互通、免搬遷高效用是「交我算」打破IO牆的利器。基於華為面向AI的儲存方案，以及華為OceanStor Pacific分散式儲存「一份數(shù)據(jù)，多種協(xié)議存取」的能力，「交我算」平臺實(shí)現(xiàn)外部儲存減少數(shù)據(jù)搬遷，並大幅提升分析效率、節(jié)省存儲空間。

大模型時(shí)代HPDA AI的未來圖像

透過「交我算」平臺攜手華為儲存打造分散式統(tǒng)一融合資料新基座的演進(jìn)軌跡，不難看出資料密集場景正在加速進(jìn)化。

從早期的HPC到後來的HPDA，再到HPDA AI的比翼齊飛，教科研產(chǎn)業(yè)的應(yīng)用場景不斷豐富，對儲存產(chǎn)品和資料基座的需求也持續(xù)躍遷。事實(shí)上，教科研只是千行百業(yè)數(shù)位化進(jìn)程的冰山一角，資料儲存的大時(shí)代已呼嘯而來。

大模型時(shí)代的到來，將進(jìn)一步重塑包括存力在內(nèi)的IT基礎(chǔ)設(shè)施，帶有嶄新AI基因的儲存產(chǎn)品有望成為產(chǎn)業(yè)數(shù)位化升級的新寵。 7月14日，主題為「資料新典範(fàn) 釋放AI新動能」的大模型時(shí)代華為AI儲存新品發(fā)表會將在線上舉行。無論您正在企業(yè)內(nèi)部署AI，或是讓開發(fā)的應(yīng)用具備AI能力，此次發(fā)表的方案都將提供更優(yōu)的技術(shù)架構(gòu)與產(chǎn)品，幫助您踏準(zhǔn)時(shí)代的節(jié)拍。

人工智慧通用化的大幕已經(jīng)開啟，儲存產(chǎn)業(yè)的領(lǐng)頭羊率先吹響了衝鋒的號角，後面的每一個(gè)樂章都值得期待。

以上是AI大模型時(shí)代，資料儲存新基座助推教科學(xué)研究數(shù)智化躍遷的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！