上個(gè)月，Meta 發(fā)布了Llama 3.1 系列模型，其中包括Meta 迄今為止最大的405B 模型，以及兩個(gè)較小的模型，參數(shù)量分別為700億和80 億。

Llama 3.1 被認(rèn)為是引領(lǐng)了開(kāi)源新時(shí)代。然而，新一代的模型雖然效能強(qiáng)大，但部署時(shí)仍需要大量運(yùn)算資源。

因此，業(yè)界出現(xiàn)了另一種趨勢(shì)，即開(kāi)發(fā)小型語(yǔ)言模型 (SLM)，這種模型在許多語(yǔ)言任務(wù)中表現(xiàn)足夠出色，部署起來(lái)也非常便宜。

最近，英偉達(dá)研究表明，結(jié)構(gòu)化權(quán)重剪枝與知識(shí)蒸餾相結(jié)合，可以從初始較大的模型中逐步獲得較小的語(yǔ)言模型。

^{? ? ? ? ? ? ? ? ?.}

經(jīng)過(guò)剪枝和蒸餾，英偉達(dá)研究團(tuán)隊(duì)將 Llama 3.1 8B 提煉為 Llama-3.1-Minitron 4B 開(kāi)源了出來(lái)。這是英偉達(dá)在 Llama 3.1 開(kāi)源系列中的第一個(gè)作品。

Llama-3.1-Minitron 4B 的表現(xiàn)優(yōu)於類(lèi)似大小的最先進(jìn)的開(kāi)源模型，包括 Minitron 4B、Phi-2 2.7B、Gemma2 2.6B 和 Qwen2-1.5B。

這項(xiàng)研究的相關(guān)論文早在上個(gè)月就已經(jīng)放出了。

• 論文連結(jié)：https://www.arxiv.org/pdf/2407.14679

• 論文

  論文標(biāo)題：Compact Language Models via Pruning and Knowledge Distillation

剪枝和蒸餾

剪枝使模型變得更小、更簡(jiǎn)，可以透過(guò)刪除層（深度剪枝）或刪除神經(jīng)元和注意力頭以及嵌入通道（寬度剪枝）來(lái)實(shí)現(xiàn)。剪枝通常伴隨著一定程度的再訓(xùn)練，以恢復(fù)準(zhǔn)確率。

模型蒸餾是一種將知識(shí)從大型複雜模型（通常稱(chēng)為教師模型）遷移到較小、較簡(jiǎn)單的學(xué)生模型的技術(shù)。目標(biāo)是創(chuàng)建一個(gè)更有效率的模型，該模型保留了原始較大模型的大部分預(yù)測(cè)能力，同時(shí)運(yùn)行速度更快且資源消耗更少。

蒸餾方式主要包括兩種：SDG 微調(diào)與經(jīng)典知識(shí)蒸餾，兩種蒸餾方式互補(bǔ)。本文主要關(guān)注經(jīng)典知識(shí)蒸餾方法。

英偉達(dá)採(cǎi)用將剪枝與經(jīng)典知識(shí)蒸餾相結(jié)合的方式來(lái)構(gòu)造大模型，下圖展示了單一模型的剪枝和蒸餾過(guò)程（上）以及模型剪枝和蒸餾的鏈條（下） 。具體過(guò)程如下：

1. 英偉達(dá)從15B 模型開(kāi)始，評(píng)估每個(gè)組件（層、神經(jīng)元、頭和嵌入通道）的重要性，然後對(duì)模型進(jìn)行排序和剪枝，使其達(dá)到目標(biāo)大?。?B 模型。

2. 接著使用模型蒸餾進(jìn)行了輕度再訓(xùn)練，原始模型作為老師，剪枝後的模型作為學(xué)生。

3. 訓(xùn)練結(jié)束後，以小模型（8B）為起點(diǎn)，剪枝和蒸餾為較小的 4B 模型。

^{? ? ? ? ? ? ? ? ?? ?? ?}

需要注意的點(diǎn)是，在對(duì)模型剪枝之前，需要先了解模型的哪部分是重要的。英偉達(dá)提出了一種基於激活的純重要性評(píng)估策略，該策略可以同時(shí)計(jì)算所有相關(guān)維度（深度、神經(jīng)元、頭和嵌入通道）的信息，使用一個(gè)包含1024 個(gè)樣本的小型校準(zhǔn)數(shù)據(jù)集，並且只需要前向傳播。這種方法相比依賴(lài)梯度資訊並需要反向傳播的策略更加簡(jiǎn)單且具有成本效益。?

在剪枝過(guò)程中，你可以針對(duì)給定軸或軸組合在剪枝和重要性估計(jì)之間進(jìn)行迭代交替。實(shí)證研究顯示，使用單次重要性估計(jì)就足夠了，迭代估計(jì)不會(huì)帶來(lái)額外的好處。

利用經(jīng)典知識(shí)蒸餾進(jìn)行再訓(xùn)練

下圖 2 展示了蒸餾過(guò)程，其中 N 層學(xué)生模型（剪枝後的模型）是從 M 層教師模型中（原始未剪枝模型）蒸餾而來(lái)。學(xué)生模型透過(guò)最小化嵌入輸出損失、logit 損失以及映射到學(xué)生區(qū)塊 S 和教師區(qū)塊 T 的 Transformer 編碼器特定損失組合來(lái)學(xué)習(xí)。

^{? ? ? ? ? ? ? ? ? ? ?? ?}

剪枝和蒸餾最佳實(shí)踐

英偉達(dá)基於緊湊語(yǔ)言模型中剪枝和知識(shí)蒸餾的廣泛消融研究，將自己的學(xué)習(xí)成果總結(jié)為以下幾種結(jié)構(gòu)化壓縮最佳實(shí)務(wù)。

一是調(diào)整大小。

• 要訓(xùn)練一組 LLM，先訓(xùn)練最大的一個(gè)，然後迭代地剪枝和蒸餾以獲得較小的 LLM。

• 如果使用多階段訓(xùn)練策略來(lái)訓(xùn)練最大的模型，最好剪枝並對(duì)訓(xùn)練最後階段獲得的模型進(jìn)行重新訓(xùn)練。

• 對(duì)最接近目標(biāo)大小的可用來(lái)源模型進(jìn)行剪枝。

二是剪枝。

• 優(yōu)先考慮寬度剪枝而不是深度剪枝，這對(duì)於 15B 參數(shù)規(guī)模以下的模型效果很好。

• 使用單一樣本（single-shot）重要性估計(jì)，因?yàn)榈匾怨烙?jì)沒(méi)有任何好處。

三是重新訓(xùn)練。

• 僅使用蒸餾損失進(jìn)行重新訓(xùn)練，而不是常規(guī)訓(xùn)練。

• 當(dāng)深度明顯減少時(shí)，使用 logit、中間狀態(tài)和嵌入蒸餾。

• 當(dāng)深度沒(méi)有明顯減少時(shí)，使用 logit-only 蒸餾。

Llama-3.1-Minitron：將最佳實(shí)踐付諸應(yīng)用

Meta 最近推出了強(qiáng)大的Llama 3.1 開(kāi)源模型系列，在許多基準(zhǔn)測(cè)試中可與閉源模型相媲美。 Llama 3.1 的參數(shù)範(fàn)圍從巨大的 405B 到 70B、8B。

憑藉Nemotron 蒸餾的經(jīng)驗(yàn)，英偉達(dá)著手將Llama 3.1 8B 模型蒸餾為更小、更高效的4B 模型，採(cǎi)取以下措施：

• 教師微調(diào)

• 教師微調(diào)

  教師微調(diào)
教師微調(diào)

• Depth-only 剪枝

• Width-only 剪枝

• 準(zhǔn)確率基準(zhǔn)

準(zhǔn)確率基準(zhǔn)

效能基準(zhǔn)

為了修正模型訓(xùn)練所基於的原始資料集的分佈偏差，英偉達(dá)首先在他們的資料集上（94B token）對(duì)未剪枝的8B 模型進(jìn)行了微調(diào)。實(shí)驗(yàn)表明，如果不糾正分佈偏差，教師模型在蒸餾時(shí)會(huì)為數(shù)據(jù)集提供次優(yōu)指導(dǎo)。

Depth-only 剪枝

為了從 8B 降到 4B，英偉達(dá)剪枝了 16 層（50%）。他們首先透過(guò)從模型中刪除每個(gè)層或連續(xù)子層組來(lái)評(píng)估它們的重要性，並觀察下游任務(wù)中 LM 損失的增加或準(zhǔn)確率的降低。 下圖 5 顯示了刪除 1、2、8 或 16 層後驗(yàn)證集上的 LM 損失值。例如，第 16 層的紅色圖表示如果刪除前 16 層，則出現(xiàn) LM 損失。第 17 層表示如果保留第一層並刪除第 2 至第 17 層，也會(huì)出現(xiàn) LM 損失。英偉達(dá)觀察到：開(kāi)始和結(jié)束的層是最重要的。

? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ?

然而，英偉達(dá)觀察到，這種 LM 損失不一定與下游表現(xiàn)直接相關(guān)。 下圖6 顯示了每個(gè)剪枝模型的Winogrande 準(zhǔn)確率，它顯示最好刪除第16 到第31 層，其中第31 層是倒數(shù)第二層，剪枝模型的5-shot準(zhǔn)確率明顯高於隨機(jī)準(zhǔn)確率(0.5)。英偉達(dá)採(cǎi)納了這項(xiàng)見(jiàn)解，刪除了第 16 到第 31 層。

? ? ? ? ? ? ? ? ? ? ?? ?

• Width-only 剪枝

英偉達(dá)沿寬度軸剪枝了嵌入（隱藏）和MLP 中間維，以壓縮Llama 3.1 8B 。具體來(lái)說(shuō)，他們使用前面描述的基於激活的策略來(lái)計(jì)算每個(gè)注意頭、嵌入通道和 MLP 隱藏維度的重要性分?jǐn)?shù)。

• 在重要性估計(jì)之後，英偉達(dá)選擇

• 將 MLP 中間維從 14336 剪枝到 9216。

  將隱藏大小從 4096 剪枝到 3072。 重新訓(xùn)練注意頭數(shù)量和層數(shù)。

值得一提的是，在單樣本剪枝之後，寬度剪枝的 LM 損失高於深度剪枝。然而，經(jīng)過(guò)短暫的重新訓(xùn)練後，趨勢(shì)發(fā)生了逆轉(zhuǎn)。

準(zhǔn)確率基準(zhǔn)

英偉達(dá)使用以下參數(shù)對(duì)模型進(jìn)行蒸餾

• 峰值學(xué)習(xí)率= 1e-4

• 最小學(xué)習(xí)率= 1e-5

• 40 步線(xiàn)性預(yù)熱

• 餘弦衰減計(jì)畫(huà)

• 全域批次大小= 1152

下表1 顯示了Llama-3.1-Minitron 4B 模型變體（寬度剪枝和深度剪枝）與原始Llama 3.1 8B 模型、其他類(lèi)似大小的模型在跨多個(gè)領(lǐng)域的基準(zhǔn)測(cè)試中的性能比較。整體而言，英偉達(dá)再次證實(shí)了寬度剪枝策略相較於遵循最佳實(shí)踐的深度剪枝的有效性。

^{? ? ? ? ? ? ? ? ? ? ?? ?}

為了驗(yàn)證蒸餾後的模型是否可以成為強(qiáng)大的指令模型，英偉達(dá)使用 NeMo-Aligner 對(duì) Llama-3.1-Minitron 4B 模型進(jìn)行了微調(diào)。

他們使用了Nemotron-4 340B 的訓(xùn)練數(shù)據(jù)，在IFEval、MT-Bench、ChatRAG-Bench 和Berkeley Function Calling Leaderboard (BFCL) 上進(jìn)行了評(píng)估，以測(cè)試指令遵循、角色扮演、RAG 和函數(shù)呼叫功能。最後確認(rèn) Llama-3.1-Minitron 4B 模型可以成為可靠的指令模型，其表現(xiàn)優(yōu)於其他基準(zhǔn) SLM。

^{? ? ? ? ? ? ? ? ? ? ?? base}

效能基準(zhǔn)

英偉達(dá)利用NVIDIA TensorRT-LLM（一種用於最佳化LLM 推理的開(kāi)源工具包）優(yōu)化了Llama 3.1 8B和Llama-3.1-Minitron 4B 模型。

下兩張圖顯示了不同模型在不同用例下以FP8 和FP16 精度每秒的吞吐量請(qǐng)求，表示為8B 模型的batch size 為32 的輸入序列長(zhǎng)度/ 輸出序列長(zhǎng)度(ISL/ OSL) 組合以及4B 模型的batch size 為64 的輸入序列長(zhǎng)度/ 輸出序列長(zhǎng)度(ISL/OSL) 組合，這要?dú)w功於在一塊英偉達(dá)H100 80GB GPU 上，較小的權(quán)重允許較大的batch size。

Llama-3.1-Minitron-4B-Depth-Base 變體是最快的，平均吞吐量約為L(zhǎng)lama 3.1 8B 的2.7 倍，而Llama-3.1-Minitron-4B-Width-Base 變體的平均吞吐量約為L(zhǎng)lama 3.1 8B 的1.8 倍。與 BF16 相比，在 FP8 中部署還可使這三種型號(hào)的效能提高約 1.3 倍。

^{? ? ? ? ?? ?32，Llama-3.1-Minitron 4B 型號(hào)為BS=64。1x H100 80GB GPU。}

結(jié)論

剪枝和經(jīng)典知識(shí)提煉是一種非常經(jīng)濟(jì)高效的方法，可以逐步獲得更小尺寸的LLM，與在所有領(lǐng)域從頭開(kāi)始訓(xùn)練相比，可實(shí)現(xiàn)更高的準(zhǔn)確性。與合成資料式微調(diào)或從頭開(kāi)始預(yù)訓(xùn)練相比，這是一種更有效且資料效率更高的方法。

Llama-3.1-Minitron 4B 是英偉達(dá)首次嘗試使用最先進(jìn)的開(kāi)源 Llama 3.1 系列完成的探索。要在 NVIDIA NeMo 中使用 Llama-3.1 的 SDG 微調(diào)，可參閱 GitHub 上的 /sdg-law-title-generation 部分。

有關(guān)更多信息，請(qǐng)參閱以下資源：

• https://arxiv.org/abs/2407.14679

• https://github.com/NVlabs/Minitron

• https://huggingface.co/nvidia/Llama-3.1-Minitron-4B-Width-Base

• https://huggingface.co/nvidia/Llama-3.1-Minitron-4B-Depth-Base

參考鏈接：

https://developer.nvidia.com/blog/how-to-prune-and-distill-llama-3-1-8b-to-an-nvidia-llama-3 -1-minitron-4b-model/

以上是英偉達(dá)玩轉(zhuǎn)剪枝、蒸餾：把Llama 3.1 8B參數(shù)減半，性能同尺寸更強(qiáng)的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！