>本教程展示了精神健康情感分析的Llama 3.1-8B-IT模型。 我們將自定義模型以預(yù)測(cè)文本數(shù)據(jù)中的患者心理健康狀況，將適配器與基本模型合并，并在擁抱面樞紐中部署完整的模型。 至關(guān)重要的是，請(qǐng)記住，在醫(yī)療保健中使用AI時(shí)，道德考慮是至關(guān)重要的。此示例僅用于說(shuō)明目的。 >我們將使用Kaggle，使用Transformers庫(kù)進(jìn)行推理以及微調(diào)過(guò)程本身來(lái)介紹訪問(wèn)Llama 3.1型號(hào)。 先前對(duì)LLM微調(diào)的理解（請(qǐng)參閱我們的“微調(diào)LLMS介紹性指南”）是有益的。

>由作者

圖像

理解Llama 3.1 Meta AI的多語(yǔ)言大語(yǔ)言模型（LLM）

Llama 3.1在語(yǔ)言理解和發(fā)電方面表現(xiàn)出色。 它提供8B，70B和405B參數(shù)版本，它建立在具有優(yōu)化變壓器的自動(dòng)回歸體系結(jié)構(gòu)上。 經(jīng)過(guò)多種公共數(shù)據(jù)的培訓(xùn)，它支持八種語(yǔ)言，并擁有128K上下文長(zhǎng)度。 它的商業(yè)許可證很容易獲得，并且在各種基準(zhǔn)測(cè)試中都優(yōu)于幾個(gè)競(jìng)爭(zhēng)對(duì)手。

來(lái)源：Llama 3.1（Meta.com）

>

>在kaggle上訪問(wèn)和使用Llama 3.1

我們將利用Kaggle的免費(fèi)GPU/TPU。 請(qǐng)按照以下步驟：

>在meta.com上注冊(cè)（使用您的kaggle電子郵件）。

> >訪問(wèn)Llama 3.1 Kaggle存儲(chǔ)庫(kù)和請(qǐng)求模型訪問(wèn)。> >使用提供的“代碼”按鈕啟動(dòng)Kaggle筆記本。

選擇您的首選型號(hào)版本，然后將其添加到筆記本上。

安裝必要的軟件包（

）。

1. 加載模型和令牌：
創(chuàng)建提示并運(yùn)行推斷：
5. %pip install -U transformers accelerate
6. 精神健康分類

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
import torch

base_model = "/kaggle/input/llama-3.1/transformers/8b-instruct/1"

tokenizer = AutoTokenizer.from_pretrained(base_model)
model = AutoModelForCausalLM.from_pretrained(base_model, return_dict=True, low_cpu_mem_usage=True, torch_dtype=torch.float16, device_map="auto", trust_remote_code=True)
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, torch_dtype=torch.float16, device_map="auto")

messages = [{"role": "user", "content": "What is the tallest building in the world?"}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=120, do_sample=True)
print(outputs[0]["generated_text"])

>設(shè)置：

>使用Llama 3.1啟動(dòng)新的Kaggle筆記本，安裝必需的軟件包（，

，

，，，

，

），并添加“心理健康的情感分析”數(shù)據(jù)集。配置權(quán)重和偏見(jiàn)（使用您的API鍵）。

2. 數(shù)據(jù)處理：加載數(shù)據(jù)集，清潔它（刪除模棱兩可的類別：“自殺”，“壓力”，“人格障礙”），洗牌并分成培訓(xùn)，評(píng)估和測(cè)試集（使用3000個(gè)樣本提高效率）。 創(chuàng)建提示并入語(yǔ)句和標(biāo)簽。

   >

3. 模型加載：使用4位量化的記憶效率，加載Llama-3.1-8b-Insruct模型。加載令牌器并設(shè)置墊子令牌ID。

4. >>預(yù)先調(diào)整評(píng)估：創(chuàng)建功能以預(yù)測(cè)標(biāo)簽和評(píng)估模型性能（準(zhǔn)確性，分類報(bào)告，混淆矩陣）。 在微調(diào)之前評(píng)估模型的基線性能。

5. 微調(diào)：使用適當(dāng)?shù)膮?shù)配置lora。設(shè)置培訓(xùn)論點(diǎn)（根據(jù)您的環(huán)境根據(jù)需要進(jìn)行調(diào)整）。使用SFTTrainer訓(xùn)練模型。使用權(quán)重和偏見(jiàn)監(jiān)控進(jìn)度。

6. > 在調(diào)查后評(píng)估：

   在微調(diào)后重新評(píng)估模型的性能。

7. 合并并保存：PeftModel.from_pretrained()在新的kaggle筆記本中，使用model.merge_and_unload()和

   將微調(diào)適配器與基本模型合并。測(cè)試合并模型。保存并將最終型號(hào)和令牌推到擁抱的臉部集線器上。
>

/kaggle/input/...記住將占位符（如

）替換為您的實(shí)際文件路徑。 完整的代碼和詳細(xì)說(shuō)明可在原始響應(yīng)中提供。 該凝結(jié)版本提供了高級(jí)概述和密鑰代碼片段。 在使用敏感數(shù)據(jù)時(shí)，始終優(yōu)先考慮道德考慮。

以上是微調(diào)駱駝3.1用于文本分類的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！