>本教程展示了精神健康情感分析的Llama 3.1-8B-IT模型。 我們將自定義模型以預(yù)測文本數(shù)據(jù)中的患者心理健康狀況，將適配器與基本模型合併，並在擁抱面樞紐中部署完整的模型。 至關(guān)重要的是，請記住，在醫(yī)療保健中使用AI時，道德考慮是至關(guān)重要的。此示例僅用於說明目的。 >我們將使用Kaggle，使用Transformers庫進(jìn)行推理以及微調(diào)過程本身來介紹訪問Llama 3.1型號。 先前對LLM微調(diào)的理解（請參閱我們的“微調(diào)LLMS介紹性指南”）是有益的。

>由作者

圖像

理解Llama 3.1 Meta AI的多語言大語言模型（LLM）

Llama 3.1在語言理解和發(fā)電方面表現(xiàn)出色。 它提供8B，70B和405B參數(shù)版本，它建立在具有優(yōu)化變壓器的自動回歸體系結(jié)構(gòu)上。 經(jīng)過多種公共數(shù)據(jù)的培訓(xùn)，它支持八種語言，並擁有128K上下文長度。 它的商業(yè)許可證很容易獲得，並且在各種基準(zhǔn)測試中都優(yōu)於幾個競爭對手。

來源：Llama 3.1（Meta.com）

>

>在kaggle上訪問和使用Llama 3.1

我們將利用Kaggle的免費(fèi)GPU/TPU。 請按照以下步驟：

>在meta.com上註冊（使用您的kaggle電子郵件）。

> >訪問Llama 3.1 Kaggle存儲庫和請求模型訪問。 > >使用提供的“代碼”按鈕啟動Kaggle筆記本。

選擇您的首選型號版本，然後將其添加到筆記本上。

安裝必要的軟件包（

）。

1. 加載模型和令牌：
創(chuàng)建提示並運(yùn)行推斷：
5. %pip install -U transformers accelerate
6. 精神健康分類

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
import torch

base_model = "/kaggle/input/llama-3.1/transformers/8b-instruct/1"

tokenizer = AutoTokenizer.from_pretrained(base_model)
model = AutoModelForCausalLM.from_pretrained(base_model, return_dict=True, low_cpu_mem_usage=True, torch_dtype=torch.float16, device_map="auto", trust_remote_code=True)
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, torch_dtype=torch.float16, device_map="auto")

messages = [{"role": "user", "content": "What is the tallest building in the world?"}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=120, do_sample=True)
print(outputs[0]["generated_text"])

>設(shè)置：

>使用Llama 3.1啟動新的Kaggle筆記本，安裝必需的軟件包（，

，

，，，

，

），並添加“心理健康的情感分析”數(shù)據(jù)集。配置權(quán)重和偏見（使用您的API鍵）。

2. 數(shù)據(jù)處理：加載數(shù)據(jù)集，清潔它（刪除模棱兩可的類別：“自殺”，“壓力”，“人格障礙”），洗牌並分成培訓(xùn)，評估和測試集（使用3000個樣本提高效率）。 創(chuàng)建提示併入語句和標(biāo)籤。

   >

3. 模型加載：使用4位量化的記憶效率，加載Llama-3.1-8b-Insruct模型。加載令牌器並設(shè)置墊子令牌ID。

4. >>預(yù)先調(diào)整評估：創(chuàng)建功能以預(yù)測標(biāo)籤和評估模型性能（準(zhǔn)確性，分類報告，混淆矩陣）。 在微調(diào)之前評估模型的基線性能。

5. 微調(diào)：使用適當(dāng)?shù)膮?shù)配置lora。設(shè)置培訓(xùn)論點（根據(jù)您的環(huán)境根據(jù)需要進(jìn)行調(diào)整）。使用SFTTrainer訓(xùn)練模型。使用權(quán)重和偏見監(jiān)控進(jìn)度。

6. > 在調(diào)查後評估：

   在微調(diào)後重新評估模型的性能。

7. 合併並保存：PeftModel.from_pretrained()在新的kaggle筆記本中，使用model.merge_and_unload()和

   將微調(diào)適配器與基本模型合併。測試合併模型。保存並將最終型號和令牌推到擁抱的臉部集線器上。
>

/kaggle/input/...記住將佔位符（如

）替換為您的實際文件路徑。 完整的代碼和詳細(xì)說明可在原始響應(yīng)中提供。 該凝結(jié)版本提供了高級概述和密鑰代碼片段。 在使用敏感數(shù)據(jù)時，始終優(yōu)先考慮道德考慮。

以上是微調(diào)駱駝3.1用於文本分類的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！