3. 解決方案概述

組件和技術(shù)

1. 用于微調(diào)的 Python

   • 常用庫（例如，Hugging Face Transformers、PyTorch）
   • 簡化了加載和調(diào)整預(yù)訓(xùn)練模型的過程

2. 用于集成的 .NET Core C#

   • 公開微調(diào)模型的后端服務(wù)或 API
   • 強(qiáng)類型語言，許多企業(yè)開發(fā)人員都很熟悉

3. Azure 服務(wù)

   • Azure 機(jī)器學(xué)習(xí) 用于訓(xùn)練和模型管理
   • Azure 存儲(chǔ) 用于數(shù)據(jù)和模型工件
   • Azure 應(yīng)用服務(wù) 或 Azure 函數(shù) 用于托管 .NET Core 應(yīng)用程序
   • Azure 密鑰保管庫（可選）用于保護(hù)憑據(jù)

4. 環(huán)境設(shè)置

先決條件

• Azure 訂閱: 需要?jiǎng)?chuàng)建機(jī)器學(xué)習(xí)工作區(qū)和應(yīng)用服務(wù)等資源。
• Python 3.8 : 在本地安裝，用于模型微調(diào)。
• .NET 6/7/8 SDK: 用于創(chuàng)建和運(yùn)行 .NET Core C# 應(yīng)用程序。
• Visual Studio 2022 或 Visual Studio Code: 建議使用的 IDE。
• Azure CLI: 用于通過終端配置和管理 Azure 服務(wù)。
• Docker（可選）：如果需要，可用于容器化您的應(yīng)用程序。

5. 使用 Python 進(jìn)行訓(xùn)練和微調(diào)

此示例使用 Hugging Face Transformers——這是最廣泛采用的 LLM 微調(diào)庫之一。

5.1 設(shè)置虛擬環(huán)境

<code>python -m venv venv
source venv/bin/activate  # 在 Windows 上：venv\Scripts\activate</code>

5.2 安裝依賴項(xiàng)

<code>pip install torch transformers azureml-sdk</code>

5.3 創(chuàng)建 Azure 機(jī)器學(xué)習(xí)工作區(qū)

1. 資源組 和 工作區(qū):

<code>   az group create --name LLMFinetuneRG --location eastus
   az ml workspace create --name LLMFinetuneWS --resource-group LLMFinetuneRG</code>

1. 配置本地環(huán)境以連接到工作區(qū)（使用 config.json 文件或環(huán)境變量）。

5.4 微調(diào)腳本 (train.py)

<code>import os
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer
from azureml.core import Workspace, Run

# 連接到 Azure ML
ws = Workspace.from_config()
run = Run.get_context()

model_name = "gpt2"  # 示例模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 加載自定義數(shù)據(jù)集（本地或來自 Azure 存儲(chǔ)）
# 示例：Azure ML 中的文本文件或數(shù)據(jù)集
train_texts = ["此處輸入您的特定領(lǐng)域文本..."]  # 簡化版
train_encodings = tokenizer(train_texts, truncation=True, padding=True)

class CustomDataset(torch.utils.data.Dataset):
    def __init__(self, encodings):
        self.encodings = encodings
    def __len__(self):
        return len(self.encodings["input_ids"])
    def __getitem__(self, idx):
        return {k: torch.tensor(v[idx]) for k, v in self.encodings.items()}

train_dataset = CustomDataset(train_encodings)

training_args = TrainingArguments(
    output_dir="./results",
    num_train_epochs=3,
    per_device_train_batch_size=2,
    save_steps=100,
    logging_steps=100
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
)

trainer.train()

# 保存微調(diào)后的模型
trainer.save_model("./fine_tuned_model")
tokenizer.save_pretrained("./fine_tuned_model")</code>

5.5 在 Azure 中注冊(cè)模型

<code>from azureml.core.model import Model

model = Model.register(
    workspace=ws,
    model_path="./fine_tuned_model",
    model_name="myFineTunedLLM"
)</code>

此時(shí)，您的微調(diào)模型已存儲(chǔ)在 Azure 機(jī)器學(xué)習(xí)中，方便訪問和版本控制。

6. 在 .NET Core 中集成微調(diào)后的模型

6.1 創(chuàng)建 .NET Core Web API 項(xiàng)目

<code>dotnet new webapi -n FineTunedLLMApi
cd FineTunedLLMApi</code>

6.2 添加依賴項(xiàng)

• HttpClient 用于調(diào)用 Azure 端點(diǎn)或本地推理 API
• Newtonsoft.Json（如果您更喜歡使用 JSON.NET 進(jìn)行序列化）
• Azure.Storage.Blobs 或 Azure.Identity 用于安全訪問 Azure 資源

<code>dotnet add package Microsoft.Extensions.Http
dotnet add package Microsoft.Azure.Storage.Blob
dotnet add package Newtonsoft.Json</code>

6.3 ModelConsumerService.cs

假設(shè)您已將微調(diào)后的模型部署為 Web 服務(wù)（例如，使用 Azure 容器實(shí)例或 Azure ML 中的自定義端點(diǎn)）。以下代碼段調(diào)用該服務(wù)以獲取完成結(jié)果。

<code>using Newtonsoft.Json;
using System.Net.Http;
using System.Text;
using System.Threading.Tasks;

public class ModelConsumerService
{
    private readonly HttpClient _httpClient;

    public ModelConsumerService(IHttpClientFactory httpClientFactory)
    {
        _httpClient = httpClientFactory.CreateClient("FineTunedModel");
    }

    public async Task<string> GetCompletionAsync(string prompt)
    {
        var requestBody = new { prompt = prompt };
        var content = new StringContent(
            JsonConvert.SerializeObject(requestBody),
            Encoding.UTF8, 
            "application/json");

        var response = await _httpClient.PostAsync("/predict", content);
        response.EnsureSuccessStatusCode();
        return await response.Content.ReadAsStringAsync();
    }
}</code>

6.4 LLMController.cs

<code>using Microsoft.AspNetCore.Mvc;
using System.Threading.Tasks;

[ApiController]
[Route("[controller]")]
public class LLMController : ControllerBase
{
    private readonly ModelConsumerService _modelService;

    public LLMController(ModelConsumerService modelService)
    {
        _modelService = modelService;
    }

    [HttpPost("complete")]
    public async Task<IActionResult> CompletePrompt([FromBody] PromptRequest request)
    {
        var result = await _modelService.GetCompletionAsync(request.Prompt);
        return Ok(new { Completion = result });
    }
}

public class PromptRequest
{
    public string Prompt { get; set; }
}</code>

6.5 配置 .NET Core 應(yīng)用程序

在 Program.cs 或 Startup.cs 中：

<code>var builder = WebApplication.CreateBuilder(args);

// 注冊(cè) HttpClient
builder.Services.AddHttpClient("FineTunedModel", client =>
{
    client.BaseAddress = new Uri("https://your-model-endpoint/");
});

// 注冊(cè) ModelConsumerService
builder.Services.AddTransient<ModelConsumerService>();

builder.Services.AddControllers();
var app = builder.Build();

app.MapControllers();
app.Run();</code>

7. 部署到 Azure

8. Azure 應(yīng)用服務(wù):

   • 對(duì)于許多 .NET Core 應(yīng)用程序來說，這是最簡單的途徑。
   • 從 Azure 門戶或通過 CLI 創(chuàng)建新的 Web 應(yīng)用。

<code>python -m venv venv
source venv/bin/activate  # 在 Windows 上：venv\Scripts\activate</code>

1. Azure 函數(shù)（可選）：

   • 如果您的使用是間歇性的或計(jì)劃性的，則非常適合運(yùn)行無服務(wù)器、事件驅(qū)動(dòng)的邏輯。

2. Azure Kubernetes 服務(wù) (AKS)（高級(jí)）：

   • 非常適合大規(guī)模部署。
   • 使用 Docker 容器化您的應(yīng)用程序并將其推送到 Azure 容器注冊(cè)表 (ACR)。

8. 最佳實(shí)踐

9. 數(shù)據(jù)隱私: 確保負(fù)責(zé)任地處理敏感或?qū)Ｓ袛?shù)據(jù)，尤其是在模型訓(xùn)練期間。

10. 監(jiān)控和日志記錄: 集成 Azure Application Insights 以監(jiān)控性能、跟蹤使用情況并檢測(cè)異常。

11. 安全性: 使用 Azure 密鑰保管庫 來存儲(chǔ)密鑰（API 密鑰、連接字符串）。

12. 模型版本控制: 跟蹤 Azure ML 中不同微調(diào)版本的模型；如果需要，回滾到舊版本。

13. 提示工程: 完善您的提示以從微調(diào)后的模型中獲得最佳結(jié)果。

9. 結(jié)論

使用 Python 和 Azure 機(jī)器學(xué)習(xí) 微調(diào) LLM，然后將它們集成到 .NET Core 應(yīng)用程序中，使您可以構(gòu)建強(qiáng)大的特定領(lǐng)域 AI 解決方案。對(duì)于尋求利用 Python 的 AI 生態(tài)系統(tǒng)和 .NET 的企業(yè)功能的組織來說，這種組合是一個(gè)極好的選擇，所有這些都由 Azure 的可擴(kuò)展性提供支持。

通過仔細(xì)規(guī)劃安全、數(shù)據(jù)治理和 DevOps，您可以推出一個(gè)滿足現(xiàn)實(shí)世界需求的生產(chǎn)就緒型解決方案，在強(qiáng)大且易于維護(hù)的框架中提供準(zhǔn)確的特定領(lǐng)域語言功能。

以上是使用 .NET Core、Python 和 Azure 微調(diào)大型語言模型 (LLM)的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！