檢測人工智能生成的文本已成為一個熱門話題，研究人員和從業(yè)者對其可行性和倫理影響進(jìn)行了爭論。隨著模型變得越來越復(fù)雜，區(qū)分人類編寫的文本和人工智能生成的文本既成為一項(xiàng)令人興奮的挑戰(zhàn)，也成為一項(xiàng)迫切的需求。

在這篇文章中，我們將探索如何利用 DSPy 的優(yōu)化功能，使用包含 139 萬個文本樣本的迷人數(shù)據(jù)集來微調(diào) OpenAI 的 GPT-4o-mini 以完成此任務(wù)。最后，您將了解如何使用 DSPy 實(shí)現(xiàn)、評估和優(yōu)化基本的 AI 文本檢測器，無需手動提示工程。

---

數(shù)據(jù)集加載

首先，讓我們加載數(shù)據(jù)集，其中包含標(biāo)記為人類編寫或人工智能從各種人類和法學(xué)碩士來源生成的文本樣本。首先，請確保您已安裝 Python 3，以及 DSPy 和擁抱面部數(shù)據(jù)集庫：

pip install dspy datasets

數(shù)據(jù)集大小約為 2GB，因此根據(jù)您的互聯(lián)網(wǎng)速度，此步驟可能需要幾分鐘。

以下是均勻加載和分割數(shù)據(jù)集以進(jìn)行訓(xùn)練和測試的代碼：

from datasets import load_dataset

# Load the dataset
ds = load_dataset("artem9k/ai-text-detection-pile", split="train")

# For simplicity, we’ll do an even split of data for testing and training
NUM_EXAMPLES = 80  # Adjust this to experiment with dataset size
ds = ds.train_test_split(test_size=NUM_EXAMPLES, train_size=NUM_EXAMPLES)

提示：您可以調(diào)整 NUM_EXAMPLES 來試驗(yàn)更大的數(shù)據(jù)集或降低運(yùn)行優(yōu)化時的成本。

---

模型設(shè)置

接下來，我們將使用 OpenAI 的 GPT-4o-mini 創(chuàng)建一個基本的 DSPy 預(yù)測器。 GPT-4o-mini 是 OpenAI GPT-4o 模型的輕量級版本，使其實(shí)驗(yàn)成本高效。 DSPy 通過使用簽名（定義結(jié)構(gòu)化輸入輸出映射）來簡化此過程。

在運(yùn)行代碼之前將“YOUR_API_KEY”替換為您的 OpenAI API 密鑰：

import dspy
from typing import Literal

# Initialize the OpenAI GPT-4o-mini model
lm = dspy.LM('openai/gpt-4o-mini', api_key="YOUR_API_KEY")
dspy.configure(lm=lm, experimental=True)

# Define the AI text detector signature
class DetectAiText(dspy.Signature):
    """Classify text as written by human or by AI."""
    text: str = dspy.InputField()
    source: Literal['ai', 'human'] = dspy.OutputField()

# Create a basic predictor
detector = dspy.Predict(DetectAiText)

請注意，我們在這里沒有進(jìn)行任何提示工程。相反，我們依靠 DSPy 來處理這個問題，以及自動的輸入輸出關(guān)系。

您可以使用一些示例輸入來測試“檢測器”：

print(detector(text="Hello world (this definitely wasn't written by AI)"))

預(yù)測將出現(xiàn)在輸出的“源”字段中。

---

評估探測器

現(xiàn)在我們有了一個基本的檢測器，讓我們使用 DSPy 的評估工具評估其性能。為此，我們將定義一個簡單的指標(biāo)來檢查模型是否正確預(yù)測文本的來源（人類或人工智能）。

這是設(shè)置和運(yùn)行評估的代碼：

from dspy.evaluate import Evaluate

# Define a simple evaluation metric
def validate_text_source(example: dspy.Example, pred, trace=None) -> int:
    return 1 if example.source.lower() == pred.source.lower() else 0

# Transform the dataset into DSPy-compatible "Example" objects
dspy_trainset = [
    dspy.Example(source=x['source'], text=x['text']).with_inputs('text') for x in ds['train']
]
dspy_devset = [
    dspy.Example(source=x['source'], text=x['text']).with_inputs('text') for x in ds['test']
]

# Evaluate the detector
evaluator = Evaluate(devset=dspy_devset, num_threads=12)  # Adjust threads based on your system
evaluator(detector, metric=validate_text_source)

在最初的測試中，我的準(zhǔn)確率達(dá)到了 76%–81%。請注意，由于數(shù)據(jù)集的隨機(jī)采樣，結(jié)果可能會有所不同。

---

使用 DSPy 進(jìn)行優(yōu)化

DSPy 的真正強(qiáng)大之處在于它的優(yōu)化能力。通過使用 MIPROv2 優(yōu)化器，我們可以提高檢測器的性能，而無需手動調(diào)整提示。優(yōu)化器使用少量示例、動態(tài)模板和自我監(jiān)督技術(shù)自動執(zhí)行此過程。

以下是設(shè)置和運(yùn)行優(yōu)化器的方法：

pip install dspy datasets

注意：對于 80 個示例的數(shù)據(jù)集，使用“l(fā)ight”預(yù)設(shè)運(yùn)行單次優(yōu)化的成本通常低于 0.50 美元。

---

結(jié)果和迭代

運(yùn)行優(yōu)化后，我觀察到性能顯著提升。與基線的 76%–81% 相比，我的第一次運(yùn)行的準(zhǔn)確率達(dá)到了 91.25%。隨后的運(yùn)行范圍在 81.2% 和 91.25% 之間，證明了以最小的努力實(shí)現(xiàn)了一致的改進(jìn)。

加載優(yōu)化模型以供進(jìn)一步使用：

from datasets import load_dataset

# Load the dataset
ds = load_dataset("artem9k/ai-text-detection-pile", split="train")

# For simplicity, we’ll do an even split of data for testing and training
NUM_EXAMPLES = 80  # Adjust this to experiment with dataset size
ds = ds.train_test_split(test_size=NUM_EXAMPLES, train_size=NUM_EXAMPLES)

您可以通過以下方式進(jìn)一步迭代：

• 調(diào)整優(yōu)化器的自動參數(shù)（輕、中、重），或自行設(shè)置超參數(shù)。
• 增加訓(xùn)練和評估的數(shù)據(jù)集大小。
• 使用更高級或更新的法學(xué)碩士進(jìn)行測試。

---

結(jié)論

只需幾個步驟，我們就演示了 DSPy 如何簡化現(xiàn)實(shí)用例的 LLM 優(yōu)化。在沒有任何手動提示工程的情況下，我們在檢測人工智能生成的文本方面取得了顯著的進(jìn)步。雖然該模型并不完美，但 DSPy 的靈活性允許持續(xù)迭代，使其成為可擴(kuò)展 AI 開發(fā)的寶貴工具。

我強(qiáng)烈建議通讀 DSPy 的文檔并嘗試其他優(yōu)化器和 LLM 模式。

---

完整代碼可在 GitHub 上獲取。

有問題嗎？評論？讓我知道，我期待看到您使用 DSPy 構(gòu)建的內(nèi)容！

你可以在 LinkedIn 上找到我 |首席技術(shù)官兼合伙人@EES。

以上是優(yōu)化 OpenAI 的 GPT-mini 以使用 DSPy 檢測 AI 生成的文本的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！