基於大模型的持續(xù)最佳化，LLM智能體－這些強大的演算法實體已經(jīng)展現(xiàn)出解決複雜多步驟推理任務(wù)的潛力。從自然語言處理到深度學習，LLM智能體正逐漸成為研究和工業(yè)界的焦點，它們不僅能理解和生成人類語言，還能在多樣的環(huán)境中製定策略、執(zhí)行任務(wù)，甚至使用API??調(diào)用和編碼來建置解決方案。

在這種背景下，AgentQuest框架的提出具有里程碑意義，它不僅僅是一個LLM智能體的評估和進步提供了一個模組化的基準測試平臺，而且通過其易於擴展的API，為研究人員提供了一個強大的工具，以更細緻地追蹤和改進這些智能體的性能。 AgentQuest的核心在於其創(chuàng)新的評估指標—進展率和重複率，它們能夠揭示智能體在解決任務(wù)過程中的行為模式，從而指導(dǎo)架構(gòu)的最佳化和調(diào)整。

《AgentQuest: A Modular Benchmark Framework to Measure Progress and Improve LLM Agents》是由一支多元化的研究團隊撰寫的，他們來自於NEC歐洲實驗室、都靈理工大學和聖西里爾與美多德大學。這篇論文將在計算語言學協(xié)會北美分會2024年會議（NAACL-HLT 2024）上展示，這標誌著該團隊在人類語言技術(shù)領(lǐng)域的研究成果得到了同行的認可，這不僅是對AgentQuest框架的價值的認可，也是對LLM智能體未來發(fā)展?jié)摿Φ目隙ā?

AgentQuest架構(gòu)作為衡量和改進大型語言模型（LLM）智能體能力的工具，其主要貢獻在於提供了一個模組化、可擴展的基準測試平臺。這個平臺不僅能夠評估智能體在特定任務(wù)上的表現(xiàn)，也能夠透過展示智能體在解決問題過程中的行為模式，揭示智能體在解決問題過程中的行為模式。 AgentQuest的優(yōu)點在於其靈活性和開放性，使得研究人員可以根據(jù)自己的需求客製化基準測試，從而推動LLM智能體技術(shù)的發(fā)展。

AgentQuest架構(gòu)概述

AgentQuest架構(gòu)是一個創(chuàng)新的研究工具，旨在衡量和改進大規(guī)模語言模型（LLM）智能體的性能。它透過提供一個系列模組化的基準測試和評估指標，使研究人員能夠系統(tǒng)地追蹤智能體在執(zhí)行複雜任務(wù)時的進展，並識別改進的潛在領(lǐng)域。

AgentQuest是一個支援多種基準測試和代理架構(gòu)的模組化框架，它引入了兩個新的指標——進展率和重複率——來評估代理架構(gòu)的行為。這個框架定義了一個標準接口，用於將任意代理架構(gòu)與多樣的基準測試連接起來，並從中計算進展率和重複率。

在AgentQuest中，已經(jīng)包含了四個基準測試：ALFWorld、側(cè)面思維謎題（Lateral Thinking Puzzles）、Mastermind和數(shù)字獨。另外，AgentQuest也引進了新的測試。您可以輕鬆添加額外的基準測試，而無需對測試中的代理進行更改。

圖片

圖1：目前有框架AgentQuest中的智慧體基準互動概述。 AgentQuest定義了一個通用接口，用於與基準交互和計算進度指標，從而簡化了新基準的添加，並允許研究人員評估和測試其智能體體系結(jié)構(gòu)。

基本構(gòu)成和功能

AgentQuest框架的核心是其模組化設(shè)計，它允許研究人員根據(jù)需要添加或修改基準測試。這種靈活性透過將基準測試和評估指標分離成獨立的模組來實現(xiàn)，每個模組都可以單獨開發(fā)和優(yōu)化?？蚣艿闹饕ǎ?/span>

基準測試模組：這些是預(yù)先定義的任務(wù)，智慧體必須執(zhí)行。它們涵蓋了從簡單的文字遊戲到複雜的邏輯謎題等多種類型。

評估指標模組：提供了一套量化智能體表現(xiàn)的工具，如進展率和重複率，這些指標幫助研究人員理解智能體在任務(wù)中的行為模式。

API介面：讓研究人員將自己的智慧體架構(gòu)與AgentQuest框架連接，以及與外部資料來源和服務(wù)互動。

模組化基準測試和指標的重要性

模組化基準測試的一個關(guān)鍵優(yōu)勢是它們提供了一種標準化的方法來評估不同智能體的性能。這意味著研究人員可以在相同的條件下比較不同智能體的結(jié)果，從而確保結(jié)果的一致性和可比較性。此外，模組化設(shè)計還允許研究人員根據(jù)特定研究的需求量身定制基準測試，這在傳統(tǒng)的基準測試框架中往往難以實現(xiàn)。

評估指標同樣重要，因為它們提供了對智能體表現(xiàn)的深入洞察。例如，進展率可以顯示智能體在解決任務(wù)過程中的效率，而重複率則揭示了智能體是否在某些步驟上陷入重複，這可能表明需要改進決策過程。

AgentQuest的擴充性

AgentQuest的API介面是其擴充性的關(guān)鍵。透過API，研究人員可以輕鬆地將AgentQuest整合到現(xiàn)有的研究工作流程中，無論是新增新的基準測試、評估指標，或是連接到外部資料來源和服務(wù)。這種擴展性不僅加速了研究的迭代過程，也促進了跨學科合作，因為來自不同領(lǐng)域的專家可以共同工作，並利用AgentQuest框架來解決共同的研究問題。

AgentQuest架構(gòu)透過其模組化的基準測試和評估指標，以及透過API實現(xiàn)的擴展性，為LLM智能體的研究和開發(fā)提供了一個強大的平臺。它不僅促進了研究的標準化和可複製性，也為智能體未來的創(chuàng)新和合作鋪平了道路。

基準測試與評估指標

在AgentQuest架構(gòu)中，基準測試是評估LLM智能體效能的關(guān)鍵組成部分。這些測驗不僅提供了一個標準化的環(huán)境來比較不同智能體的能力，而且還能夠揭示智能體在解決特定問題時的行為模式。

AgentQuest公開了一個單一的統(tǒng)一Python介面，即驅(qū)動程式和兩個反映代理-環(huán)境互動組件的類別（即觀察和行動）。觀察類別有兩個必需屬性：（i）輸出，一個字串，報告環(huán)境狀態(tài)的資訊；（ii）完成，一個布林變量，指示最終任務(wù)目前是否完成。行動類別有一個必要屬性，行動值。這是智能體直接輸出的字串。一旦處理並提供給環(huán)境，它就會觸發(fā)環(huán)境變化。為了客製化交互，開發(fā)者可以定義可選屬性。

Mastermind基準測試

Mastermind是一個經(jīng)典的邏輯遊戲，玩家需要猜測一個隱藏的顏色代碼。在AgentQuest框架中，這個遊戲被用作基準測試之一，智能體的任務(wù)是透過一系列的猜測來確定正確的程式碼。每次猜測後，環(huán)境會提供回饋，告訴智能體有多少顏色是正確的，但位置錯誤，以及有多少顏色和位置都正確。這個過程持續(xù)進行，直到智能體猜出正確的程式碼或達到預(yù)設(shè)的步數(shù)限制。

圖2：我們在這裡提供了一個Mastermind實作互動的範例。

Sudoku基準測試

Sudoku是另一個流行的邏輯謎題，它要求玩家在9x9的網(wǎng)格中填入數(shù)字，使得每一行、每一列以及每個3x3的子網(wǎng)格中的數(shù)字都不重複。在AgentQuest框架中，Sudoku被用作基準測試，以評估智能體在空間推理和規(guī)劃方面的能力。智能體必須產(chǎn)生有效的數(shù)位填充策略，並且在有限的步數(shù)內(nèi)解決謎題。

評估指標：進展率和重複率

#AgentQuest引入了兩個新的評估指標：進展率（PR）和重複率（RR）。進展率是介於0到1之間的數(shù)值，用來衡量智能體在完成任務(wù)過程中的進展。它是透過將智能體達到的里程碑數(shù)量除以總里程碑數(shù)量來計算的。例如，在Mastermind遊戲中，如果智能體猜出了兩個正確的顏色和位置，而總共需要猜出四個，那麼進展率就是0.5。

重複率則衡量智能體在執(zhí)行任務(wù)過程中重複相同或相似動作的傾向。在計算重複率時，會考慮到智能體之前的所有動作，並使用相似性函數(shù)來確定當前動作是否與先前的動作相似。重複率是透過將重複的動作數(shù)量除以總動作數(shù)量（減去第一步）來計算的。

透過指標評估和改進LLM智能體性能

#這些指標為研究人員提供了一個強有力的工具，用於分析和改進LLM智能體的性能。透過觀察進展率，研究人員可以了解智能體在解決問題方面的效率，並識別可能的瓶頸。同時，重複率的分析可以揭示智能體在決策過程中可能存在的問題，例如過度依賴某些策略或缺乏創(chuàng)新。

表1：AgentQuest中提供的基準概覽。

總的來說，AgentQuest架構(gòu)中的基準測試和評估指標為LLM智能體的發(fā)展提供了一個全面的評估體系。透過這些工具，研究人員不僅能夠評估智能體的當前性能，還能夠指導(dǎo)未來的改進方向，從而推動LLM智能體在各種複雜任務(wù)中的應(yīng)用和發(fā)展。

AgentQuest的應(yīng)用案例

AgentQuest框架的實際應(yīng)用案例提供了對其功能和效果的深入理解，透過Mastermind和其他基準測試，我們可以觀察到LLM智能體在不同場景下的表現(xiàn)，並分析如何透過特定策略來改善它們的表現(xiàn)。

Mastermind的應(yīng)用案例

在Mastermind遊戲中，AgentQuest框架被用來評估智能體的邏輯推理能力。智能體需要猜測一個由數(shù)字組成的隱藏代碼，每次猜測後，系統(tǒng)會提供回饋，指示正確數(shù)字的數(shù)量和位置。透過這個過程，智能體學習如何根據(jù)回饋調(diào)整其猜測策略，以更有效地達到目標。

在實際應(yīng)用中，智能體的初始表現(xiàn)可能並不理想，經(jīng)常重複相同或相似的猜測，導(dǎo)致重複率較高。然而，透過分析進展率和重複率的數(shù)據(jù)，研究人員可以識別出智能體決策過程中的不足，並採取措施進行改進。例如，透過引入記憶組件，智能體可以記住先前的猜測，並避免重複無效的嘗試，從而提高效率和準確性。

其他基準測試的應(yīng)用程式案例

除了Mastermind，AgentQuest還包括其他基準測試，如Sudoku、文字遊戲和邏輯謎題等。在這些測試中，智能體的表現(xiàn)同樣受到進展率和重複率指標的影響。例如，在Sudoku測試中，智能體需要填寫一個9x9的網(wǎng)格，使得每行、每列和每個3x3的子網(wǎng)格中的數(shù)字都不重複。這要求智能體具備空間推理能力和策略規(guī)劃能力。

在這些測試中，智能體可能會遇到不同的挑戰(zhàn)。有些智能體可能在空間推理方面表現(xiàn)出色，但在策略規(guī)劃上有缺陷。透過AgentQuest框架提供的詳細回饋，研究人員可以針對性地識別問題所在，並透過演算法優(yōu)化或訓練方法的調(diào)整來提高智能體的整體性能。

記憶組件的影響

記憶組件的加入對智能體的表現(xiàn)有顯著影響。在Mastermind測試中，加入記憶組件後，智能體能夠避免重複無效的猜測，從而顯著降低重複率。這不僅提高了智能體解決問題的速度，也提高了成功率。此外，記憶組件還使智能體能夠在面對類似問題時更快地學習和適應(yīng)，從而在長期內(nèi)提高其學習效率。

整體而言，AgentQuest架構(gòu)透過提供模組化的基準測試和評估指標，為LLM智能體的效能評估和改進提供了強而有力的工具。透過實際應(yīng)用案例的分析，我們可以看到，透過調(diào)整策略和引入新的組件，如記憶模組，可以顯著提高智能體的表現(xiàn)。

實驗設(shè)置與結(jié)果分析

在AgentQuest框架的實驗設(shè)置中，研究人員採用了一種參考架構(gòu)，該架構(gòu)基於現(xiàn)成的聊天智能體，由GPT-4等大型語言模型（LLM）驅(qū)動。這種架構(gòu)的選擇是因為它直觀、易於擴展，並且是開源的，這使得研究人員能夠輕鬆地整合和測試不同的智能體策略。

圖片

圖4：Mastermind和LTP的平均進度率PRt和重複率RRt。 Mastermind：一開始RRt很低，但在第22步後會增加，同時進度也會停滯在55%。 LTP：起初，較高的RRt允許代理人透過進行小的變更來取得成功，但後來這種變更趨於平穩(wěn)。

實驗設(shè)定

實驗的設(shè)定包含了多個基準測試，如Mastermind和ALFWorld，每個測試都旨在評估智能體在特定領(lǐng)域的性能。實驗中設(shè)定了執(zhí)行步驟的最大數(shù)量，通常為60步，以限制智能體在解決問題時可以嘗試的次數(shù)。這種限制模擬了現(xiàn)實世界中資源有限的情況，並迫使智慧體必須在有限的嘗試中找到最有效的解決方案。

實驗結(jié)果分析

在Mastermind基準測試中，實驗結(jié)果顯示，智能體在沒有記憶組件的情況下，其重複率相對較高，進展率也受到限制。這顯示智能體在嘗試解決問題時，往往會陷入重複無效的猜測。然而，當引入記憶組件後，智能體的表現(xiàn)顯著提升，成功率從47%提高到60%，重複率降至0%。這說明記憶組件對於提高智能體的效率和準確性至關(guān)重要。

圖片

圖5：Mastermind和LTP中重複操作的範例。 Mastermind：一開始有一系列獨特的動作，但後來卻被困在一遍又一遍地重複相同的動作。 LTP：重複的動作是同一問題的微小變化，會導(dǎo)致進步。

在ALFWorld基準測試中，智能體需要在一個文字世界中探索以定位物件。實驗結(jié)果表明，儘管智能體在探索解決方案空間時限制了行動重複（RR60 = 6%），但它未能解決所有遊戲（PR60 = 74%）。這種差異可能是由於智能體在發(fā)現(xiàn)對象時需要更多的探索步驟。當將基準測試的運行時間延長到120步時，成功率和進展率都有所提高，這進一步證實了AgentQuest在理解智能體失敗方面的用處。

智能體架構(gòu)的調(diào)整

根據(jù)AgentQuest的指標，研究人員可以調(diào)整智慧體架構(gòu)。例如，如果發(fā)現(xiàn)智能體在某個基準測試中重複率較高，可能需要改進其決策演算法，以避免重複無效的嘗試。同樣，如果進展率低，可能需要優(yōu)化智能體的學習過程，以更快地適應(yīng)環(huán)境並找到解決問題的方法。

AgentQuest架構(gòu)提供的實驗設(shè)定和評估指標為LLM智能體的性能提供了深入的洞見。透過分析實驗結(jié)果，研究人員可以識別智能體的強項和弱點，並據(jù)此調(diào)整智能體架構(gòu)，以提高其在各種任務(wù)中的表現(xiàn)。

討論與未來工作

AgentQuest框架的提出，為大型語言模型（LLM）智能體的研究和發(fā)展開闢了新的道路。它不僅提供了一個系統(tǒng)的方法來衡量和改進LLM智能體的性能，而且還推動了研究社群對於智能體行為的深入理解。

AgentQuest在LLM智能體研究中的潛在影響

AgentQuest透過其模組化的基準測試和評估指標，使研究人員能夠更精確地衡量LLM智能體在特定任務(wù)上的進展和效率。這種精確的評估能力對於設(shè)計更有效率、更聰明的智能體至關(guān)重要。隨著LLM智能體在各領(lǐng)域的應(yīng)用越來越廣泛，從客戶服務(wù)到自然語言處理，AgentQuest提供的深入分析工具將幫助研究人員優(yōu)化智能體的決策過程，並提高其在實際應(yīng)用中的表現(xiàn)。

AgentQuest在促進透明度和公平性方面的作用

AgentQuest的另一個重要貢獻是提高了LLM智能體研究的透明度。透過公開的評估指標和可複製的基準測試，AgentQuest鼓勵了開放科學的實踐，使研究結(jié)果更容易被驗證和比較。此外，AgentQuest的模組化特性允許研究人員自訂基準測試，這意味著可以根據(jù)不同的需求和背景設(shè)計測試，從而促進了研究的多樣性和包容性。

AgentQuest未來的發(fā)展和研究社群的可能貢獻

緊接在技術(shù)的推進，AgentQuest框架有望繼續(xù)擴展和完善。隨著新的基準測試和評估指標的加入，AgentQuest將能夠涵蓋更多類型的任務(wù)和場景，為LLM智能體的評估提供更全面的視角。此外，隨著人工智慧技術(shù)的進步，AgentQuest也可能整合更先進的功能，例如自動調(diào)整智慧體架構(gòu)的能力，以實現(xiàn)更有效率的效能最佳化。

研究社群對AgentQuest的貢獻也是其發(fā)展不可或缺的一部分。開源的特性意味著研究人員可以分享他們的改進和創(chuàng)新，從而加速AgentQuest框架的進步。同時，研究社群的回饋和實務(wù)經(jīng)驗將幫助AgentQuest更好地滿足實際應(yīng)用的需求，並推動LLM智能體技術(shù)向前發(fā)展。

參考資料：https://arxiv.org/abs/2404.06411