AGI-Eval是什么
AGI-Eval是由上海交通大學、同濟大學、華東師范大學、DataWhale等高校和機構(gòu)合作發(fā)布的大模型評測社區(qū)，旨在打造公正、可信、科學、全面的評測生態(tài)。AGI-Eval以“評測助力，讓AI成為人類更好的伙伴”為使命，專門設(shè)計用于評估基礎(chǔ)模型在人類認知和問題解決相關(guān)任務(wù)中的一般能力。AGI-Eval通過這些考試來評估模型的性能，與人類決策和認知能力直接相關(guān)，衡量模型在人類認知能力方面的表現(xiàn)，有助于了解在現(xiàn)實生活中的適用性和有效性。
AGI-Eval的主要功能
? 大模型榜單：
AGI-Eval基于通用評測方案，提供業(yè)內(nèi)大語言模型的能力得分排名榜單，涵蓋綜合評測和各能力項評測。AGI-Eval大模型榜單數(shù)據(jù)透明、權(quán)威，幫助您深入了解每個模型的優(yōu)缺點，定期更新榜單，確保您掌握最新信息，找到最適合的模型解決方案。
? AGI-Eval人機評測比賽：
AGI-Eval通過人機協(xié)同評測比賽，深入模型評測的世界，與大模型協(xié)作助力技術(shù)發(fā)展構(gòu)建人機協(xié)同評測方案。
? 豐富的評測集：
AGI-Eval平臺提供多種評測集，包括公開學術(shù)評測集、官方評測集和用戶自建評測集，支持多領(lǐng)域模型評測。 完美實現(xiàn)自動與人工評測相結(jié)合，并且還有高校大牛私有數(shù)據(jù)集托管。
- 公開學術(shù)：行業(yè)公開學術(shù)評測集，支持用戶下載使用。
- 官方評測集：AGI-Eval官方自建評測集，涉及多領(lǐng)域的模型評測。
- 用戶自建評測集：AGI-Eval平臺支持用戶上傳個人評測集，共建開源社區(qū)。
? Data Studio：
AGI-Eval的數(shù)據(jù)工坊支持NLP算法開發(fā)和科研實驗，可以幫助開發(fā)者測試和優(yōu)化文本生成模型，加速自然語言處理領(lǐng)域的研究進程.
- 用戶活躍度高：3W+眾包用戶平臺，實現(xiàn)更多高質(zhì)量真實數(shù)據(jù)回收。
- 數(shù)據(jù)類型多樣：具備多維度，多領(lǐng)域的專業(yè)數(shù)據(jù)。
- 數(shù)據(jù)收集多元化：如單條數(shù)據(jù)，擴寫數(shù)據(jù)，Arena數(shù)據(jù)等方式，滿足不同評測需求。
- 完備的審核機制：機審+人審，多重審核機制，保證數(shù)據(jù)質(zhì)量。
AGI-Eval的應(yīng)用場景
?? 模型性能評估：
AGI-Eval提供了完整數(shù)據(jù)集、基線系統(tǒng)評估和詳細評估方法，是衡量A1模型綜合能力的權(quán)威工具。
?? 語言評估：
AGI-Eval整合了中英文雙語任務(wù)，為AI模型的語言能力提供了全面的評估平臺。
?? NLP算法開發(fā)：
開發(fā)者可以用AGI-Eval來測試和優(yōu)化文本生成模型的效果，提高生成文本的質(zhì)量。
?? 科研實驗：
學者可以用AGI-Eval作為評估新方法性能的工具，推動自然語言處理(NLP)領(lǐng)域的研究進步。
AGI-Eval如何使用
AGI-Eval可以在web網(wǎng)頁端在線使用，瀏覽器訪問AGI-Eval官網(wǎng)，注冊登錄后即可在線使用。
- AGI-Eval官網(wǎng)地址：https://agi-eval.cn
- AGI-Eval評測社區(qū)知識庫：https://oepprlufh8.feishu.cn/wiki/BJOnwCc8wiOX52kWK04cHSSon6d
AGI-Eval的使用步驟：
- 訪問官方網(wǎng)站：瀏覽器訪問AGI-Eval的官方網(wǎng)站，了解平臺的基本功能和使用指南。
- 注冊平臺賬號：注冊AGI-Eval賬號以便使用平臺的各項功能，包括參與評測、提交評測集等。
- 參與評測任務(wù)：瀏覽AGI-Eval平臺提供的豐富評測集，選擇適合的評測任務(wù)進行參與。
- 提交評測結(jié)果：根據(jù)AGI-Eval評測任務(wù)的要求，提交模型的評測結(jié)果，并參與人機評測比賽。
- 查看評測榜單：查看AGI-Eval大模型榜單，了解自己模型的綜合能力和專項能力排名。
- 參與社區(qū)建設(shè)：積極參與AGI-Eval社區(qū)建設(shè)，共建開源社區(qū)，分享自己的評測集和經(jīng)驗。
