OpenAI引入了O1-Mini，這是一種具有成本效益的推理模型，重點(diǎn)是STEM受試者。該模型在數(shù)學(xué)和編碼中表現(xiàn)出令人印象深刻的性能，與其前身OpenAI O1非常相似，以各種評(píng)估基準(zhǔn)。 OpenAI預(yù)計(jì)，O1-Mini將作為要求推理能力的應(yīng)用程序的迅速而經(jīng)濟(jì)的解決方案，而無需全球知識(shí)。O1-Mini的推出目標(biāo)是5級(jí)API用戶，與OpenAI O1-Preview相比，成本降低了80％。讓我們更深入地了解O1 Mini的工作。

概述

• Openai的O1-Mini是一種經(jīng)濟(jì)高效的STEM推理模型，表現(xiàn)優(yōu)于其同齡人。
• 專業(yè)培訓(xùn)使O1-Mini成為STEM的專家，在數(shù)學(xué)和編碼方面表現(xiàn)出色。
• 人類評(píng)估展示了O1-Mini在推理方面的優(yōu)勢(shì)，而不是GPT-4O。
• 安全措施可確保O1-Mini的負(fù)責(zé)任使用，并增強(qiáng)越獄的魯棒性。
• Openai對(duì)O1-Mini的創(chuàng)新提供了可靠且透明的STEM工具。

目錄

• O1-Mini與其他LLM
• GPT 4O與O1 vs O1 Mini
• 如何使用O1-Mini？
• O1-Mini的出色表現(xiàn)：數(shù)學(xué)，編碼及其他
  • 數(shù)學(xué)
  • 編碼
  • 干
  • 人類偏好評(píng)估
• O1米尼的安全組件
• 結(jié)尾

O1-Mini與其他LLM

LLM通常在大型文本數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練。但這是捕獲；盡管他們擁有如此廣泛的知識(shí)，但有時(shí)可能會(huì)有些負(fù)擔(dān)。您會(huì)看到，所有這些信息使它們?cè)诂F(xiàn)實(shí)世界中的情況下有點(diǎn)慢且昂貴。

將O1米尼與其他LLM分開的事實(shí)是，它接受了STEM的訓(xùn)練。這種專門的培訓(xùn)使O1-Mini成為與STEM相關(guān)的任務(wù)專家。該模型有效且具有成本效益，非常適合STEM應(yīng)用。它的性能令人印象深刻，尤其是在數(shù)學(xué)和編碼方面。 O1-Mini是針對(duì)莖推理的速度和準(zhǔn)確性進(jìn)行了優(yōu)化的。對(duì)于研究人員和教育者來說，這是一個(gè)有價(jià)值的工具。

O1-Mini在智能和推理基準(zhǔn)方面表現(xiàn)出色，表現(xiàn)優(yōu)于O1-preiview和O1，但在非莖事實(shí)知識(shí)任務(wù)中掙扎。

另請(qǐng)閱讀：O1??：Openai的新模型，該模型在回答棘手的問題之前“思考”

GPT 4O與O1 vs O1 Mini

在單詞推理問題上的響應(yīng)比較突出了性能差異。雖然GPT-4O掙扎，但O1-Mini和O1-preiview表現(xiàn)出色，提供了準(zhǔn)確的答案。值得注意的是，O1-Mini的速度非常出色，回答的速度約為3-5倍。

如何使用O1-Mini？

• Chatgpt Plus和團(tuán)隊(duì)用戶：今天從模型選擇器中訪問O1-Mini，每周限制50條消息。
• CHATGPT企業(yè)和教育用戶：兩種型號(hào)的訪問將于下周開始。
• 開發(fā)人員：API Tier 5用戶今天可以嘗試這些模型，但是尚不可用功能呼叫和流式的功能。
• 免費(fèi)用戶：O1-Mini將很快提供給所有免費(fèi)用戶。

O1-Mini的出色表現(xiàn)：數(shù)學(xué)，編碼及其他

Openai O1-Mini模型已在各種比賽和基準(zhǔn)測(cè)試中進(jìn)行了測(cè)試，其性能令人印象深刻。讓我們一一看一下不同的組件：

數(shù)學(xué)

在高中AIME數(shù)學(xué)比賽中，O1-Mini的得分為70.0％，與更昂貴的O1型號(hào)（74.4％）相當(dāng)，并且明顯優(yōu)于O1-Preview（44.6％）。該分?jǐn)?shù)將O1-Mini置于美國(guó)500名高中學(xué)生中，這是一項(xiàng)了不起的成就。

編碼

繼續(xù)進(jìn)行編碼，O1米尼在CodeForces競(jìng)賽網(wǎng)站上發(fā)揮了1650分的ELO分?jǐn)?shù)。該分?jǐn)?shù)與O1（1673）具有競(jìng)爭(zhēng)力，并且超過O1-Preview（1258）。這將O1-Mini置于在CodeForces平臺(tái)上競(jìng)爭(zhēng)的第86個(gè)百分位數(shù)。此外，O1-Mini在人道編碼的基準(zhǔn)和高中網(wǎng)絡(luò)安全捕獲范圍挑戰(zhàn)（CTF）上表現(xiàn)良好，進(jìn)一步鞏固了其編碼能力。

干

O1-Mini已證明其在需要強(qiáng)大推理技能的各種學(xué)術(shù)基準(zhǔn)中。在GPQA（Science）和Math-500等基準(zhǔn)測(cè)試中，O1-Mini的表現(xiàn)優(yōu)于GPT-4O，展示了其在與STEM相關(guān)的任務(wù)方面的卓越表現(xiàn)。但是，當(dāng)涉及需要更廣泛知識(shí)的任務(wù)時(shí)，例如MMLU，O1-Mini可能不如GPT-4O的性能。這是因?yàn)镺1-Mini是針對(duì)STEM推理進(jìn)行了優(yōu)化的，并且可能缺乏GPT-4O擁有的廣泛世界知識(shí)。

人類偏好評(píng)估

人類評(píng)估者在各個(gè)領(lǐng)域的挑戰(zhàn)提示中積極比較了O1-Mini與GPT-4O的表現(xiàn)。結(jié)果表明，在較重的推理領(lǐng)域中對(duì)O1-Mini的偏愛，但GPT-4O領(lǐng)導(dǎo)著以語言為中心的領(lǐng)域，突出了模型在不同情況下的優(yōu)勢(shì)。

O1米尼的安全組件

O1-MINI模型的安全性和對(duì)齊方式對(duì)于確保其負(fù)責(zé)任和道德使用至關(guān)重要。這是對(duì)實(shí)施安全措施的解釋：

• 訓(xùn)練技術(shù)： O1-Mini的訓(xùn)練方法反映了其前身O1-preiview的側(cè)重于對(duì)齊和安全。該策略確保模型的產(chǎn)出與人類價(jià)值觀保持一致，并減輕潛在風(fēng)險(xiǎn)，這是其發(fā)展的關(guān)鍵方面。
• 越獄魯棒性： O1-Mini的主要安全特征之一是增強(qiáng)的越獄魯棒性。在內(nèi)部版本的StrongRepent數(shù)據(jù)集中，與GPT-4O相比，O1-Mini顯示出越獄的魯棒性59％。越獄的魯棒性是指該模型抵制操縱或?yàn)E用其產(chǎn)出的嘗試的能力，以確保其與預(yù)期目的保持一致。
• 安全評(píng)估：在部署O1米尼之前，進(jìn)行了徹底的安全評(píng)估。該評(píng)估遵循與O1審查相同的方法，其中包括準(zhǔn)備措施，外部紅線和全面的安全評(píng)估。外部紅色團(tuán)隊(duì)涉及吸引獨(dú)立專家以確定潛在的漏洞和安全風(fēng)險(xiǎn)。
• 詳細(xì)的結(jié)果：這些安全評(píng)估的結(jié)果發(fā)表在隨附的系統(tǒng)卡中。這種透明度使用戶和研究人員能夠了解該模型的安全措施，并就其使用情況做出明智的決定。該系統(tǒng)卡提供了有關(guān)模型的性能，限制和潛在風(fēng)險(xiǎn)的見解，從而確保負(fù)責(zé)任的部署和使用。

結(jié)尾

Openai的O1-Mini是用于STEM應(yīng)用程序的游戲規(guī)則，提供成本效益和令人印象深刻的性能。它的專業(yè)培訓(xùn)增強(qiáng)了推理能力，尤其是在數(shù)學(xué)和編碼方面。通過強(qiáng)大的安全措施，O1-Mini在STEM基準(zhǔn)測(cè)試中表現(xiàn)出色，為研究人員和教育者提供了可靠且透明的工具。

請(qǐng)繼續(xù)關(guān)注Analytics Vidhya博客，以了解有關(guān)O1 Mini的用途的更多信息！

以上是O1-Mini：一種改變游戲規(guī)則的STEM和推理模型的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！