介紹

在人工智能中，出現(xiàn)了一項開創(chuàng)性的發(fā)展，該發(fā)展有望重塑科學(xué)發(fā)現(xiàn)的過程。 Sakana AI與牛津大學(xué)和不列顛哥倫比亞大學(xué)的研究人員合作，與牛津大學(xué)的AI研究和研究人員合作，推出了“ AI科學(xué)家”，這是一個旨在全自動的科學(xué)發(fā)現(xiàn)的綜合系統(tǒng)。這種創(chuàng)新的方法利用了基礎(chǔ)模型，尤其是大型語言模型（LLM）的力量，以在各個領(lǐng)域進(jìn)行獨立研究。

AI科學(xué)家在AI驅(qū)動的研究中代表了一個重大的飛躍。它可以使整個研究生命週期自動化，從產(chǎn)生新穎的思想和實施實驗到分析結(jié)果並產(chǎn)生科學(xué)手稿。該系統(tǒng)進(jìn)行研究，包括自動同行審查過程，模仿人類科學(xué)界的迭代知識創(chuàng)建和驗證方法。

概述

1. Sakana AI介紹了“ AI科學(xué)家”，這是一個全自動的系統(tǒng)，可以徹底改變科學(xué)發(fā)現(xiàn)。
2. AI科學(xué)家可以自動化整個研究過程，從想法生成到紙質(zhì)寫作和同行評審。
3. AI科學(xué)家使用先進(jìn)的語言模型來生產(chǎn)具有近乎人類準(zhǔn)確性和效率的研究論文。
4. AI科學(xué)家面臨視覺元素的局限性，分析中的潛在錯誤以及科學(xué)完整性的道德問題。
5. AI科學(xué)家在有希望的同時提出了有關(guān)人工智能安全，道德意義以及人類科學(xué)家在研究中不斷發(fā)展的作用的問題。
6. 人工智能科學(xué)家的能力表現(xiàn)出巨大的潛力，但他們?nèi)匀恍枰祟惖谋O(jiān)督以確保準(zhǔn)確性和道德標(biāo)準(zhǔn)。

目錄

• AI科學(xué)家的工作原則
• 生成論文的分析
• AI科學(xué)家的代碼實施
  • 先決條件
  • 現(xiàn)在我們可以準(zhǔn)備數(shù)據(jù)
  • 科學(xué)紙生成
  • 紙質(zhì)評論
• AI科學(xué)家的挑戰(zhàn)和缺點
• 你必須知道的泡沫
• 為我們的學(xué)習(xí)領(lǐng)域定制模板
• 未來的含義
• 常見問題

AI科學(xué)家的工作原則

AI科學(xué)家通過複雜的管道進(jìn)行操作，該管道整合了幾個關(guān)鍵過程。

工作流如下所示：

現(xiàn)在，讓我們?yōu)g覽不同的步驟。

1. 想法產(chǎn)生：系統(tǒng)首先基於提供的起始模板來集思廣益，集思廣益。該模板通常包括與感興趣區(qū)域相關(guān)的現(xiàn)有代碼以及帶有樣式文件和截面標(biāo)題的乳膠文件夾。為了確保原創(chuàng)性，AI科學(xué)家可以搜索語義學(xué)者來驗證其思想的新穎性。
2. 實驗迭代：一旦提出了一個想法，AI科學(xué)家就執(zhí)行提出的實驗，獲得結(jié)果並產(chǎn)生可視化。它精心記錄了每個情節(jié)和實驗結(jié)果，創(chuàng)造了紙質(zhì)寫作的全面記錄。
3. 紙質(zhì)寫作：AI科學(xué)家使用收集的實驗數(shù)據(jù)和可視化的標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)會議製作了簡潔而有用的科學(xué)論文。它自主使用語義學(xué)者引用了相關(guān)論文。
4. 自動紙審查：AI科學(xué)家的LLM驅(qū)動審稿人是至關(guān)重要的組成部分。這位自動化審稿人以幾乎人類的準(zhǔn)確性評估生成的論文，提供可用於改善當(dāng)前項目或為未來研究方向提供信息的反饋。

生成論文的分析

AI-Scientist生成和審查有關(guān)擴(kuò)散建模，語言建模和理解等領(lǐng)域的論文。讓我們檢查一下發(fā)現(xiàn)。

1。雙尺度擴(kuò)散：低維生成模型的自適應(yīng)特徵平衡

該論文引入了一種新型的自適應(yīng)雙尺度denoising方法，用於低維擴(kuò)散模型。該方法通過雙分支結(jié)構(gòu)以及可學(xué)習(xí)的，時間到有條件的加權(quán)機(jī)制來平衡全球結(jié)構(gòu)和本地細(xì)節(jié)。這種方法表明了幾個2D數(shù)據(jù)集的樣本質(zhì)量的改進(jìn)。

儘管該方法是創(chuàng)新的，並且得到了經(jīng)驗評估的支持，但它缺乏雙重規(guī)模架構(gòu)的徹底理論理由。它遭受了較高的計算成本，可能會限制其實際應(yīng)用。此外，沒有清楚地解釋某些部分，缺乏多樣化的，現(xiàn)實世界中的數(shù)據(jù)集和不足的消融研究限制了評估。

2。 styleFusion：在字符級語言模型中自適應(yīng)多種風(fēng)格的生成

本文介紹了多式適配器，該適配器通過將樣式嵌入，樣式分類頭和StyleadeDeadapter模塊集成到GPT中，從而提高了字符級語言模型的樣式意識和一致性。它實現(xiàn)了各種數(shù)據(jù)集的更好的風(fēng)格一致性和競爭性驗證損失。

儘管創(chuàng)新且經(jīng)過良好的測試，但該模型在某些數(shù)據(jù)集上的完美風(fēng)格一致性引起了人們對過度擬合的擔(dān)憂。推理速度較慢限制了實際適用性，並且本文可以從更高級的樣式表示，消融研究以及對自動編碼器聚合器機(jī)制的更清晰的解釋中受益。

3。解鎖Grokking：變壓器模型中的權(quán)重初始化策略的比較研究

本文探討了重量初始化策略如何影響變形金剛模型中的Grokking現(xiàn)象，特別關(guān)注有限領(lǐng)域的算術(shù)任務(wù)。它比較了五種初始化方法（Pytorch默認(rèn)方法，Xavier，He，正交和Kaiming正常），發(fā)現(xiàn)Xavier和正交表現(xiàn)出了出色的收斂速度和概括性能。

該研究涉及一個獨特的主題，並提供了嚴(yán)格的經(jīng)驗分析支持的系統(tǒng)比較。但是，它的範(fàn)圍僅限於小型模型和算術(shù)任務(wù)，並且缺乏更深的理論見解。此外，可以改善實驗設(shè)置的清晰度以及對較大變壓器應(yīng)用的更廣泛含義。

AI科學(xué)家的設(shè)計考慮了計算效率，每張紙張的完整論文約為15美元。儘管此初始版本仍然偶爾出現(xiàn)缺陷，但低成本和有希望的結(jié)果表明，AI科學(xué)家有可能使研究民主化並大幅加速科學(xué)進(jìn)步。

我們認(rèn)為這標(biāo)誌著科學(xué)發(fā)現(xiàn)中一個新時代的曙光，在該時期，AI代理改變了整個研究過程，包括AI研究本身。 AI科學(xué)家使我們更接近一個未來，無限，負(fù)擔(dān)得起的創(chuàng)造力和創(chuàng)新可以應(yīng)對世界上最緊迫的挑戰(zhàn)。

另請閱讀：A必須閱讀：15 Genai開發(fā)人員的基本AI論文

AI科學(xué)家的代碼實施

讓我們看一下如何使用Python實施AI科學(xué)家的核心功能的簡化版本。此示例重點介紹了紙張生成過程：

先決條件

用“ git克隆https://github.com/sakanaai/ai-scientist.git'克隆github存儲庫克隆

根據(jù)您的操作系統(tǒng)，根據(jù)在TexLive提供的說明安裝“ Texlive”。另外，請參閱上面的GitHub存儲庫中的說明。

確保您正在使用Python 3.11版本。建議使用單獨的虛擬環(huán)境。

使用“ Pip install -r unignts.txt”安裝“ AI -Scientist”的必要庫

用名稱為“ OpenAI_API_KEY”設(shè)置OpenAI鍵

現(xiàn)在我們可以準(zhǔn)備數(shù)據(jù)

＃準(zhǔn)備Nanogpt數(shù)據(jù)

Python Data/enwik8/prepar.py

Python Data/Shakespeare_char/prepar.py

python數(shù)據(jù)/text8/prepar.py

一旦我們按照上述數(shù)據(jù)準(zhǔn)備數(shù)據(jù)，我們就可以運行基線運行如下

CD模板/Nanogpt && Python persiment.py -out_dir run_0 && python plot.py

CD模板/nanogpt_lite && python perveriment.py -out_dir run_0 && python plot.py

設(shè)置2D擴(kuò)散安裝所需的庫並運行以下腳本

＃下面提到的帶有克隆存儲庫的代碼並安裝它

git克隆https://github.com/gregversteeg/npeet.git

CD npet

PIP安裝。

PIP安裝Scikit-Learn

＃設(shè)置2D擴(kuò)散基線運行

＃此命令運行一個實驗?zāi)_本，將輸出保存到目錄，然後繪製結(jié)果，只有在實驗成功完成時。

CD模板/2D_DIFFUSION && PYTHON PERAVER.PY -OUN_DIR RUN_0 && PYTHON PLOT.PY.PY

設(shè)置Grokking

PIP安裝Einops

＃設(shè)置Grokking基線運行

＃此命令還運行一個實驗?zāi)_本，將輸出保存到目錄，然後繪製結(jié)果，只有在實驗成功完成時。

CD模板/grokking && python persiment.py -out_dir run_0 && python plot.py

科學(xué)紙生成

一旦我們設(shè)置並運行了上述要求，我們就可以通過運行下面的腳本開始科學(xué)紙張生成

＃此命令使用GPT-4O模型運行l(wèi)aunch_scientist.py腳本來執(zhí)行Nanogpt_lite實驗並生成2個新想法。

python lunage_scientist.py-模型“ gpt-4O-2024-05-13”  - 體驗nanogpt_lite -num-ideas 2

紙質(zhì)評論

這將創(chuàng)建科學(xué)論文作為PDF文件?，F(xiàn)在，我們可以查看論文。

進(jìn)口Openai

來自ai_scientist.perform_review import load_paper，perress_review

客戶端= openai.openai（）

型號=“ GPT-4O-2024-05-13”

＃從PDF文件加載紙（RAW文本）

paper_txt = load_paper（“ report.pdf”）

＃獲取評論的評論命令

評論= persim_review（

paper_txt，

模型，

客戶，

num_reflections = 5，

num_fs_examples = 1，

num_reviews_ensemble = 5，

溫度= 0.1，

）

＃檢查審核結(jié)果

回顧[“總體”]＃總分1-10

審查[“決策”]＃['Accept'，'拒絕']

回顧[“弱點”]＃弱點清單（str）

AI科學(xué)家的挑戰(zhàn)和缺點

儘管具有突破性的潛力，但AI科學(xué)家仍面臨一些挑戰(zhàn)和局限性：

1. 視覺限制：當(dāng)前版本缺乏視覺功能，導(dǎo)致論文中視覺元素的問題。圖可能是不可讀的，表可能會超過頁面寬度，並且整體佈局可能是次優(yōu)的?？梢酝ㄟ^將多模式基礎(chǔ)模型納入未來的迭代中來解決此限制。
2. 實施錯誤：AI科學(xué)家有時可能會錯誤地實施他們的想法或與基準(zhǔn)進(jìn)行不公平的比較，這可能會導(dǎo)致誤導(dǎo)性結(jié)果。這凸顯了需要進(jìn)行強(qiáng)大的錯誤檢查機(jī)制和人類監(jiān)督的必要性。
3. 分析中的關(guān)鍵錯誤：有時，AI科學(xué)家在基本的數(shù)值比較中掙扎，這是LLMS的已知問題。這可能導(dǎo)致錯誤的結(jié)論和實驗結(jié)果的解釋。
4. 道德考慮：自動生成和提交論文的能力引起了人們對壓倒學(xué)術(shù)審查過程並有可能降低科學(xué)話語質(zhì)量的擔(dān)憂。 AI科學(xué)家也存在不道德研究或創(chuàng)造意外有害結(jié)果的風(fēng)險，尤其是在獲得物理實驗的情況下。
5. 模型依賴性：雖然AI科學(xué)家的目標(biāo)是模型不合時宜，但其當(dāng)前的性能在很大程度上取決於GPT-4和Claude等專有前沿LLM。對封閉模型的依賴可能會限制可訪問性和可重複性。
6. 安全問題：該系統(tǒng)修改和執(zhí)行自己的代碼的能力產(chǎn)生了重大的AI安全性。適當(dāng)?shù)纳诚浜桶踩胧斗乐挂馔忉峁陵P(guān)重要。

你必須知道的泡沫

我們觀察到，AI科學(xué)家有時試圖通過更改和運行自己的執(zhí)行腳本來提高成功的機(jī)會。

例如，在一次運行中，它編輯了代碼以執(zhí)行系統(tǒng)調(diào)用以執(zhí)行自身，從而導(dǎo)致無限的自呼叫循環(huán)。在另一種情況下，其實驗超過了時間限制。它沒有優(yōu)化代碼以更快的速度運行，而是嘗試更改自己的代碼以擴(kuò)展超時。以下是這些代碼更改的一些示例。

為我們的學(xué)習(xí)領(lǐng)域定制模板

當(dāng)我們需要自定義研究區(qū)域時，我們還可以編輯模板。只需遵循現(xiàn)有模板的一般格式，該格式通常包括：

1. 實驗：此文件包含您內(nèi)容的核心。它接受一個out_dir參數(shù)，該參數(shù)指定了該目錄將在其中創(chuàng)建一個文件夾以從實驗中保存相關(guān)輸出。
2. plot.py：此腳本讀取從運行文件夾中的數(shù)據(jù)並生成圖。確保代碼清晰易於自定義。
3. 提示。 JSON：使用此文件提供有關(guān)模板的詳細(xì)信息。
4. seed_ideas.json：此文件包含示例想法。您還可以從頭開始生成想法，並選擇最合適的想法。
5. 乳膠/template.tex：雖然我們建議使用提供的乳膠文件夾，但用與您的工作更相關(guān)的預(yù)加載引用。

未來的含義

一個可以開發(fā)和撰寫完整會議級的科學(xué)論文的AI代理，價格低於15美元！

AI科學(xué)家通過使Frontier LLMS執(zhí)行獨立研究並總結(jié)髮現(xiàn)來自動化科學(xué)發(fā)現(xiàn)。

它還使用自動審稿人來…pic.twitter.com/ibgxicsilc

- 貓王（@omarsar0）2024年8月13日

AI科學(xué)家的引入帶來了令人興奮的機(jī)會和重大關(guān)注。這是AI空間中的一場革命。生成完整的會議級科學(xué)論文需要15美元。此外，道德問題，例如壓倒學(xué)術(shù)體系和損害科學(xué)完整性，這是關(guān)鍵，需要清晰地標(biāo)記AI生成的內(nèi)容以實現(xiàn)透明度。此外，AI對不安全研究的潛在濫用構(gòu)成了風(fēng)險，強(qiáng)調(diào)了優(yōu)先考慮AI系統(tǒng)安全性的重要性。

使用專有和開放模型（例如GPT-4O和DeepSeek）提供了明顯的好處。專有模型可提供更高質(zhì)量的結(jié)果，而開放模型則提供了成本效益，透明度和靈活性。隨著AI的進(jìn)步，目的是創(chuàng)建一種使用開放模型自我改進(jìn)AI研究的模型不足的方法，從而導(dǎo)致更容易獲得的科學(xué)發(fā)現(xiàn)。

AI科學(xué)家有望補(bǔ)充而不是取代人類科學(xué)家，從而增強(qiáng)了研究自動化和創(chuàng)新。但是，它複製人類創(chuàng)造力和提出開創(chuàng)性思想的能力仍然不確定?？茖W(xué)家的角色將隨著這些進(jìn)步而發(fā)展，從而為人類合作提供了新的機(jī)會。

結(jié)論

AI科學(xué)家代表著追求自動化科學(xué)發(fā)現(xiàn)的重要里程碑。利用高級語言模型和精心設(shè)計的管道的力量表明，有可能加速各個領(lǐng)域的研究，尤其是在機(jī)器學(xué)習(xí)和相關(guān)領(lǐng)域內(nèi)。

但是，至關(guān)重要的是要以興奮和謹(jǐn)慎處理這項技術(shù)。儘管AI科學(xué)家在產(chǎn)生新穎的思想和製作研究論文方面表現(xiàn)出了非凡的能力，但它也突出了AI安全，道德和對科學(xué)努力中人類監(jiān)督的需求中持續(xù)的挑戰(zhàn)。

如果您正在從專家在線尋找生成AI課程，請?zhí)剿鳎篏enai Pinnacle計劃

常見問題

Ans。 AI科學(xué)家是Sakana AI開發(fā)的自動化系統(tǒng)，它使用先進(jìn)的語言模型來進(jìn)行整個科學(xué)研究過程，從想法生成到同行評審。

Ans。它首先使用提供的模板來集思廣益的研究方向，從而通過搜索語義學(xué)者等數(shù)據(jù)庫來確保獨創(chuàng)性。

Ans。是的，AI科學(xué)家可以自主製作科學(xué)論文，包括創(chuàng)建可視化，引用相關(guān)工作和格式化內(nèi)容。

Ans。道德問題包括淹沒學(xué)術(shù)審查過程，創(chuàng)造誤導(dǎo)成果的潛力以及對確保安全性和準(zhǔn)確性的強(qiáng)大監(jiān)督的需求。

以上是sakana ai＆＃039; s' AI科學(xué)家”：下一個愛因斯坦還是工具？的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！