Introduction

Dans l'intelligence artificielle, un développement révolutionnaire est apparu qui promet de remodeler le processus même de la découverte scientifique. En collaboration avec le Foerster Lab pour la recherche sur l'IA à l'Université d'Oxford et des chercheurs de l'Université de la Colombie-Britannique, Sakana AI a introduit ?le scientifique de l'IA? - un système complet con?u pour une découverte scientifique entièrement automatisée. Cette approche innovante exploite le pouvoir des modèles de fondation, en particulier les modèles de langage (LLM), pour mener des recherches indépendantes dans divers domaines.

Le scientifique de l'IA représente un saut significatif en avant dans la recherche dirigée par l'IA. Il automatise l'ensemble du cycle de vie de la recherche, de la génération de nouvelles idées et de la mise en ?uvre d'expériences à l'analyse des résultats et à la production de manuscrits scientifiques. Ce système mène des recherches et comprend un processus de revue automatisé par les pairs, imitant l'approche de création et de validation des connaissances itératives de la communauté scientifique humaine.

Aper?u

1. Sakana AI présente ?le scientifique de l'IA?, un système entièrement automatisé pour révolutionner la découverte scientifique.
2. Le scientifique de l'IA automatise l'ensemble du processus de recherche, de la génération d'idées à la rédaction de papier et à l'examen par les pairs.
3. Le scientifique de l'IA utilise des modèles de langage avancé pour produire des articles de recherche avec une précision et une efficacité presque humaines.
4. Le scientifique de l'IA fait face à des limites des éléments visuels, des erreurs potentielles dans l'analyse et des préoccupations éthiques dans l'intégrité scientifique.
5. Bien que prometteur, le scientifique de l'IA soulève des questions sur la sécurité de l'IA, les implications éthiques et l'évolution du r?le des scientifiques humains dans la recherche.
6. Les capacités des scientifiques de l'IA démontrent un immense potentiel, mais ils nécessitent toujours une surveillance humaine pour garantir la précision et les normes éthiques.

Table des matières

• Principes de travail du scientifique de l'IA
• Analyse des articles générés
• Implémentation du code du scientifique de l'IA
  • Pré-requis
  • Maintenant, nous pouvons préparer les données
  • Génération de documents scientifiques
  • Revue sur papier
• Défis et inconvénients du scientifique de l'IA
• Bloopers que vous devez conna?tre
• Personnaliser les modèles pour notre domaine d'étude
• Implications futures
• Questions fréquemment posées

Principes de travail du scientifique de l'IA

Le scientifique de l'IA opère à travers un pipeline sophistiqué qui intègre plusieurs processus clés.

Le workflow est illustré comme suit:

Maintenant, passons par différentes étapes.

1. Génération d'idées : le système commence par réfléchir à un ensemble diversifié de nouvelles directions de recherche basées sur un modèle de départ fourni. Ce modèle comprend généralement le code existant lié à la zone d'intérêt et à un dossier en latex avec des fichiers de style et des en-têtes de section pour la rédaction de papier. Pour assurer l'originalité, le scientifique de l'IA peut rechercher un érudit sémantique pour vérifier la nouveauté de ses idées.
2. Itération expérimentale : Une fois une idée formulée, le scientifique de l'IA exécute des expériences proposées, obtient des résultats et produit des visualisations. Il documente méticuleusement chaque tracé et résultat expérimental, créant un dossier complet pour la rédaction papier.
3. Rédaction du papier : Le scientifique de l'IA élabore un article scientifique concis et informatif comme une conférence standard d'apprentissage automatique à l'aide des données et des visualisations expérimentales recueillies. Il cite de manière autonome des articles pertinents à l'aide de chercheurs sémantiques.
4. Examen automatisé d'article : le réviseur de l'EI Scientist LLM est un élément crucial. Ce réviseur automatisé évalue les articles générés avec une précision quasi-humaine, fournissant des commentaires qui peuvent être utilisés pour améliorer le projet actuel ou éclairer les orientations de recherche futures.

Analyse des articles générés

AI-Scientist génère et examine les articles sur des domaines comme la modélisation de diffusion, la modélisation du langage et la compréhension. Examinons les résultats.

1. Diffusion à double échelle: équilibre des fonctionnalités adaptatives pour les modèles génératifs de basse dimension

L'article introduit une nouvelle méthode adaptative pour le débraillage à double échelle pour les modèles de diffusion de basse dimension. Cette méthode équilibre la structure globale et les détails locaux grace à une architecture à double branche et à un mécanisme de pondération apprenable et conditionné à l'horodatage. Cette approche démontre des améliorations de la qualité de l'échantillon sur plusieurs ensembles de données 2D.

Bien que la méthode soit innovante et soutenue par une évaluation empirique, elle manque de justification théorique approfondie pour l'architecture à double échelle. Il souffre de co?ts de calcul élevés, limitant potentiellement son application pratique. De plus, certaines sections ne sont pas clairement expliquées, et le manque de jeux de données diversifiés et réels et d'études d'ablation insuffisantes limite l'évaluation.

2. StyleFusion: Génération adaptative multi-styles dans les modèles de langue au niveau des caractères

L'article présente l'adaptateur multi-style, qui améliore la sensibilisation au style et la cohérence dans les modèles de langage au niveau des caractéristiques en intégrant les incorporations de style, une tête de classification de style et un module Styleadapter dans GPT. Il atteint une meilleure cohérence de style et des pertes de validation compétitives dans divers ensembles de données.

Bien que innovant et bien testé, la cohérence de style parfaite du modèle sur certains ensembles de données soulève des préoccupations concernant le sur-ajustement. La vitesse d'inférence plus lente limite l'applicabilité pratique, et l'article pourrait bénéficier de représentations de style plus avancées, d'études d'ablation et d'explications plus claires du mécanisme d'agrégateur d'autoencodeur.

3. Déverrouiller le groching: une étude comparative des stratégies d'initialisation du poids dans les modèles de transformateurs

L'article explore comment les stratégies d'initialisation du poids affectent le phénomène de groching dans les modèles de transformateurs, se concentrant spécifiquement sur les taches arithmétiques dans les champs finis. Il compare cinq méthodes d'initialisation (Pytorch par défaut, Xavier, He, orthogonal et Kaiming Normal) et constate que Xavier et orthogonal montrent une vitesse de convergence supérieure et des performances de généralisation.

L'étude aborde un sujet unique et fournit une comparaison systématique soutenue par une analyse empirique rigoureuse. Cependant, sa portée est limitée aux petits modèles et aux taches arithmétiques, et il manque de perspectives théoriques plus profondes. De plus, la clarté de la configuration expérimentale et les implications plus larges pour les applications de transformateurs plus importantes pourraient être améliorées.

Le scientifique de l'IA est con?u avec une efficacité de calcul à l'esprit, générant des articles complets à environ 15 $ chacun. Bien que cette version initiale présente toujours des défauts occasionnels, le faible co?t et les résultats prometteurs démontrent le potentiel pour les scientifiques de l'IA de démocratiser la recherche et d'accélérer considérablement les progrès scientifiques.

Nous pensons que cela marque l'aube d'une nouvelle ère dans la découverte scientifique, où les agents de l'IA transforment l'ensemble du processus de recherche, y compris la recherche sur l'IA lui-même. Le scientifique de l'IA nous rapproche d'un avenir où la créativité et l'innovation abordables et sans limites peuvent relever les défis les plus urgents du monde.

Lire aussi: une lecture incontournable: 15 articles essentiels de l'IA pour les développeurs Genai

Implémentation du code du scientifique de l'IA

Examinons une version simplifiée de la fa?on dont on pourrait implémenter les fonctionnalités de base du scientifique AI à l'aide de Python. Cet exemple se concentre sur le processus de génération de papier:

Pré-requis

Clone le référentiel GitHub avec - 'git clone https://github.com/sakanaai/ai-scientist.git'

Installez ?Texlive? en fonction des instructions fournies chez Texlive selon votre système d'exploitation. Reportez-vous également aux instructions dans le repo github ci-dessus.

Assurez-vous que vous utilisez la version Python 3.11 . Il est recommandé d'utiliser un environnement virtuel séparé.

Installez les bibliothèques nécessaires pour ?AI-Scientist? à l'aide de ?Pip Install -r exigences.txt?

Configurez votre touche Openai avec le nom 'openai_api_key'

Maintenant, nous pouvons préparer les données

 # Préparer les données de nanogpt

python data / enwik8 / prépare.py

Python Data / Shakespeare_Char / Prepare.py

Python Data / Text8 / Prepare.py

Une fois que nous avons préparé les données comme ci-dessus, nous pouvons exécuter des courses de base comme suit

Modèles de CD / nanogpt && python Experiment.py --out_dir run_0 && python trot.py

Modèles de CD / nanogpt_lite && python expériment.py --out_dir run_0 && python trot.py

Pour configurer la diffusion 2D, installez les bibliothèques requises et exécutez les scripts ci-dessous

# le code mentionné ci-dessous avec le référentiel de clones et l'installer

git clone https://github.com/gregverseeg/npeet.git

cd npeet

Pip Install.

PIP Installer Scikit-Learn

# Configurer la course de référence de diffusion 2D

# Cette commande exécute un script d'expérience, enregistre la sortie vers un répertoire, puis trace les résultats, uniquement si l'expérience se termine avec succès.

Modèles de CD / 2D_DIFFUSION && python Experiment.py --out_dir run_0 && python trot.py

Pour configurer Grokking

pip install einops

# Configurer la course de référence de Grokking

# Cette commande exécute également un script d'expérience, enregistre la sortie vers un répertoire, puis trace les résultats, uniquement si l'expérience se termine avec succès.

Modèles de CD / GROKKING && python Experiment.py --out_dir run_0 && python trot.py

Génération de documents scientifiques

Une fois que nous avons défini et exécuté les exigences mentionnées ci-dessus, nous pouvons démarrer la génération de papier scientifique en exécutant le script ci-dessous

 # Cette commande exécute le script lancé_scientist.py à l'aide du modèle GPT-4O pour effectuer l'expérience NANOGPT_LITE et générer 2 nouvelles idées.

python laun?age_scientist.py --model "gpt-4o-2024-05-13" - Experiment nanogpt_lite --num-ideas 2

Revue sur papier

Cela créera le document scientifique en tant que fichier PDF. Maintenant, nous pouvons revoir le document.

 Importer Openai

à partir de ai_scientist.perform_review Import charge_paper, perform_review

client = openai.openai ()

modèle = "GPT-4O-2024-05-13"

# Chargez du papier à partir du fichier PDF (texte brut)

Paper_txt = load_paper ("report.pdf")

# Obtenez le dict de la revue de l'examen

examen = perform_review (

Paper_txt,

modèle,

client,

num_reflections = 5,

num_fs_examples = 1,

num_reviews_ensemble = 5,

température = 0,1,

)

# Inspectez les résultats de la révision

Revoir ["global"] # score global 1-10

Examiner ["décision"] # ['accepter', 'rejeter']

Examiner ["faiblesse"] # Liste des faiblesses (STR)

Défis et inconvénients du scientifique de l'IA

Malgré son potentiel révolutionnaire, le scientifique de l'IA fait face à plusieurs défis et limites:

1. Limites visuelles: la version actuelle manque de capacités de vision, conduisant à des problèmes avec les éléments visuels dans les articles. Les tracés peuvent être illisibles, les tables peuvent dépasser les largeurs de page et la disposition globale peut être sous-optimale. Cette limitation pourrait être abordée en incorporant des modèles de fondations multimodales dans les futures itérations.
2. Erreurs de mise en ?uvre : les scientifiques de l'IA peuvent parfois mettre en ?uvre à tort leurs idées ou faire des comparaisons injustes avec les lignes de base, ce qui pourrait entra?ner des résultats trompeurs. Cela met en évidence la nécessité de mécanismes de vérification des erreurs robustes et de surveillance humaine.
3. Erreurs critiques dans l'analyse : Parfois, le scientifique de l'IA se débat avec les comparaisons numériques de base, un problème connu avec les LLM. Cela peut conduire à des conclusions erronées et à des interprétations des résultats expérimentaux.
4. Considérations éthiques: La capacité de générer et de soumettre automatiquement des articles suscite des préoccupations concernant la submergation du processus d'examen académique et potentiellement abaisser la qualité du discours scientifique. Il y a aussi le risque que le scientifique de l'IA soit utilisé pour la recherche contraire à l'éthique ou la création de résultats nocifs involontaires, surtout s'ils ont accès à des expériences physiques.
5. Dépendance du modèle: Bien que le scientifique de l'IA vise à être agnostique du modèle, ses performances actuelles dépendent fortement des LLM frontières propriétaires comme GPT-4 et Claude. Cette dépendance à l'égard des modèles fermés pourrait limiter l'accessibilité et la reproductibilité.
6. Concernant la sécurité: La capacité du système à modifier et à exécuter son propre code soulève des implications importantes sur la sécurité de l'IA. Des mesures de sable et de sécurité appropriées sont cruciales pour prévenir les conséquences involontaires.

Bloopers que vous devez conna?tre

Nous avons observé que le scientifique de l'IA tente parfois de renforcer ses chances de succès en modifiant et en exécutant son propre script d'exécution.

Par exemple, lors d'une exécution, il a édité le code pour effectuer un appel système pour s'exécuter, résultant en une boucle infinie de calendriers. Dans un autre cas, ses expériences ont dépassé la limite de temps. Plut?t que d'optimiser le code pour s'exécuter plus rapidement, il a tenté de modifier son propre code pour prolonger le délai d'attente. Voici quelques exemples de ces modifications de code.

Personnaliser les modèles pour notre domaine d'étude

Nous pouvons également modifier les modèles lorsque nous devons personnaliser notre zone d'étude. Suivez simplement le format général des modèles existants, qui incluent généralement:

1. Experiment.py: Ce fichier contient le c?ur de votre contenu. Il accepte un argument OUT_DIR, qui spécifie le répertoire où il créera un dossier pour enregistrer la sortie pertinente de l'expérience.
2. Plot.py: ce script lit les données des dossiers d'exécution et génère des intrigues. Assurez-vous que le code est clair et facilement personnalisable.
3. prompt.json: utilisez ce fichier pour fournir des informations détaillées sur votre modèle.
4. Seed_ideas.json: Ce fichier contient des exemples d'idées. Vous pouvez également générer des idées à partir de zéro et sélectionner les plus appropriées à inclure ici.
5. latex / template.tex: Bien que nous recommandons d'utiliser notre dossier Latex fourni, remplacez toutes les citations préchargées par celles qui sont plus pertinentes pour votre travail.

Implications futures

Un agent d'IA qui peut développer et écrire un papier scientifique complet au niveau de la conférence co?te moins de 15 $ !?

Le scientifique de l'IA automatise la découverte scientifique en permettant aux LLM de Frontier d'effectuer des recherches indépendantes et de résumer les résultats.

Il utilise également un critique automatisé pour… pic.twitter.com/ibgxicsilc

- Elvis (@ OMarsar0) 13 ao?t 2024

L'introduction du scientifique de l'IA apporte à la fois des opportunités passionnantes et des préoccupations importantes. C'est une révolution dans l'espace AI; Il faut 15 $ pour générer un document scientifique complet au niveau de la conférence. De plus, les problèmes éthiques, comme écrasant le système académique et compromettant l'intégrité scientifique, sont essentiels, tout comme la nécessité d'un étiquetage clair du contenu généré par l'IA pour la transparence. De plus, l'utilisation abusive potentielle de l'IA pour la recherche dangereuse pose des risques, soulignant l'importance de hiérarchiser la sécurité dans les systèmes d'IA.

L'utilisation de modèles propriétaires et ouverts, tels que GPT-4O et Deepseek, offre des avantages distincts. Les modèles propriétaires fournissent des résultats de meilleure qualité, tandis que les modèles ouverts offrent une économie, une transparence et une flexibilité. à mesure que l'IA avance, l'objectif est de créer une approche agnostique pour le modèle pour la recherche sur l'IA auto-améliorée en utilisant des modèles ouverts, conduisant à des découvertes scientifiques plus accessibles.

Le scientifique de l'IA devrait compléter, et non remplacer, les scientifiques humains, améliorer l'automatisation de la recherche et l'innovation. Cependant, sa capacité à reproduire la créativité humaine et à proposer des idées révolutionnaires reste incertaine. Les r?les des scientifiques évolueront à c?té de ces progrès, favorisant de nouvelles opportunités pour la collaboration humaine-AI.

Conclusion

Le scientifique de l'IA représente une étape importante dans la poursuite de la découverte scientifique automatisée. Tirer parti de la puissance des modèles de langue avancée et d'un pipeline soigneusement con?u montre le potentiel d'accélérer la recherche dans divers domaines, en particulier dans l'apprentissage automatique et les domaines connexes.

Cependant, il est crucial d'aborder cette technologie avec l'excitation et la prudence. Bien que le scientifique de l'IA montre des capacités remarquables dans la génération de nouvelles idées et la production de documents de recherche, il met également en évidence les défis continus de la sécurité, de l'éthique de l'IA et du besoin de surveillance humaine dans les efforts scientifiques.

Si vous recherchez un cours d'IA génératif en ligne des experts, explorez: le programme Genai Pinnacle

Questions fréquemment posées

Ans. Le scientifique de l'IA est un système automatisé développé par Sakana AI qui utilise des modèles de langage avancé pour mener l'ensemble du processus de recherche scientifique, de la génération d'idées à l'examen par les pairs.

Ans. Il commence par réfléchir à de nouvelles directions de recherche en utilisant un modèle fourni, en garantissant l'originalité en recherchant des bases de données comme le chercheur sémantique.

Ans. Oui, le scientifique de l'IA peut élaborer de manière autonome des articles scientifiques, y compris la création de visualisations, la citation de travaux pertinents et la mise en forme du contenu.

Ans. Les préoccupations éthiques incluent le potentiel de submerger le processus de révision académique, la création de résultats trompeurs et la nécessité d'une surveillance robuste pour assurer la sécurité et la précision.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!