Une récente évaluation comparative a révélé que GPT-5.6 d’OpenAI surpasse significativement Claude Fable 5 d’Anthropic dans les tâches d’intelligence artificielle physique.
L’étude, menée par JuliaHub, a utilisé le benchmark Physical AI Benchmark (PABench) pour tester les capacités des modèles à interagir avec le monde réel. Ce domaine, crucial pour la robotique et les systèmes de contrôle, évalue la génération de code pour robots, la résolution de problèmes physiques et l’interprétation de données capteurs.
Les résultats montrent que GPT-5.6 excelle particulièrement dans le raisonnement, la génération de code pour des systèmes physiques et la compréhension des interactions complexes. Claude Fable 5 a rencontré davantage de difficultés, notamment pour les calculs numériques précis et la simulation physique détaillée.
Cette divergence souligne l’importance d’évaluations spécifiques pour l’IA physique, au-delà des benchmarks linguistiques standards. Elle met en lumière les défis actuels et la nécessité pour les futurs modèles d’intégrer plus profondément la simulation physique et les données du monde réel pour progresser dans ce domaine.
Source : Hacker News (Algolia)