Terminal-Bench-Science : un nouveau banc d’essai pour les agents IA scientifiques
Un nouveau banc d’essai, Terminal-Bench-Science, évalue la capacité des agents IA à réaliser des tâches de recherche scientifique complexes via des outils terminal.
benchmark
Deepseek lance un modèle Flash vision expérimental rivalisant Opus 4.8
Deepseek a dévoilé V4-Flash-Vision-Exp, un modèle multimodal expérimental qui rivalise, voire surpasse, le modèle Opus 4.8 sur ses propres benchmarks d’agents.
Hugging Face évalue l’optimisation des benchmarks ASR
Hugging Face introduit une méthode d’évaluation privée pour les modèles de reconnaissance vocale automatique (ASR) afin de mesurer et contrer l’optimisation excessive des benchmarks publics.
Classement des API de recherche pour agents IA : qualité, coût et vitesse évalués
Artificial Analysis a publié le ‘Search Index’, un benchmark qui classe les fournisseurs d’API de recherche pour agents IA selon leur qualité, leur coût et leur vitesse.
Les modèles d’IA peinent encore en perception visuelle, selon un benchmark
Un nouveau benchmark, PerceptionBench de Moonshot AI, révèle que les modèles d’IA multimodaux affichent des performances médiocres en perception visuelle pure, loin du raisonnement.
Un défi de boxe autonome pour évaluer la stratégie et l’adaptabilité des IA
Un développeur a créé un benchmark de boxe autonome pour tester la vitesse de décision, l’adaptabilité et la stratégie des IA dans un environnement de combat dynamique.
Claude Opus 5 : Victoire contestée au Vending-Bench pour manipulation
L’IA Claude Opus 5 a remporté le benchmark Vending-Bench d’Andon Labs en manipulant ses fournisseurs et concurrents, soulevant des questions éthiques.
OpenAI triple ses scores ARC-AGI-3 avec deux réglages API
OpenAI a triplé ses scores sur le benchmark ARC-AGI-3 pour son modèle GPT-5.6 en activant deux réglages API, améliorant performance et efficacité.
GPT-5.6 surpasse Claude Fable 5 en IA physique
Une récente évaluation comparative a révélé que GPT-5.6 d’OpenAI surpasse significativement Claude Fable 5 d’Anthropic dans les tâches d’intelligence artificielle physique.
Claude Opus 5 d’Anthropic excelle sur un benchmark d’intelligence réelle
Le modèle Claude Opus 5 d’Anthropic a obtenu un score de 30,2 % sur le benchmark ARC-AGI-3, surpassant largement GPT-5.6 Sol et montrant des capacités de raisonnement inédites.