OpenAI a cessé de rapporter les scores SWE-bench Verified et recommande aux autres laboratoires de faire de même, suite à une contamination avérée des benchmarks d’évaluation.
AMD a publié les premiers benchmarks officiels de ses processeurs EPYC ‘Venice’, affirmant des performances supérieures face à Nvidia sur le marché des centres de données.
L’équipe AllSpark a dévoilé Iris-mini et Iris-pro, des agents de recherche open-source basés sur les modèles Qwen, qui dominent les benchmarks de leur catégorie.
Les benchmarks de GPT-6 Astra sont contradictoires, mais son efficacité supérieure à l’humain sur ARC-AGI-3 pousse François Chollet à avancer sa prévision d’AGI.
Une étude d’AllenAI, relayée par Hugging Face, révèle que les benchmarks actuels des LLM mesurent souvent la mémorisation plutôt que la véritable capacité de raisonnement.
Le laboratoire Z.ai a officiellement confirmé être l’entité derrière Ox Alpha, le modèle d’intelligence artificielle open source qui a dominé les classements.
Le nouveau modèle de code MAI Code 1.1 Flash de Microsoft est surpassé en performance et en coût par Deepseek V4 Flash, malgré les promesses d’efficacité.
Claude Opus 5 d’Anthropic domine l’Index d’Intelligence Artificielle d’Analyse, surpassant ses rivaux tout en offrant un coût réduit sur certains niveaux.
Papers with Code a inauguré une section dédiée à la robotique, centralisant les benchmarks majeurs, les articles avec code et les ressources open-source.
Une étude compare les performances de Gemma 2 9B auto-hébergé sur une NVIDIA L4 aux API cloud, analysant l’impact de la quantification FP8 et la VRAM.
Le média francophone de référence sur l'intelligence artificielle. Analyses, tutoriels et décryptages pour comprendre l'IA.