Les IA de pointe commettent trois erreurs de raisonnement systématiques
Une analyse de la fondation ARC Prize révèle que les modèles d’IA comme GPT-5.5 et Opus 4.7 commettent trois erreurs de raisonnement systématiques sur le benchmark ARC-AGI-3.
benchmark
Claude d’Anthropic rivalise avec des experts humains en bioinformatique
Anthropic a développé BioMysteryBench, un nouveau banc d’essai qui suggère que son modèle Claude peut résoudre des problèmes de bioinformatique au niveau d’un expert humain, malgré des réserves importantes.
Benchmark : plugin « caveman » de Claude Code face à l’instruction « sois bref »
Une analyse récente a comparé le plugin « caveman » de Claude Code à l’instruction « sois bref » pour évaluer l’efficacité des méthodes de prompting sur la concision des IA.
Le Structured Output Benchmark (SOB) évalue la précision des valeurs JSON
Le Structured Output Benchmark (SOB) propose une nouvelle méthode pour évaluer la précision des valeurs extraites par les modèles d’IA, allant au-delà de la simple conformité au schéma JSON.
Un nouveau benchmark évalue les IA via le calcul lambda
Un nouveau benchmark, Lambench, évalue les IA via le calcul lambda, un formalisme mathématique abstrait.
OCR : des LLM plus anciens et moins chers souvent plus performants
Une étude comparative de 18 grands modèles de langage pour l’OCR révèle que des modèles plus anciens ou moins coûteux surpassent fréquemment les plus récents.
L’IA perd la moitié de ses performances face aux graphiques complexes
Une nouvelle étude comparative révèle que les meilleurs modèles d’IA perdent près de la moitié de leurs performances lorsqu’ils analysent des graphiques complexes.
Analyse comparative des modèles « abliterated » et Qwen sur Reddit
Un utilisateur de Reddit a publié une analyse comparative des modèles « abliterated » de HauhauCS, Heretic et Huihui face aux modèles Qwen 3/3.5, suscitant des réactions dans la communauté.
VAKRA : un nouveau benchmark pour évaluer le raisonnement des agents d’IA
IBM Research a lancé VAKRA, un benchmark évaluant la capacité des agents d’IA à raisonner et utiliser des outils, révélant leurs forces et faiblesses actuelles.
AI Overviews : Google conteste 10 % d’erreurs, mais en dénombre 22 %
Google conteste un taux d’erreur de 10 % pour ses AI Overviews, mais ses propres outils de test révèlent un chiffre de 22 %.