Analyse de Gemini 4 Argon (High) par ArtificialAnalysis.ai
Une analyse de Gemini 4 Argon (High) par ArtificialAnalysis.ai, évaluant son intelligence, ses performances et son prix, a généré de l’intérêt sur Hacker News.
benchmark
OpenAI lance MentalHealthBench pour évaluer l’IA en santé mentale
OpenAI a introduit MentalHealthBench, un nouveau banc d’essai conçu pour évaluer la pertinence et la sécurité des réponses d’IA dans des conversations sur la santé mentale.
Qonto lance QontoFAQ, un benchmark innovant pour la recherche d’informations
Qonto a développé QontoFAQ, un nouveau benchmark et une métrique innovante pour évaluer les modèles de recherche d’informations en les liant à des cas d’usage concrets.
Real-SWE : Un nouveau benchmark pour les IA sur codes d’entreprise
Un nouveau benchmark, Real-SWE, évalue les modèles d’IA sur des bases de code d’entreprise réelles et privées, offrant une mesure plus précise de leurs capacités.
GPT-6 Astra : Un bond dans le raisonnement spatial robotique
Le modèle GPT-6 Astra démontre des avancées majeures en matière de compréhension spatiale, marquant un « changement d’étape » selon les premiers bancs d’essai.
Cognition lance SWE-2, un modèle d’IA record pour l’ingénierie logicielle
Cognition a lancé SWE-2, un nouveau modèle d’IA pour l’ingénierie logicielle qui établit un record de performance sur le benchmark SWE-bench.
Terminal-Bench-Science : un nouveau banc d’essai pour les agents IA scientifiques
Un nouveau banc d’essai, Terminal-Bench-Science, évalue la capacité des agents IA à réaliser des tâches de recherche scientifique complexes via des outils terminal.
Deepseek lance un modèle Flash vision expérimental rivalisant Opus 4.8
Deepseek a dévoilé V4-Flash-Vision-Exp, un modèle multimodal expérimental qui rivalise, voire surpasse, le modèle Opus 4.8 sur ses propres benchmarks d’agents.
Hugging Face évalue l’optimisation des benchmarks ASR
Hugging Face introduit une méthode d’évaluation privée pour les modèles de reconnaissance vocale automatique (ASR) afin de mesurer et contrer l’optimisation excessive des benchmarks publics.
Classement des API de recherche pour agents IA : qualité, coût et vitesse évalués
Artificial Analysis a publié le ‘Search Index’, un benchmark qui classe les fournisseurs d’API de recherche pour agents IA selon leur qualité, leur coût et leur vitesse.