Hugging Face lance un classement pour la synthèse vocale multilingue
Hugging Face a lancé l’Open TTS Leaderboard, un classement ouvert pour l’évaluation évolutive des modèles de synthèse vocale multilingue et de clonage de voix.
évaluation IA
OpenAI lance MentalHealthBench pour évaluer l’IA en santé mentale
OpenAI a introduit MentalHealthBench, un nouveau banc d’essai conçu pour évaluer la pertinence et la sécurité des réponses d’IA dans des conversations sur la santé mentale.
OpenAI détaille ses principes pour l’évaluation tierce de ses modèles d’IA
OpenAI a détaillé ses priorités et principes pour des évaluations tierces rigoureuses et indépendantes de la sécurité de ses modèles d’IA de pointe.
L’UK AISI et EvalEval renforcent la reproductibilité des évaluations d’IA
L’UK AI Safety Institute (AISI) et la plateforme EvalEval de Hugging Face s’associent pour améliorer la reproductibilité et la transparence des évaluations de modèles d’IA.
Contamination des benchmarks : OpenAI retire les scores SWE-bench Verified
OpenAI a cessé de rapporter les scores SWE-bench Verified et recommande aux autres laboratoires de faire de même, suite à une contamination avérée des benchmarks d’évaluation.
Vals AI vise la référence en évaluation des modèles d’IA avec Andreessen Horowitz
Soutenue par Andreessen Horowitz, la startup Vals AI ambitionne de devenir la référence mondiale pour une évaluation neutre et fiable des performances des modèles d’intelligence artificielle.
Accenture, premier évaluateur intégré d’Anthropic
Accenture devient le premier évaluateur intégré pour Anthropic, marquant un engagement de conseil à haut risque.
Fiabilité des juges LLM : l’accord ne garantit pas l’exactitude, selon Amazon Science
Une étude d’Amazon Science remet en question la fiabilité des juges LLM, montrant que leur accord ne garantit pas toujours l’exactitude des évaluations.
Artificial Analysis révise son Indice d’Intelligence après les doutes sur GPT-6 Astra
Artificial Analysis a mis à jour son Indice d’Intelligence, révisant la notation de GPT-6 Astra suite aux critiques concernant sa précédente évaluation.
DeepMind lance les premières évaluations d’IA en double aveugle
DeepMind a lancé les premières évaluations d’IA en double aveugle au monde, une méthode innovante pour éliminer les biais humains dans l’appréciation des systèmes.