Hugging Face évalue l’optimisation des benchmarks ASR
Hugging Face introduit une méthode d’évaluation privée pour les modèles de reconnaissance vocale automatique (ASR) afin de mesurer et contrer l’optimisation excessive des benchmarks publics.
évaluation IA
Optima : l’évaluation d’IA personnalisée par vos données
Artificial Analysis a lancé Optima, une plateforme permettant de créer des benchmarks d’IA personnalisés avec les données et flux de travail des utilisateurs.
Oncothresh : Évaluation précise des IA en oncologie aux seuils cliniques
Une nouvelle bibliothèque Python open-source, oncothresh, permet d’évaluer les modèles d’IA en oncologie spécifiquement aux seuils de décision clinique.
OpenAI renforce la cybersécurité de ses modèles après des incidents
OpenAI a récemment détaillé des incidents survenus lors d’évaluations de cybersécurité menées par des tiers sur ses modèles d’IA, et annonce de nouvelles mesures.
Hugging Face lance Real World VoiceEQ pour évaluer la qualité humaine des voix IA
Hugging Face a dévoilé Real World VoiceEQ, une nouvelle méthodologie pour évaluer la qualité humaine des voix générées par l’IA, au-delà des métriques techniques.
OpenAI alerte sur la fiabilité du benchmark de codage SWE-Bench Pro
Une nouvelle analyse d’OpenAI révèle des problèmes de fiabilité et de précision dans SWE-Bench Pro, un benchmark de codage populaire pour les IA.
Les métriques de l’IA : entre utilité et limites intrinsèques
Les métriques, bien qu’utiles, possèdent des faiblesses intrinsèques pouvant masquer ou altérer la réalité, un constat crucial pour l’évaluation de l’intelligence artificielle.
OpenAI simule le déploiement de ses IA pour anticiper leur comportement
OpenAI a dévoilé la Simulation de Déploiement, une méthode pour prédire le comportement de ses modèles d’IA avant leur mise en service, améliorant sécurité et évaluation.
olmo-eval : un banc d’essai pour le développement de modèles d’IA
AllenAI, via le blog HuggingFace, a présenté olmo-eval, un environnement d’évaluation conçu pour optimiser le cycle de développement des modèles d’intelligence artificielle.
OpenAI publie un guide pour l’évaluation tierce de ses IA de pointe
OpenAI a publié des directives pour l’évaluation par des tiers de ses systèmes d’IA de pointe, afin de renforcer la confiance et la sécurité.