L’UK AI Safety Institute (AISI) et la plateforme EvalEval de Hugging Face collaborent pour renforcer la reproductibilité et la transparence des évaluations de modèles d’intelligence artificielle.
Cette initiative vise à résoudre un problème majeur dans le domaine de l’IA : le manque de fiabilité et de comparabilité des benchmarks existants. Souvent, les résultats d’évaluation sont difficiles à reproduire ou à vérifier, ce qui entrave une compréhension claire des capacités et des risques des modèles.
EvalEval, la plateforme d’évaluation de Hugging Face, est au cœur de cette démarche. Elle permet de stocker l’intégralité du code, des données et de l’environnement utilisés pour chaque évaluation, garantissant ainsi une reproductibilité totale. Les résultats et configurations sont également rendus publics pour une transparence accrue.
L’AISI du Royaume-Uni utilise activement EvalEval pour ses propres évaluations, notamment celles des modèles d’IA de pointe. En contribuant à son développement et en promouvant ces standards, l’institut aide à établir des pratiques d’évaluation plus rigoureuses et fiables.
Cette collaboration pourrait poser les bases d’une évaluation plus fiable et standardisée des systèmes d’IA à l’échelle mondiale.
Source : HuggingFace Blog