Guide d’évaluation des plateformes AI SOC pour les leaders de la sécurité
Prophet Security a publié un guide pratique pour aider les leaders de la sécurité à évaluer les plateformes de centres d’opérations de sécurité (SOC) intégrant l’IA.
Évaluation
Chute des notes à Brown : l’interdiction de l’IA révèle un écart frappant
Un professeur de l’Université Brown a constaté une chute spectaculaire des notes d’examen, passant de 96% à 48,6%, après avoir interdit l’usage de l’IA.
Un système de crédits proposé pour améliorer les évaluations ML à l’ICML
Un article de position soumis à l’ICML suggère d’instaurer un système de crédits pour améliorer la qualité des évaluations des soumissions dans les conférences de machine learning.
DeepSWE : Un nouveau benchmark pour évaluer la génération de code IA
Un nouveau banc d’essai, DeepSWE, a été introduit pour évaluer de manière plus rigoureuse les capacités de génération de code des modèles d’intelligence artificielle de pointe.
Les agents de recherche IA confirment plus qu’ils ne cherchent réellement
Une étude révèle que les agents de recherche IA majeurs utilisent principalement le web pour confirmer des informations déjà apprises, plutôt que pour une recherche active.
Évaluation d’un agent IA de support client : des signaux trompeurs
L’évaluation d’un agent IA de support client révèle des signaux trompeurs et des bugs de récupération masqués.
QIMMA : Un nouveau classement pour les LLM arabes axé sur la qualité
Hugging Face et le TII UAE ont lancé QIMMA, un classement novateur pour évaluer la qualité des grands modèles de langage (LLM) arabes.
L’évaluation des LLM remise en question : coût et efficacité des benchmarks
La méthode actuelle d’évaluation des grands modèles de langage (LLM) est remise en question pour son coût en ressources et son efficacité par la communauté IA.
IJCAI 2026 : 70% des articles en phase de réfutation
La phase de discussion des réfutations pour la conférence IJCAI 2026 a débuté, avec environ 70% des articles soumis toujours en cours d’évaluation.