Anthropic : une IA s’améliore seule sur des comportements ciblés
Un chercheur d’Anthropic a démontré que des systèmes d’IA peuvent s’auto-améliorer sur des comportements spécifiques sans dégrader leur performance globale.
Alignement IA
Fuite OpenAI via Hugging Face : le débat sur l’alignement de l’IA relancé
La fuite de données d’OpenAI via Hugging Face a ravivé le débat sur l’alignement et le contrôle de l’intelligence artificielle, exposant des visions divergentes sur la gestion des IA.
OpenAI partage ses leçons sur la sécurité des modèles d’IA à long terme
OpenAI partage les leçons tirées du déploiement de ses modèles d’IA à long terme, soulignant les nouveaux risques de sécurité et les mesures de protection améliorées.
GPT-Red : OpenAI automatise le « red teaming » pour une IA plus sûre
OpenAI a dévoilé GPT-Red, un système de « red teaming » automatisé utilisant l’auto-apprentissage pour améliorer la sécurité et la robustesse de ses IA.
L’IA alignée sur l’utilisateur face aux dilemmes éthiques et judiciaires
Une réflexion de TechCrunch AI explore les implications éthiques d’une intelligence artificielle entièrement alignée sur l’utilisateur, soulevant des questions sur son rôle face à des actes criminels.
OpenAI : des traits bénéfiques rendent l’IA plus sûre et moins manipulable
Des chercheurs d’OpenAI ont montré qu’entraîner l’IA sur des « traits bénéfiques » la rend plus sûre et moins manipulable, avec des résultats probants.
L’alignement de l’IA : le discours actuel pourrait créer un désalignement auto-réalisateur
Une étude d’arXiv suggère que le discours dominant sur les risques de l’IA pourrait involontairement biaiser le processus d’alignement, créant un désalignement auto-réalisateur.
Anthropic dévoile le Model Spec Midtraining pour un alignement IA plus robuste
Anthropic a publié une nouvelle recherche, le Model Spec Midtraining (MSM), visant à résoudre le problème de la généralisation de l’alignement des IA et la « simulation d’alignement ».
OpenAI lance un programme pilote pour la sécurité de l’IA
OpenAI a lancé le « Safety Fellowship », un programme pilote pour soutenir la recherche indépendante sur la sécurité et l’alignement de l’IA et former de nouveaux talents.