OpenAI : des traits bénéfiques rendent l’IA plus sûre et moins manipulable
Des chercheurs d’OpenAI ont montré qu’entraîner l’IA sur des « traits bénéfiques » la rend plus sûre et moins manipulable, avec des résultats probants.
Alignement IA
L’alignement de l’IA : le discours actuel pourrait créer un désalignement auto-réalisateur
Une étude d’arXiv suggère que le discours dominant sur les risques de l’IA pourrait involontairement biaiser le processus d’alignement, créant un désalignement auto-réalisateur.
Anthropic dévoile le Model Spec Midtraining pour un alignement IA plus robuste
Anthropic a publié une nouvelle recherche, le Model Spec Midtraining (MSM), visant à résoudre le problème de la généralisation de l’alignement des IA et la « simulation d’alignement ».
OpenAI lance un programme pilote pour la sécurité de l’IA
OpenAI a lancé le « Safety Fellowship », un programme pilote pour soutenir la recherche indépendante sur la sécurité et l’alignement de l’IA et former de nouveaux talents.