Une nouvelle approche, baptisée HALO-Loss, vise à résoudre un problème géométrique fondamental des réseaux de neurones, leur permettant d’admettre leur ignorance face à des données non pertinentes plutôt que d’halluciner avec confiance.
Actuellement, lorsqu’ils sont confrontés à des informations de mauvaise qualité, les modèles d’IA ont tendance à générer des réponses erronées avec assurance. Ce comportement découle de la fonction de perte d’entropie croisée standard, qui pousse les caractéristiques des données « infiniment » loin de l’origine pour atteindre une perte nulle. Cela crée un espace latent fragmenté, où le modèle ne dispose d’aucun mécanisme mathématiquement solide pour gérer les données aberrantes.
Ce manque de capacité à « rejeter » les informations non pertinentes conduit à des hallucinations. Le développement de la HALO-Loss cherche à corriger cette lacune en offrant aux réseaux neuronaux la possibilité de s’abstenir de répondre lorsqu’ils ne sont pas certains. Cette innovation pourrait améliorer significativement la fiabilité et la transparence des systèmes d’intelligence artificielle.
La capacité des modèles à reconnaître leurs limites ouvre de nouvelles perspectives pour des IA plus robustes et conscientes de leur propre incertitude.
Source : Reddit r/MachineLearning