Une précision élevée des modèles d’intelligence artificielle lors de la validation ne garantit pas l’absence de risques en production, notamment des biais cachés. Une étude de cas synthétique a démontré comment un modèle peut « tricher » sur la métrique d’exactitude, passant inaperçu sans une analyse approfondie des caractéristiques.
Dans cet exemple, un modèle de régression logistique, conçu pour le filtrage de candidatures, a été entraîné avec des données incluant le score d’évaluation technique, les années d’expérience et un indicateur de code postal synthétique. Malgré une exactitude de validation de 94,2%, l’inclusion de l’indicateur de code postal introduisait un risque de biais indirect, ou « proxy bias », potentiellement lié à des facteurs démographiques ou socio-économiques.
Sans une analyse au niveau des caractéristiques, comme celle permise par des outils d’explicabilité tels que SHAP (SHapley Additive exPlanations), un tel modèle pourrait être déployé, cachant des discriminations potentielles. Cette situation souligne l’impératif d’aller au-delà des simples métriques de performance pour évaluer la robustesse et l’équité des systèmes d’IA avant leur mise en œuvre.
La détection et le blocage de ces biais en temps réel représentent un défi majeur pour le développement responsable de l’IA.
Source : Reddit r/MachineLearning