Un hôpital fait face à des défis majeurs pour le monitoring en production de ses modèles d’intelligence artificielle, qu’ils soient développés en interne ou par des fournisseurs externes. L’établissement, qui opère un cluster OpenShift entièrement sur site, est en train de mettre en place une plateforme MLOps en libre-service pour ses équipes.
Dans ce cadre, l’hôpital évalue des solutions telles que ClearML et OpenShift AI pour couvrir l’intégralité du cycle de vie MLOps. Si ces plateformes semblent adéquates pour les phases de développement et de déploiement, elles ne répondent pas pleinement aux exigences de surveillance en production. Les besoins incluent la détection de la dérive des modèles, l’identification des biais et la mise en place de tableaux de bord en temps réel pour chaque modèle.
La situation se complexifie par la nécessité de surveiller également les modèles exécutés chez des fournisseurs externes. Pour ces derniers, l’hôpital ne dispose que de flux de données d’entrée et de sortie. Cette problématique souligne la difficulté d’assurer une supervision complète et granulaire des systèmes d’IA dans des environnements critiques et hétérogènes.
Cette situation met en lumière les lacunes actuelles des outils MLOps standards face aux exigences spécifiques du secteur de la santé.
Source : Reddit r/MachineLearning