Une nouvelle bibliothèque Python open-source, nommée oncothresh, accompagnée d’un tableau de bord web sans code, a été développée pour évaluer les modèles d’intelligence artificielle en oncologie directement à leurs seuils de décision clinique.
Les métriques de classification courantes pour les modèles d’IA en oncologie, telles que l’AUC, l’ICC ou le MAE, mesurent principalement l’accord global. Elles ne répondent pas à la question fondamentale au point de décision clinique : quelle est la fiabilité du modèle au seuil précis qui détermine si un patient doit être signalé, biopsié ou traité ?
oncothresh propose une approche ciblée en évaluant les modèles à un seuil clinique spécifique plutôt qu’en agrégat. L’outil calcule la sensibilité, la spécificité, la valeur prédictive positive (VPP) et la valeur prédictive négative (VPN) à ce seuil. Il fournit également des intervalles de confiance bootstrap et des courbes de sensibilité au seuil.
Cette méthode vise à offrir une évaluation plus pertinente et nuancée de la performance des modèles d’IA, essentielle pour leur intégration fiable dans la pratique clinique en oncologie.
Source : Reddit r/MachineLearning