Repérez les fragilités théoriques de votre protocole avant une revue technique.

Cinq questions ciblent les points de rupture les plus fréquents : séparation des données, validation externe, sous-populations et choix des métriques.

Auto-évaluation

Un résultat utile, sans prétendre auditer automatiquement votre IA.

Ce diagnostic évalue uniquement la cohérence théorique de vos réponses. Il n’analyse ni votre code, ni vos données, ni la performance réelle du modèle.

Inspiré des travaux PRISM

Ce diagnostic couvre quelques points méthodologiques. Il ne représente pas l'ensemble du référentiel PRISM.

QSTOM-IT · Diagnostic pré-vol Calcul local

Diagnostic de robustesse méthodologique

Répondez selon la documentation actuellement disponible. « Je ne sais pas » est une information utile.

DonnéesQuel est le type principal de données traité par le système d’IA ?Cette réponse adapte les contrôles de cohérence appliqués aux questions suivantes.

AImagerie médicale ou lames histologiquesBSéries temporelles ou signaux physiologiquesECG, EEG, constantes, données longitudinalesCDonnées tabulaires ou dossier patient informatiséDTexte médical, littérature ou IA générativeLLM, comptes rendus, recherche documentaire

Séparation des jeuxComment les données d’entraînement et d’évaluation ont-elles été séparées ?Choisissez la règle principale utilisée pour constituer le jeu de test final.

ADécoupage aléatoire par échantillon, image ou mesureBDécoupage strictement étanche par patientCDécoupage temporelUne période pour l’entraînement, une période ultérieure pour le testDDécoupage par établissement ou centre hospitalierEMéthode inconnue ou non documentée

Validation externeD’où proviennent les données utilisées pour évaluer la performance ?La diversité des centres permet d’examiner la sensibilité aux pratiques, équipements et populations locales.

AUn seul hôpital ou centre de soinBPlusieurs centres, mélangés entre entraînement et testCUn ou plusieurs centres de test strictement externesDUne base publique générique uniquementEProvenance inconnue ou non documentée

Sous-populationsComment les performances ont-elles été examinées sur les sous-groupes ?Une moyenne globale peut masquer des écarts importants entre patients, équipements ou situations cliniques.

AUne métrique globale unique sur l’ensemble du jeu de donnéesBUne analyse par âge et sexe uniquementCUne stratification clinique et technique approfondieSévérité, sous-types, équipements, centres ou conditions d’acquisitionDAucune analyse par sous-groupeEJe ne sais pas ou ce n’est pas documenté

Métrique principaleQuelle mesure est principalement utilisée pour justifier la performance ?Sélectionnez la métrique mise en avant dans les présentations ou documents de décision.

APrécision globale (accuracy)BROC-AUC, PR-AUC ou F1-score globalCSensibilité et spécificité à un seuil opérationnel définiDMétrique textuelle ou évaluation humainePour les systèmes génératifs ou textuelsEMétrique inconnue ou non documentée

Sélectionnez une réponse pour continuer.

Vos réponses restent dans ce navigateur et ne sont pas envoyées à QSTOM-IT.

Fiche de vigilance méthodologique

Résultat basé sur 5 déclarations, sans accès au code ni aux données.

0Risques importants

0Points à vérifier

0Points favorables

Ce que ce résultat démontre - et ne démontre pas

Le diagnostic signale des risques théoriques à partir de vos déclarations. Seule une revue des cohortes, du pipeline et des résultats peut établir si ces fragilités existent réellement.

QSTOM-IT

Quantitative & Scientific Testing of Operational Models - Intelligent Technologies

Conception, évaluation et robustesse des systèmes d'intelligence artificielle en santé.

Lille - Hauts-de-France - France

Services

Conception projet IA santé Audit IA santé Stress-test Formation

Méthode et ressources

PRISM Diagnostic de robustesse Publications EU AI Act

Entreprise

À propos Contactcontact [at] qstom-it.com