P
Performance
Métriques, seuils, calibration, performances par population, comparateurs et cohérence avec l'usage annoncé.
- Métriques adaptées
- Seuil opérationnel
- Calibration
- Analyse d'erreurs
Référentiel QSTOM-IT
PRISM - Un cadre méthodologique pour évaluer les IA en santé
PRISM organise l'évaluation technique et méthodologique d'un système d'IA en cinq dimensions complémentaires. Le référentiel vise à rendre les questions, les preuves et les tests explicites, versionnés et reproductibles.
Des affirmations aux preuves
PRISM est le référentiel méthodologique utilisé par QSTOM-IT pour structurer l'évaluation technique et méthodologique des systèmes d'intelligence artificielle en santé. Il organise les questions, les preuves disponibles et les vérifications réalisées autour de cinq dimensions complémentaires.
PRISM ne constitue pas une certification réglementaire et ne remplace ni une étude clinique, ni une évaluation de conformité, ni un avis juridique ou médical.PRISM
Cinq domaines d'évaluation
R
Robustness
Généralisation, dérive, variations temporelles, données dégradées et conditions dans lesquelles la performance se détériore.
- Stress tests
- Validation externe
- Dérive
- Sensibilité aux données
I
Integrity
Qualité et provenance des données, cohortes, séparation train/test, fuites, traçabilité et reproductibilité du pipeline.
- Data lineage
- Cohortes étanches
- Data leakage
- Reproductibilité
S
Safety
Erreurs critiques, faux négatifs, cas limites, erreurs silencieuses, supervision humaine et conséquences d'une mauvaise sortie.
- Cas critiques
- Supervision
- Modes de défaillance
- Limites d'usage
M
Methodology
Question évaluée, hypothèses, protocole expérimental, comparateurs, validité des conclusions et limites de l'étude.
- Hypothèse explicite
- Protocole
- Comparateurs
- Portée des conclusions
Niveaux de preuve PRISM
Jusqu'où une affirmation a-t-elle réellement été vérifiée ?
PRISM ne produit pas une note globale sur 100. Chaque élément examiné est associé à un niveau de preuve qui décrit la profondeur de vérification atteinte dans le périmètre de l'évaluation.
Le niveau de preuve n'est pas une note de qualité. Il indique jusqu'où QSTOM-IT a pu vérifier une affirmation, un résultat ou une propriété du système.
Aucune conclusion n'est tirée sur ce point.
La méthode ou le résultat est décrit par l'équipe évaluée.
QSTOM-IT a exécuté ou examiné un test ciblé dans le périmètre de la mission.
Le résultat a pu être reproduit à partir des éléments accessibles selon un protocole documenté.
!
Principe de non-compensation
Une faiblesse critique sur un axe PRISM n'est pas compensée par de bons résultats sur les autres dimensions. Par exemple, une fuite de données majeure ne devient pas acceptable parce que les performances annoncées sont élevées.
Diagnostic de robustesse
Votre protocole présente-t-il déjà des fragilités méthodologiques ?
Avant une évaluation complète, notre diagnostic permet d'identifier en quelques minutes plusieurs points de vigilance liés aux données, aux cohortes, à la validation et aux métriques.
5 questionsEnviron 2 minutesAucune donnée patient demandée
PRISM Assessed
Documenter précisément ce qui a été évalué
Une évaluation PRISM décrit le système étudié, sa version, le périmètre de l'analyse, les éléments examinés, les niveaux de preuve atteints et les risques critiques identifiés. La mention PRISM Assessed indique qu'une évaluation a été réalisée selon une version identifiée du référentiel. Elle ne constitue pas une certification réglementaire.
Référentiel versionné
Une méthode traçable et évolutive
PRISM est conçu comme un référentiel versionné. Ses critères, ses méthodes d'évaluation et ses règles de reporting évoluent avec les connaissances scientifiques, les retours d'expérience et les transformations des systèmes d'IA en santé. Une évaluation peut ainsi être rattachée à une version précise du référentiel.
PRISM et réglementation
Une lecture complémentaire de l'EU AI Act
Certaines dimensions PRISM recouvrent des thèmes présents dans le cadre européen, notamment la qualité des données, la robustesse, la documentation et la supervision humaine. Cette correspondance permet de structurer les preuves techniques mais ne constitue pas une évaluation de conformité.
QSTOM-IT
Vous souhaitez appliquer PRISM à un système d'IA en santé ?
Présentez-nous le système, son niveau de maturité, le contexte de décision et les résultats que vous souhaitez vérifier.