P
Performance
Métriques, seuils, calibration, performances par population, comparateurs et cohérence avec l'usage annoncé.
- Métriques adaptées
- Seuil opérationnel
- Calibration
- Analyse d'erreurs
Référentiel QSTOM-IT - en cours de formalisation
PRISM - Un cadre méthodologique pour évaluer les IA en santé
PRISM organise l'évaluation technique et méthodologique d'un système d'IA en cinq dimensions complémentaires. Le référentiel vise à rendre les questions, les preuves et les tests explicites, versionnés et reproductibles.
Statut du référentiel
PRISM n'est pas une certification réglementaire. La première version publique du référentiel est en préparation et fera l'objet d'une publication.
PRISM
Cinq dimensions complémentaires
R
Robustness
Généralisation, dérive, variations temporelles, données dégradées et conditions dans lesquelles la performance se détériore.
- Stress tests
- Validation externe
- Dérive
- Sensibilité aux données
I
Integrity
Qualité et provenance des données, cohortes, séparation train/test, fuites, traçabilité et reproductibilité du pipeline.
- Data lineage
- Cohortes étanches
- Data leakage
- Reproductibilité
S
Safety
Erreurs critiques, faux négatifs, cas limites, erreurs silencieuses, supervision humaine et conséquences d'une mauvaise sortie.
- Cas critiques
- Supervision
- Modes de défaillance
- Limites d'usage
M
Methodology
Question évaluée, hypothèses, protocole expérimental, comparateurs, validité des conclusions et limites de l'étude.
- Hypothèse explicite
- Protocole
- Comparateurs
- Portée des conclusions
Niveau de preuve
Décrire le niveau de preuve plutôt que calculer une moyenne
PRISM n'a pas vocation à produire un score sur 100. Un problème critique de fuite de données ne doit pas être compensé par de bonnes performances sur d'autres axes.
Aucune conclusion n'est tirée sur ce point.
La méthode ou le résultat est décrit par l'équipe évaluée.
QSTOM-IT a exécuté ou examiné un test ciblé dans le périmètre de la mission.
Le résultat a pu être reproduit à partir des éléments accessibles selon un protocole documenté.
PRISM Assessed
PRISM Assessed - une piste, pas une certification
À terme, une évaluation réalisée selon une version publique de PRISM pourrait être référencée comme PRISM Assessed, avec un identifiant, une date, un périmètre et les limites de l'évaluation. Cette mention attesterait uniquement qu'une évaluation a été réalisée selon le référentiel indiqué.
Publication
Une publication pour rendre le référentiel critiquable
La V1 de PRISM a vocation à être publiée avec ses définitions, règles de décision, niveaux de preuve et un premier cas d'application sur un modèle médical ouvert. L'objectif est de permettre la discussion scientifique et la révision du cadre.
EU AI Act
PRISM et EU AI Act
Certaines dimensions PRISM recouvrent des thèmes présents dans le cadre européen, comme la qualité des données, la robustesse, la documentation et la supervision humaine. Cette correspondance aide à structurer les preuves techniques mais ne constitue pas une évaluation de conformité.
QSTOM-IT
Vous êtes médecin, chercheur, expert qualité ou réglementaire ?
QSTOM-IT recherche des regards externes pour challenger la première version du référentiel avant publication.