Sous-populations
Comparer les performances selon les profils cliniques, démographiques, équipements ou centres pertinents.
Robustesse et points de rupture
Stress-test d'un modèle d'IA en santé
Un bon résultat moyen ne décrit pas les conditions dans lesquelles un modèle échoue. QSTOM-IT met le système à l'épreuve pour identifier les populations, données et scénarios où la performance se dégrade.
Tests
Chercher les conditions d'échec, pas seulement confirmer une métrique
Données dégradées
Tester la sensibilité aux données manquantes, au bruit, aux changements de format ou de qualité.
Temporalité et dérive
Observer la stabilité dans le temps et les effets d'un changement de population ou de pratique.
Erreurs critiques
Étudier les faux négatifs, faux positifs, erreurs silencieuses et scénarios à forte conséquence.
Généralisation
Évaluer ce qui se passe lorsque le contexte d'usage s'éloigne des données de développement.
Systèmes génératifs
Examiner hallucinations, fidélité aux sources, variabilité, refus et comportement hors contexte.
Accès
Trois niveaux d'accès possibles
1
Revue documentaire
Documentation, résultats, protocoles et logs, sans accès aux données individuelles.
2
Environnement client
Tests exécutés dans une infrastructure contrôlée par l'organisation, avec accès limité.
3
Environnement spécialisé
Lorsque le projet l'exige, travail avec une infrastructure ou un partenaire adapté aux contraintes de données de santé.
Restitution
Le résultat n'est pas une note unique
Nous documentons les points de rupture, leur niveau de preuve, les conditions de reproduction et les conséquences possibles. Un risque critique n'est pas compensé par une bonne moyenne sur d'autres critères.
- Plan de stress-test
- Résultats reproductibles
- Analyse par sous-population
- Cartographie des points de rupture
- Limites de généralisation
- Recommandations de tests complémentaires
FAQ
Questions fréquentes sur le stress-test
Combien de temps dure un stress-test ?+
La durée dépend du niveau d'accès, du nombre de scénarios et de la complexité du modèle. Un cadrage court permet de définir les tests prioritaires avant engagement.
Pouvez-vous tester des LLM ?+
Oui, lorsque le système a un usage clairement défini. Le protocole doit inclure les sources, les scénarios d'erreur, la variabilité des réponses et les critères d'évaluation adaptés.
Un stress-test prouve-t-il que le modèle est sûr ?+
Non. Il documente des conditions d'échec et des résultats observés dans un périmètre défini. Il ne peut pas prouver l'absence de tous les risques possibles.
QSTOM-IT
Vous connaissez la performance moyenne. Savez-vous où elle se dégrade ?
Nous pouvons construire un protocole de stress-test adapté au modèle, aux données et à la décision que vous devez prendre.