Aller au contenu
Cas d'Usage IA de Santé et de Diagnostic

EVIDE pour l'IA de Santé et de Diagnostic

Préserver les preuves observables à la frontière entre données cliniques, interprétation automatique et conséquence opérationnelle.

Pour les prestataires de santé, hôpitaux, laboratoires de diagnostic, fabricants de dispositifs médicaux, développeurs d'IA, institutions de recherche et autorités publiques évaluant des flux évidentiaires opérationnels ou expérimentaux.

Section 1

1. Pourquoi cela compte maintenant

Tout système d'IA diagnostique pourrait, tôt ou tard, être confronté à une question évidentiaire.

Lorsqu'un résultat diagnostique est contesté ou soumis à examen, que ce soit par un patient, un collège clinique ou une autorité de surveillance, la question ne porte pas seulement sur ce que le système a produit. Elle porte aussi sur ce qui peut être reconstitué de manière indépendante après l'événement.

L'usage de l'intelligence artificielle dans le diagnostic de santé offre des opportunités importantes, mais il introduit un problème en un point précis : le moment où le système interprète un contenu reçu, tel qu'un rapport, une image diagnostique, des données cliniques structurées, un résultat de laboratoire ou des données générées par des capteurs. Selon sa fonction déclarée, le système peut être censé distinguer, par exemple, une donnée clinique d'une instruction opérationnelle, et une information ordinaire d'une possible manipulation.

Les calendriers réglementaires peuvent être prévisibles. Les incidents ne le sont pas toujours.

Un incident survenant avant qu'une procédure évidentiaire ait été établie ne perd pas pour autant sa signification. Il peut simplement laisser moins d'éléments préservés de manière indépendante pour une reconstitution ultérieure.

Section 2

2. Pourquoi la frontière évidentiaire compte dans la santé

Dans le domaine de la santé, la distinction entre donnée clinique, instruction, métadonnée et contenu externe peut affecter directement les classifications, les priorités, les escalades, les rapports et les recommandations. Un même contenu peut présenter :

C'est l'un des points où une anomalie, si elle n'est pas observée ou préservée, peut devenir partiellement ou totalement non reconstituable.

Section 3

3. Le risque ne se limite pas à la cybersécurité traditionnelle

La cybersécurité protège les systèmes, les réseaux et les accès. Mais un événement peut aussi concerner la manière dont un système d'IA interprète des contenus formellement accessibles et légitimes. Trois formes de préoccupation doivent être distinguées :

Parmi ces formes, les situations préoccupantes comprennent :

Il s'agit de scénarios de risque, et non d'affirmations que de tels événements se sont produits dans un établissement ou une technologie donnés. La question de savoir laquelle de ces formes s'applique dans un cas donné n'est pas déterminée par EVIDE.

Le domaine est large : images diagnostiques, données cliniques structurées, résultats de laboratoire, données générées par des capteurs, systèmes de triage, systèmes de télémédecine, dispositifs médicaux intégrant des composants d'IA, et systèmes produisant des classifications, des priorités, des recommandations ou des escalades, et pas seulement des rapports textuels.

Section 4

4. Surfaces visibles pour l'humain et surfaces visibles pour la machine

Un même contenu peut présenter au moins cinq conditions distinctes :

La classification d'une surface comme visible pour l'humain ou visible pour la machine peut être déclarée par le système ou le participant et, lorsque c'est possible, étayée par des artefacts techniques. EVIDE préserve cette distinction et son niveau de soutien, sans présumer que la visibilité interne a été vérifiée de manière indépendante.

Cette distinction se rattache directement aux declared visibility surfaces déjà prévues par l'architecture EVIDE.

Section 5

5. La frontière d'interprétation observable

EVIDE ne préserve pas la chaîne de raisonnement interne du modèle. EVIDE préserve la frontière observable à laquelle une classification déclarée, une condition étayée par des artefacts ou un autre signal observable de l'extérieur a été associé à une action, un blocage, une escalade ou un résultat.

Selon sa fonction déclarée, le système peut être censé distinguer, par exemple, les données cliniques des instructions, l'information des commandes, le contenu fiable du contenu non vérifié, le résultat diagnostique de la directive opérationnelle, et le traitement ordinaire d'une condition nécessitant une escalade.

Lorsque le système est censé opérer de telles distinctions, elles peuvent constituer une véritable frontière évidentiaire.

Section 6

6. Instruction Conflict Signature — ICS

Une Instruction Conflict Signature est un concept évidentiaire proposé, actuellement en cours d'évaluation dans le cadre EVIDE.

Elle décrit un ensemble candidat de signaux observables associés à un possible conflit entre la tâche déclarée (declared task scope) et des instructions présentes dans une source externe. Signaux possibles :

La présence d'une Instruction Conflict Signature peut constituer un déclencheur évidentiaire candidat. Elle ne constitue pas la preuve d'une attaque, d'une erreur, d'une intention malveillante, d'un préjudice clinique, d'une causalité ou d'une responsabilité.

Une ICS n'est ni une norme clinique, ni une fonction validée, ni une capacité déjà mise en œuvre automatiquement dans la plateforme.

Section 7

7. Quand un intake EVIDE peut être déclenché

La présence déclarée ou observée d'une ICS n'active pas nécessairement un intake. Elle peut satisfaire une condition de matérialité évidentiaire définie au préalable et, selon le périmètre applicable, conduire à la proposition ou à l'activation d'un checkpoint évidentiaire. Elle ne suit pas une séquence déterministe du type « ICS détectée → intake automatique requis ».

Conditions pouvant être pertinentes :

Section 8

8. Ce que l'intake peut préserver

Les champs suivants constituent un Minimum Evidentiary Set candidat, à tester et à affiner pour le système, la frontière et le périmètre expérimental définis. Ils ne constituent pas un schéma universel déjà établi :

  1. identifiant de l'événement ;
  2. source et provenance déclarées ;
  3. origine déclarée de l'artefact référencé ;
  4. chemin de transfert déclaré ;
  5. horodatage de réception ;
  6. horodatage de préservation ;
  7. digest de l'artefact ;
  8. condition de garde à la frontière de l'intake ;
  9. représentation effectivement reçue ;
  10. surface de visibilité déclarée ;
  11. segment matériellement pertinent ;
  12. tâche ou objectif déclaré ;
  13. condition d'anomalie ou de conflit déclarée ou étayée par des artefacts ;
  14. classification déclarée par le système ;
  15. action proposée ou tentée ;
  16. conséquence opérationnelle ;
  17. intervention ou confirmation humaine ;
  18. versions du modèle, des politiques et des outils ;
  19. références à des preuves externes ;
  20. niveau de soutien indépendant pour chaque affirmation matérielle ;
  21. signaux non résolus et toute condition non vérifiable applicable.
Un digest et un horodatage de réception ou de préservation n'établissent pas, à eux seuls, l'auteur, l'origine, l'authenticité, le moment de création ou la véracité du contenu référencé.

Section 9

9. Résultats observables et états évidentiaires

Pour éviter toute ambiguïté, « ignored » n'est pas utilisé seul, car il peut avoir des sens opposés. Les étiquettes candidates de résultat évidentiaire pour ce cas d'usage proposé pourraient inclure :

Ces étiquettes candidates sont présentées pour évaluation et ne correspondent pas nécessairement à des champs ou à des états déjà mis en œuvre dans la plateforme EVIDE. unresolved et unverifiable peuvent être reliés à des capacités EVIDE existantes ; le reste de la liste demeure candidat.

Aucune de ces étiquettes ne détermine l'exactitude clinique, la conformité, la causalité, la faute ou la responsabilité.

Section 10

10. Ce qu'EVIDE ne fait pas

EVIDE préserve

  • les conditions observables dans lesquelles un résultat diagnostique ou opérationnel a été produit, modifié, bloqué, escaladé ou transmis

Ce qu'EVIDE ne fait pas

  • EVIDE ne pose pas de diagnostic ;
  • EVIDE ne détermine pas l'exactitude clinique ;
  • EVIDE ne remplace pas les professionnels de santé ;
  • EVIDE n'autorise pas de traitements ni de décisions de santé ;
  • EVIDE ne contrôle pas le dispositif pendant l'exécution ;
  • EVIDE ne remplace pas la cybersécurité, l'ingénierie de sûreté ou la validation réglementaire ;
  • EVIDE n'acquiert ni ne certifie la chaîne de raisonnement interne du modèle ;
  • EVIDE n'établit pas automatiquement une attaque, une erreur, une causalité, une faute ou une responsabilité.

La possibilité de reconstitution est une condition évidentiaire, et non une détermination clinique ou de gouvernance.

Section 11

11. Parcours possible d'évaluation opérationnelle

Ce n'est ni un parcours d'intégration cliniquement validé, ni une solution prête pour tout environnement de santé. Il s'agit d'un parcours d'évaluation possible :

  1. Identification du système et de la frontière
  2. Conditions de matérialité évidentiaire
  3. Sélection des checkpoints
  4. Minimum Evidentiary Set candidat
  5. Liaison des artefacts externes
  6. Configuration des intakes
  7. Revue de la suffisance de reconstitution
  8. Revue périodique des déclencheurs et des limites
Aucune promesse n'est faite de certification clinique, de validité diagnostique, de sécurité opérationnelle ou de conformité automatique.

Section 12

12. Parcours expérimental du Governance Lab

Expérimentation contrôlée, initialement sans données de santé réelles et avec des scénarios synthétiques, selon la séquence standard du Lab :

  1. Enregistrement
  2. Confirmation de l'identité
  3. NDA lorsque requis
  4. Scope Draft
  5. Profile Freeze côté participant
  6. Scope Freeze bilatéral
  7. Démarrage de l'expérimentation

Expérimentations possibles :

La participation au Lab ne constitue pas une approbation, une certification ou une validation du participant ou de la technologie.

Section 13

13. Minimisation des données et tests synthétiques

Les tests synthétiques réduisent l'exposition aux données de santé réelles, mais n'établissent pas, à eux seuls, la validité clinique, la sécurité opérationnelle ou la conformité réglementaire.

Section 14

14. Reconstitution évidentiaire après un incident

En l'absence de checkpoint évidentiaire, le résultat final peut rester disponible alors que les conditions qui l'ont produit disparaissent.

Avec EVIDE, la reconstitution n'a pas à dépendre uniquement du rapport final ; elle peut s'appuyer sur les éléments préservés au checkpoint. Lorsque ces éléments sont disponibles et relèvent du périmètre défini, une reconstitution soutenue par EVIDE peut inclure l'entrée reçue, la surface de visibilité déclarée, les versions actives, la condition de conflit déclarée ou étayée par des artefacts, l'intervention humaine, la conséquence opérationnelle et les signaux non résolus.

Section 15

15. Scénarios illustratifs

Les scénarios suivants sont illustratifs et ne décrivent pas des incidents réels.

Scénario A — Une instruction incorporée dans un rapport

Un système reçoit un rapport contenant un texte clinique visible et une instruction incorporée non immédiatement visible pour l'opérateur. L'instruction prétend modifier la priorité du cas.

Séquence :

  1. Contenu reçu
  2. Divergence de visibilité déclarée ou étayée par des artefacts
  3. Candidat de conflit d'instruction identifié
  4. Action bloquée ou escaladée
  5. Revue humaine demandée
  6. Artefacts et états pertinents ancrés
  7. Aucune conclusion automatique concernant une attaque, une erreur clinique, une causalité ou une responsabilité

Scénario B — Un agent reçoit un refus et tente un autre chemin

Un agent d'IA exécutant une tâche déclarée au sein d'un établissement de santé demande l'accès à une ressource, qui peut être des données de patient, un outil diagnostique ou un flux de travail clinique. Le système de contrôle d'accès renvoie un refus. L'agent effectue ensuite d'autres tentatives, et il est déclaré qu'un accès ultérieur a été obtenu par un chemin différent.

Lorsque les étapes pertinentes sont soumises à EVIDE dans le périmètre défini, une reconstitution peut relier :

Séquence :

  1. Demande
  2. Décision d'accès renvoyée (refus)
  3. Tentatives ultérieures
  4. Accès ultérieur par un autre chemin déclaré ou étayé par des artefacts
  5. Résultat
  6. Intervention ou confirmation humaine

Lorsque le périmètre applicable et la mise en œuvre le permettent, les étapes liées peuvent être reliées par des enregistrements d'intake liés et des références de chaîne applicables. La liaison enregistre la relation entre les entrées ; elle n'établit pas que l'une a causé l'autre.

Ce que ce scénario n'établit pas

  • EVIDE n'accorde ni ne refuse l'accès ;
  • EVIDE ne bloque pas l'agent en temps réel ;
  • EVIDE ne remplace pas identity and access management, les contrôles d'accès ou la surveillance de sécurité ;
  • un accès ultérieur ne prouve pas un contournement, une irrégularité ni un lien de causalité avec le refus antérieur ;
  • un chemin alternatif a pu être légitime ;
  • l'absence d'une étape préservée ne prouve pas que cette étape n'a pas eu lieu ;
  • EVIDE n'établit ni attaque, ni erreur, ni causalité, ni faute, ni responsabilité.

Section 16

16. Qui peut travailler avec EVIDE

Section 17

17. Questions de recherche proposées

  1. Quelles frontières d'interprétation présentent une véritable matérialité évidentiaire ?
  2. Quel ensemble minimal permet une reconstitution suffisante ?
  3. Qui doit définir et approuver les déclencheurs ?
  4. Comment distinguer un écart observable d'un jugement clinique ?
  5. Quand une revue humaine est-elle nécessaire ?
  6. Comment documenter ce qui reste en amont et non vérifiable ?
  7. Comment préserver suffisamment d'informations sans enregistrement total ?
  8. Comment relier un refus, les tentatives ultérieures et tout accès obtenu par un autre chemin sans enregistrer les données de patient sous-jacentes ?

Section 18

18. Clôture

Évaluation opérationnelle potentielle

Pour les prestataires et les fabricants souhaitant évaluer des checkpoints, l'intake et la suffisance de reconstitution dans un système ou un processus défini.

Discuter d'un cas d'usage évidentiaire ↗

Expérimentation au Governance Lab

Pour les organisations intéressées par une étude circonscrite, synthetic-first et figée de manière bilatérale avant son démarrage.

Proposer une expérimentation synthétique ↗

Contacter l'EVIDE Governance Lab ↗


Références