L'ECRI lance un canal de signalement pour détecter les failles cachées de l'IA dans la sécurité des patients

L'organisation à but non lucratif dédiée à la sécurité des patients, ECRI, élargit son réseau national de signalement des problèmes afin de capturer explicitement les erreurs, les dysfonctionnements et les quasi-accidents liés aux outils d'intelligence artificielle (IA) et aux dispositifs basés sur l'IA utilisés dans les soins aux patients. Cette initiative vise à combler un manque critique de données, alors que les hôpitaux et les systèmes de santé déploient rapidement l'IA pour le diagnostic, le triage, la documentation et la communication avec les patients.
Un nouveau canal pour suivre les préjudices liés à l'IA
Depuis des décennies, ECRI recueille des rapports confidentiels sur les problèmes liés aux dispositifs médicaux et aux technologies de l'information de santé auprès des cliniciens de terrain et des organisations de santé, les examine et partage les enseignements tirés avec les sites déclarants et l'ensemble du secteur. Avec cette dernière extension, son réseau de signalement des problèmes (Problem Reporting Network) inclut désormais un canal dédié aux incidents où un outil basé sur l'IA pourrait avoir contribué à une erreur, produit un résultat incorrect ou introduit de nouveaux risques dans la prestation des soins.
ECRI exhorte les prestataires de soins, les systèmes de santé et les cliniciens à travers les États-Unis à soumettre des rapports dès qu'ils soupçonnent qu'une application d'IA a joué un rôle dans un événement lié à la sécurité, que l'erreur ait atteint un patient ou qu'elle ait été détectée au préalable en tant que quasi-accident. Les rapports peuvent couvrir un large éventail de technologies, notamment les algorithmes de diagnostic, les outils d'aide à la décision clinique, les systèmes d'analyse d'imagerie radiologique, les modèles de prédiction des risques et les chatbots pilotés par l'IA utilisés dans l'engagement des patients.
Des problèmes d'IA sous-déclarés dans la pratique clinique
Cette extension reflète une préoccupation croissante quant au fait que les problèmes de sécurité liés à l'IA sont considérablement sous-déclarés par rapport aux défaillances de dispositifs plus traditionnels. Dans une enquête récente menée par ECRI auprès de 124 responsables de la qualité, de la sécurité, des risques et de la conformité, près d'un tiers ont déclaré avoir rencontré un résultat d'IA qu'ils estimaient incorrect ou trompeur au cours de l'année écoulée. Environ 9 % ont affirmé qu'une erreur d'IA avait touché un patient ou affecté une décision de soin. ECRI soutient que sans mécanismes de signalement formels, nombre de ces incidents restent invisibles aux yeux des organismes de surveillance et des développeurs de technologies.
ECRI a précédemment averti que les événements indésirables impliquant des dispositifs médicaux et des applications basés sur l'IA sont souvent ignorés, car le personnel peut ne pas se rendre compte que l'IA fonctionne en arrière-plan, ou peut attribuer les problèmes uniquement à une erreur humaine ou à des problèmes de flux de travail. Les conseils de l'organisation soulignent la nécessité de reconnaître les événements liés à l'IA signalables, d'identifier quels produits intègrent l'IA et de mener des évaluations des risques spécifiques aux dispositifs basés sur l'IA.
Exemples d'erreurs d'IA qu'ECRI souhaite voir signalées
Le réseau de signalement élargi est conçu pour capturer un éventail de préoccupations de sécurité liées à l'IA, notamment :
- Les résultats incorrects ou trompeurs qui influencent les décisions de diagnostic ou de traitement, tels qu'une mauvaise classification des résultats d'imagerie ou des scores de risque inexacts.
- Les faux positifs et faux négatifs dans les outils de diagnostic basés sur l'IA, même lorsque les mesures de performance semblent acceptables, s'ils contribuent à des soins manqués ou inutiles.
- Le biais algorithmique conduisant à de moins bonnes performances pour des groupes de patients spécifiques, notamment les femmes et les minorités raciales ou ethniques.
- Les comportements inattendus ou recommandations dangereuses provenant de chatbots ou d'assistants virtuels utilisés dans les flux de travail cliniques ou en contact avec les patients.
- Les dysfonctionnements du système ou échecs d'intégration où les composants d'IA interagissent de manière incorrecte avec les dossiers de santé électroniques ou les dispositifs médicaux, provoquant des retards, des pertes de données ou l'affichage d'informations erronées.
Tous les rapports soumis à ECRI sont gardés confidentiels, et le service est gratuit pour les organisations et les cliniciens participants. ECRI trie et examine les rapports, peut avertir les fabricants lorsque cela est approprié et intègre les conclusions dans ses alertes de sécurité, ses documents d'orientation et ses ressources pour les membres.
Les risques liés à l'IA déjà au cœur des agendas de sécurité d'ECRI
Le réseau de signalement élargi s'aligne sur l'évaluation plus large d'ECRI selon laquelle les risques liés à l'IA figurent désormais parmi les défis les plus urgents en matière de sécurité des patients. Dans sa liste annuelle des 10 principaux risques technologiques en santé pour 2026, ECRI a classé le mauvais usage des chatbots d'IA dans les soins de santé comme le risque numéro un, avertissant que des chatbots mal gouvernés ou insuffisamment supervisés peuvent fournir des conseils inexacts ou dangereux aux patients et aux cliniciens.
Le rapport 2026 d'ECRI sur les principales préoccupations en matière de sécurité des patients a identifié de la même manière « Naviguer dans le dilemme du diagnostic par l'IA » comme la principale préoccupation de sécurité, citant un risque croissant de diagnostics manqués, retardés ou incorrects lorsque les outils d'IA sont déployés sans validation robuste, gouvernance et supervision clinique. L'organisation recommande un enregistrement structuré des moments où l'IA informe les décisions diagnostiques, la tenue de pistes d'audit détaillées et des processus clairs permettant aux cliniciens de passer outre les résultats de l'IA lorsqu'ils entrent en conflit avec le jugement clinique.
Comment le réseau élargi s'intègre dans la surveillance globale
Les agences de réglementation telles que la Food and Drug Administration (FDA) des États-Unis gèrent des bases de données d'événements indésirables et de dispositifs médicaux basés sur l'IA autorisés, mais le réseau de signalement d'ECRI offre un canal complémentaire axé spécifiquement sur la sécurité des patients et les problèmes de mise en œuvre pratique. ECRI encourage les organisations à signaler les événements liés à l'IA non seulement aux bases de données réglementaires, mais aussi à son propre système, où les incidents peuvent être analysés dans le contexte de modèles plus larges de risques liés aux technologies de santé.
Les rapports soumis via le canal IA élargi alimenteront les bases de données internes d'ECRI et pourraient donner lieu à des alertes de sécurité ciblées, des recommandations de pratique ou des enquêtes plus approfondies sur des produits ou cas d'utilisation spécifiques. Avec le temps, ECRI s'attend à ce qu'un signalement plus riche aide à quantifier la fréquence à laquelle les outils d'IA cliniques produisent des résultats incorrects ou trompeurs, quels types de flux de travail sont les plus vulnérables et quels contrôles sont efficaces pour prévenir les préjudices.
Appel à l'action pour les cliniciens et les systèmes de santé
Alors que l'adoption de l'IA s'accélère dans la radiologie, la pathologie, le triage d'urgence, la planification et la messagerie des patients, le message d'ECRI aux organisations de santé est direct : traitez les incidents liés à l'IA comme des événements de sécurité des patients signalables et soumettez-les par les canaux établis, y compris le réseau élargi d'ECRI. L'organisation exhorte les hôpitaux à former le personnel de terrain sur la manière de repérer les erreurs potentielles de l'IA, de les documenter systématiquement et de faire remonter les préoccupations pour examen.
En capturant systématiquement les problèmes liés à l'IA — des classifications erronées subtiles aux défaillances diagnostiques majeures — ECRI vise à offrir aux cliniciens et aux développeurs de technologies une visibilité plus claire sur les risques réels, façonnant ainsi un déploiement de l'IA plus sûr dans l'ensemble du système de santé.


