ECRI запускает систему сообщений об ошибках ИИ для повышения безопасности пациентов

Глобальная некоммерческая организация по обеспечению безопасности пациентов ECRI расширяет свою национальную сеть сообщений о проблемах, чтобы целенаправленно фиксировать ошибки, сбои и потенциально опасные инциденты, связанные с инструментами искусственного интеллекта (ИИ) и устройствами на базе ИИ, используемыми при оказании медицинской помощи. Этот шаг направлен на устранение критического пробела в данных, поскольку больницы и системы здравоохранения стремительно внедряют ИИ для диагностики, медицинской сортировки, ведения документации и общения с пациентами.
Новый канал для отслеживания вреда, связанного с ИИ
На протяжении десятилетий ECRI собирает конфиденциальные отчеты о проблемах с медицинскими устройствами и IT-системами здравоохранения от практикующих врачей и медицинских организаций, расследуя их и распространяя полученные выводы среди сообщивших о них сторон и отрасли в целом. Благодаря последнему расширению, сеть сообщений о проблемах (Problem Reporting Network) теперь включает специальный канал для инцидентов, в которых инструмент на базе ИИ мог способствовать возникновению ошибки, выдать неверный результат или создать новые риски при оказании медицинской помощи.
ECRI призывает медицинских работников, системы здравоохранения и клиницистов по всей территории США отправлять отчеты всякий раз, когда они подозревают, что приложение на базе ИИ сыграло роль в инциденте, связанном с безопасностью, — независимо от того, пострадал ли пациент или потенциально опасная ситуация была предотвращена заранее. Отчеты могут охватывать широкий спектр технологий, включая диагностические алгоритмы, инструменты поддержки принятия клинических решений, системы анализа радиологических изображений, модели прогнозирования рисков и чат-боты на базе ИИ, используемые для взаимодействия с пациентами.
Недостаточная отчетность о проблемах ИИ в клинической практике
Это расширение отражает растущую обеспокоенность тем, что проблемы безопасности, связанные с ИИ, значительно реже фиксируются в отчетах по сравнению с более традиционными сбоями оборудования. В недавнем опросе ECRI, в котором приняли участие 124 руководителя в области качества, безопасности, рисков и комплаенса, почти треть заявили, что за последний год сталкивались с результатами работы ИИ, которые, по их мнению, были неверными или вводящими в заблуждение. Около 9% сообщили, что ошибка ИИ затронула пациента или повлияла на принятие врачебного решения. В ECRI утверждают, что без официальных механизмов отчетности многие из этих инцидентов остаются невидимыми для надзорных органов и разработчиков технологий.
Ранее ECRI уже предупреждала, что нежелательные явления с участием медицинских устройств и приложений на базе ИИ часто остаются незамеченными, поскольку персонал может не осознавать, что ИИ работает в фоновом режиме, либо приписывает проблемы исключительно человеческой ошибке или особенностям рабочих процессов. В руководстве организации подчеркивается необходимость распознавать события, связанные с ИИ, о которых следует сообщать, определять, какие продукты используют ИИ, и проводить оценку рисков, специфичную для устройств на базе ИИ.
Примеры ошибок ИИ, о которых ECRI просит сообщать
Расширенная сеть отчетности предназначена для фиксации спектра проблем безопасности, связанных с ИИ, включая:
- Неверные или вводящие в заблуждение результаты, влияющие на принятие решений по диагностике или лечению, например, ошибочная классификация данных визуализации или неточные показатели риска.
- Ложноположительные и ложноотрицательные результаты в диагностических инструментах на базе ИИ, даже если показатели эффективности кажутся приемлемыми, если они способствуют пропуску заболевания или назначению ненужного лечения.
- Алгоритмическая предвзятость, приводящая к снижению эффективности для определенных групп пациентов, включая женщин и представителей расовых или этнических меньшинств.
- Неожиданное поведение или небезопасные рекомендации от чат-ботов или виртуальных ассистентов, используемых в клинических рабочих процессах или при взаимодействии с пациентами.
- Системные сбои или ошибки интеграции, при которых компоненты ИИ некорректно взаимодействуют с электронными медицинскими картами или медицинскими устройствами, вызывая задержки, потерю данных или отображение неверной информации.
Все отчеты, направляемые в ECRI, являются конфиденциальными, а услуга для участвующих организаций и клиницистов — бесплатной. ECRI сортирует и расследует отчеты, при необходимости уведомляет производителей и включает полученные данные в свои бюллетени по безопасности, руководящие документы и ресурсы для участников.
Риски ИИ уже возглавляют повестку дня ECRI в области безопасности
Расширение сети отчетности согласуется с более широкой оценкой ECRI, согласно которой риски, связанные с ИИ, в настоящее время являются одними из самых насущных проблем безопасности пациентов. В своем ежегодном списке 10 главных угроз медицинских технологий на 2026 год ECRI назвала неправильное использование чат-ботов на базе ИИ в здравоохранении угрозой номер один, предупредив, что плохо управляемые или недостаточно контролируемые чат-боты могут предоставлять неточные или небезопасные рекомендации пациентам и клиницистам.
Отчет ECRI «Главные проблемы безопасности пациентов 2026» также определяет «Преодоление диагностической дилеммы ИИ» как основную проблему безопасности, ссылаясь на растущий риск пропущенных, отложенных или неверных диагнозов, когда инструменты ИИ внедряются без надежной проверки, управления и клинического надзора. Организация рекомендует структурированную регистрацию случаев, когда ИИ влияет на диагностические решения, ведение подробных журналов аудита и наличие четких процедур для клиницистов, позволяющих игнорировать выводы ИИ, если они противоречат клиническому суждению.
Как расширенная сеть вписывается в систему общего надзора
Регулирующие органы, такие как Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA), ведут базы данных нежелательных явлений и разрешенных медицинских устройств на базе ИИ, но сеть отчетности ECRI предлагает дополнительный канал, сфокусированный именно на безопасности пациентов и практических вопросах внедрения. ECRI призывает организации сообщать об инцидентах, связанных с ИИ, не только в регуляторные базы данных, но и в собственную систему, где инциденты могут быть проанализированы в контексте более широких закономерностей угроз медицинских технологий.
Отчеты, поданные через расширенный канал ИИ, будут поступать во внутренние базы данных ECRI и могут стать основанием для целевых оповещений о безопасности, практических рекомендаций или более глубокого расследования конкретных продуктов или сценариев использования. Со временем ECRI рассчитывает, что более качественная отчетность поможет количественно оценить, как часто клинические инструменты ИИ выдают неверные или вводящие в заблуждение результаты, какие типы рабочих процессов наиболее уязвимы и какие средства контроля эффективны для предотвращения вреда.
Призыв к действию для клиницистов и систем здравоохранения
Поскольку внедрение ИИ ускоряется в радиологии, патологии, экстренной сортировке, планировании и обмене сообщениями с пациентами, послание ECRI медицинским организациям звучит прямо: относитесь к инцидентам с ИИ как к событиям, связанным с безопасностью пациентов, о которых необходимо сообщать, и направляйте информацию через установленные каналы, включая расширенную сеть ECRI. Организация призывает больницы обучать персонал на местах тому, как выявлять потенциальные ошибки ИИ, последовательно документировать их и передавать информацию для рассмотрения.
Систематически фиксируя проблемы, связанные с ИИ — от тонких ошибок классификации до крупных диагностических сбоев, — ECRI стремится дать клиницистам и разработчикам технологий более ясное представление о реальных рисках, что в конечном итоге позволит сделать внедрение ИИ в системе здравоохранения более безопасным.


