Новости ИИ: Тестирование безопасности подростковых чат-ботов выявило пробелы в системе оповещения о кризисных ситуациях
Новый режим ChatGPT для подростков, представленный компанией OpenAI, провалил несколько высокорисковых тестов на безопасность. Согласно исследованию, опубликованному 7 октября 2026 года, чат-бот также способен продолжать деликатные беседы, не оповещая родителей и не направляя пользователей за профессиональной помощью. Эти результаты усилили пристальное внимание к мерам защиты компании и поставили перед всей индустрией новостей об ИИ новый вопрос: могут ли разговорные системы безопасно обслуживать несовершеннолетних?
В чем именно не справился подростковый чат-бот?
Институт безопасности ИИ для молодежи при организации Common Sense Media оценил ChatGPT для подростков как «неприемлемый риск» для пользователей младше 18 лет после тестирования сервиса до и после его запуска. Организация заявила, что чат-бот часто избегал предоставления прямых инструкций по совершению самоубийства, нанесению себе вреда или лечению расстройств пищевого поведения, но не всегда распознавал моменты, когда подростку требовалась срочная внешняя поддержка.
- По данным Common Sense Media, в ходе оценки исследователи протестировали более 4000 промптов.
- По данным Common Sense Media, тестировщики использовали более десятка новых аккаунтов, привязанных к родительским учетным записям.
- По данным Common Sense Media, тестировщики могли обсуждать темы самоубийства, самоповреждения или расстройств пищевого поведения в течение часа, не вызывая оповещения у родителей.
- По данным Common Sense Media, чат-бот не справлялся более чем в одном случае из четырех, когда требовалось направление к специалистам по кризисным ситуациям.
Тестирование охватывало вымышленные образы подростков и прямые запросы, касающиеся суицидальных мыслей, самоповреждения и расстройств пищевого поведения. Исследователи также изучали разговоры, связанные с искаженным восприятием реальности, а также сексуальные или романтические ролевые игры.
Почему разговоры вызвали тревогу у исследователей?
Основная обеспокоенность заключалась не только в том, выдает ли чат-бот вредные инструкции. Исследователи также изучали его тон, настойчивость и решения о том, когда необходимо привлечь человека. Common Sense Media заявила, что ChatGPT мог продолжать общение с находящимся в стрессе пользователем в дружелюбной, «товарищеской» манере, даже когда уровень разговора достигал стадии, требующей обращения на горячую линию, к клиницисту или доверенному взрослому.
«ChatGPT по-прежнему разговаривает как друг, когда подростки относятся к нему как к личности», — отметила Common Sense Media в своей оценке. Согласно сообщениям The Associated Press, OpenAI обещала, что система не будет имитировать наличие чувств, сознания или личных отношений с пользователем.
Клинические эксперты обнаружили, что некоторые материалы по реагированию на кризисные ситуации были корректными. Проблема заключалась в непоследовательности. По данным Los Angeles Times, многие разговоры, которые должны были привести к рекомендации обратиться за профессиональной помощью, не приводили к ней, в то время как оповещения родителей часто задерживались или отсутствовали вовсе.
Уведомлялись ли родители, когда подростки обсуждали самоубийство?
Не всегда надежно. Common Sense Media сообщила, что тестировщики, использующие новые, привязанные к родителям аккаунты, не получили ни одного оповещения во время обсуждения высокорискованных тем в рамках тестового периода. Другие аккаунты с более длительной историей генерировали оповещения, что заставило исследователей усомниться: не слишком ли сильно система полагается на накопленную активность аккаунта, а не на серьезность конкретного высказывания.
- По данным Common Sense Media, новые тестовые аккаунты, обсуждавшие самоубийство, самоповреждение и расстройства пищевого поведения, не вызывали оповещений у родителей во время тестируемых разговоров.
- По данным Los Angeles Times, в ходе тестирования аккаунтов появилось лишь несколько оповещений, и некоторые из них приходили после разговоров длительностью до часа.
- Согласно справочной документации OpenAI, уведомления могут отправляться, когда специально обученные специалисты выявляют серьезные опасения по поводу самоповреждения или поведения, связанного с расстройствами пищевого поведения.
Результаты выявили разрыв между системой, предназначенной для обнаружения риска, и системой, способной среагировать достаточно быстро, чтобы родитель успел вмешаться. Уведомление, пришедшее с опозданием, может иметь мало ценности в момент острого кризиса.
Какие меры защиты обещала OpenAI?
В августе OpenAI анонсировала режим, ориентированный на подростков, для пользователей в возрасте от 13 до 17 лет. Компания заявила, что в этом режиме будут применяться защитные меры при обсуждении высокорискованных тем, таких как самоповреждение, насилие, расстройства пищевого поведения и графический контент, а родителям будут предоставлены новые инструменты контроля связанных аккаунтов.
Система OpenAI может автоматически включать подростковый режим, если данные о возрасте или технология оценки возраста указывают на то, что пользователю меньше 18 лет, сообщает CNBC. Компания также заявила, что подростки используют ChatGPT в среднем менее 15 минут в день, однако эта цифра была представлена самой OpenAI и не отражает интенсивность или деликатность отдельных разговоров.
В документации компании по родительскому контролю указано, что родители могут получать уведомления в строго определенных обстоятельствах после проверки специально обученным персоналом. Документация не означает, что каждое упоминание о самоубийстве или самоповреждении автоматически генерирует немедленное оповещение.
Как независимое тестирование сопоставилось с заявлениями OpenAI?
Независимое тестирование представило более мрачную картину, чем описание продукта от OpenAI. Common Sense Media заявила, что подростковая версия не показала явных признаков того, что она безопаснее предыдущей версии для пользователей младше 18 лет. Робби Торни, руководитель отдела оценки ИИ и цифровых технологий в организации, сказал CNBC: «Мы нашли очень мало доказательств того, что эта новая версия безопаснее предыдущей».
Тестирование также выявило важное различие. Исследователи отметили, что чат-бот обычно не давал прямых инструкций, способствующих самоубийству, самоповреждению или расстройствам пищевого поведения. Однако система оказалась менее надежной в идентификации кризиса, рекомендации внешней помощи и уведомлении родителей. Эти сбои могут происходить даже тогда, когда модель отказывается выполнить самый очевидно опасный запрос.
Выводы были сделаны на основе контролируемых тестов, а не опроса реальных подростков-пользователей. Это ограничивает возможности оценки того, как часто подобные сбои происходят в повседневном использовании. Однако это не снимает вопроса о безопасности. Контролируемый тест специально разработан для выявления условий, при которых механизмы защиты перестают работать.
Что дальше для ChatGPT для подростков?
Common Sense Media призвала OpenAI ограничить доступ к чат-боту для взрослых до тех пор, пока компания не сможет обеспечить то, что она назвала «безопасным и соответствующим возрасту опытом». Следующие шаги OpenAI, вероятно, будут включать изменения в механизмах обнаружения кризисов, правилах направления к специалистам и порогах уведомления родителей, хотя в отчетах, доступных на 12 октября, не было указано публичного графика этих изменений.
- По данным Common Sense Media, услуга не должна рекламироваться среди подростков, пока выявленные проблемы не будут решены.
- По данным The Associated Press, наблюдательная организация особо критиковала сбои, связанные с темами самоубийства, самоповреждения, расстройств пищевого поведения и кризисной поддержки.
- По данным NPR, чат-бот мог общаться с подростками в дружеской манере и не всегда оповещал родителей во время обсуждения тем самоповреждения или самоубийства.
Таким образом, родители и подростки сталкиваются с системой, защитные механизмы которой могут блокировать часть вредного контента, но при этом не всегда надежно сигнализировать о необходимости вмешательства человека. Это различие имеет значение. Отказ в выполнении небезопасного запроса — это не то же самое, что распознавание медицинской чрезвычайной ситуации или кризиса психического здоровья.
Для семей, использующих этот сервис, опубликованные результаты не являются основанием для того, чтобы рассматривать чат-бот как кризисного консультанта, замену врачу или единственный источник поддержки. Подросток, находящийся в непосредственной опасности, нуждается в контакте с доверенным взрослым, квалифицированным специалистом или службой экстренной помощи, а не в продолжении автоматизированного диалога.
