Anthropic призывает суды и регуляторов приостановить работу высокорисковых моделей ИИ

Генеральный директор Anthropic Dario Amodei призывает правительства ввести обязательные меры безопасности для передового искусственного интеллекта, утверждая, что добровольные обещания не поспевают за растущими возможностями систем. В письме губернатору Калифорнии Gavin Newsom от 15 октября, обнародованном 28 октября, компания поддержала судебные постановления, которые могли бы остановить выпуск моделей, признанных представляющими серьезную общественную угрозу.
- Anthropic направила свои рекомендации властям Калифорнии в письме от 15 октября, сообщает Reuters 28 октября.
- Reuters сообщает, что предложение позволит официальным лицам добиваться судебных запретов на использование моделей, создающих «серьезный риск».
- Anthropic планирует потратить не менее 1 миллиарда долларов на независимую оценку в течение пяти лет, сообщает Reuters Breakingviews 2 ноября.
Какого регулирования требует Anthropic?
Anthropic хочет, чтобы правительства вышли за рамки правил раскрытия информации и добровольных отраслевых обязательств. Предложение компании позволит государственным органам обращаться в суды с требованием остановить выпуск модели ИИ, если по результатам проверки будет обнаружена серьезная угроза. Такой подход даст разработчикам возможность оспорить действия правительства, одновременно создавая юридический контрольный пункт перед развертыванием систем.
«Когда проверка показывает, что модель представляет серьезный риск, правительство должно иметь возможность обратиться в суд для ее блокировки», — говорится в письме Anthropic к Newsom, на которое ссылается Reuters.
Anthropic представила свои рекомендации после того, как Newsom в сентябре созвал экспертную группу для разработки предложений по безопасности ИИ. Позиция компании уже, чем призывы к общей приостановке разработки ИИ. Она сосредоточена на высокопроизводительных моделях, которые могут создать острые риски, включая киберугрозы или иное использование с тяжелыми последствиями.
Почему Anthropic отвергает широкие «аварийные выключатели»?
Anthropic не поддерживает требование к компаниям устанавливать механизмы управления, способные полностью отключить модель в случае любого кризиса. Компания сообщила властям Калифорнии, что такое требование может успокоить регуляторов, но не обеспечит надежного сдерживания вредоносной системы. Вместо этого Anthropic выступает за вмешательство, направленное на конкретный источник вреда.
- Anthropic назвала полномасштабные «аварийные выключатели» моделей возможным источником «ложного чувства безопасности», сообщает Reuters.
- Компания поддерживает отключение проблемного ИИ-агента или ограничение доступа отдельного клиента.
- Anthropic утверждает, что точечный контроль может работать эффективнее, чем отключение всей модели.
Это различие имеет значение, поскольку продвинутые модели могут обслуживать множество клиентов и приложений одновременно. Проблема, связанная с одним развернутым агентом или пользователем, может не оправдывать прекращение доступа для всех добросовестных клиентов. Поэтому предложение Anthropic делает больший акцент на выявлении опасного действия и его прямом пресечении.
Как независимые эксперты изменят надзор за ИИ?
Аргументы Amodei в пользу регулирования дополняются планом по предоставлению внешним специалистам постоянной роли в процессе разработки ИИ. Независимые эксперты будут работать бок о бок с собственными командами Anthropic по безопасности и стратегии, а не проводить проверку модели только после ее публичного запуска. Цель состоит в том, чтобы протестировать возможности систем, пока у разработчиков еще есть время изменить планы по их внедрению.
Reuters Breakingviews сообщил 2 ноября, что Anthropic планирует инвестировать в эти усилия не менее 1 миллиарда долларов в течение следующих пяти лет. У компании также есть политика ответственного масштабирования, которая накладывает ограничения на разработку, если работа над безопасностью не поспевает за возможностями моделей.
Предлагаемый надзор добавит внешний контроль в сектор, где компании часто оценивают свои собственные системы. Это также может предоставить регуляторам больше технических данных перед принятием решения о выпуске модели.
Какие события подтолкнули дискуссию к судам и правительству?
Рекомендации Anthropic появились на фоне споров о том, как правительства должны реагировать, когда передовые модели приобретают мощные возможности. Reuters сообщал, что в июне администрация Trump распорядилась, чтобы Anthropic ограничила доступ иностранных государств к своим системам Mythos 5 и Fable 5, обладающим кибервозможностями, сославшись на соображения национальной безопасности. Позже Министерство торговли отменило этот приказ.
Процесс в Калифорнии отражает более широкие усилия правительств по определению обязательных стандартов, вместо того чтобы полагаться только на корпоративные обещания. Reuters сообщал, что в сентябре двухпартийная группа сенаторов США обсуждала законопроект, который дал бы федеральному правительству право блокировать определенные небезопасные модели ИИ, позволяя при этом компаниям оспаривать решения в федеральном суде.
Предложение Anthropic, основанное на судебном порядке, поставит судей между регуляторами и разработчиками. Это может сделать ограничения более юридически устойчивыми, но также породит вопросы о доказательствах, сроках и техническом пороге «серьезного риска».
Что Amodei хочет от индустрии и правительств в дальнейшем?
Amodei утверждает, что компании в сфере ИИ не должны единолично определять стандарты безопасности. В интервью Blumify от 1 ноября была описана его предпочтительная последовательность: сначала компании должны улучшить собственные практики, затем установить общие отраслевые стандарты, а затем перейти к международному сотрудничеству. Участие государства потребуется для придания этим стандартам авторитетности и регулирования темпов выпуска новых систем.
«Необходимо участие правительства», — сказал Amodei в интервью, имея в виду усилия по установлению стандартов безопасности и потенциальному регулированию скорости выпуска систем, как сообщает Blumify.
Amodei также отметил, что Anthropic регулярно ведет диалог с официальными лицами Министерства торговли, Министерства финансов и разведывательного сообщества. Сейчас политическая инициатива компании проходит практическую проверку: законодатели должны определить, какие модели считаются опасными, ведомства — разработать надежные методы оценки, а суды — решить, насколько быстро может быть вынесен судебный запрет, когда модель находится на пороге выпуска.
Кто может пострадать от ужесточения правил ИИ?
Разработчики ИИ столкнутся с новыми обязательствами по тестированию, документированию и юридической ответственности перед выпуском самых мощных систем. Облачные провайдеры и клиенты также могут столкнуться с ограничениями доступа, если модель или конкретный агент будут признаны небезопасными. Регуляторы получат официальный путь для вмешательства, в то время как судам придется оценивать технические доказательства, которые могут быстро меняться.
Компании, использующие передовой ИИ, могут столкнуться с замедлением запуска продуктов или более строгим контролем кибернетических, биологических и автономных возможностей. В то же время внешняя оценка может облегчить клиентам задачу по определению того, была ли система протестирована независимо. Расходы в первую очередь лягут на ведущих разработчиков, но правила в конечном итоге могут сформировать весь рынок.
Позиция Anthropic оставляет нерешенным вопрос о том, как регуляторы должны измерять риск и кто должен оплачивать проведение оценок. Эти решения определят, станет ли усиленный надзор точечным режимом безопасности или широким барьером для внедрения технологий.


