Исследователи ИИ стремятся к созданию верифицируемого вывода и проверяемых процессов рассуждения моделей

Nic Reeve15:00 03.11.20265 мин чтения

2 ноября 2026 года компания Anthropic заявила о прогрессе в области криптографической верификации инференса (вывода) больших языковых моделей, представив систему, способную генерировать доказательства для модели Mixture-of-Experts (MoE) с 400 миллиардами параметров. Цель этой работы — позволить пользователям подтвердить, что ответ был получен именно от согласованной модели и не был изменен в процессе вычислений.

Anthropic сообщила о скорости около 110 токенов в секунду на одном GPU H100 для модели Llama 4 Maverick в 4-битной конфигурации.
Компания отметила, что каждый запрос объемом 1024 токена создает доказательство размером примерно 19 мегабайт.
Система PRIME продемонстрировала отсутствие необоснованных выводов в 480 задачах на основе публичных записей, в то время как у неструктурированного агента этот показатель составил 26,7%.

Что продемонстрировала Anthropic?

Anthropic описала FlashProve — систему, построенную на базе кратких неинтерактивных аргументов с нулевым разглашением, или zkSNARKs. Этот подход позволяет провайдеру подтвердить поведение модели, сохраняя при этом детали самой модели скрытыми от проверяющего. Обновление исследования от 2 ноября последовало за изменением терминологии 19 октября, когда Anthropic начала использовать термин «верификация инференса» вместо «доказуемого инференса» (provable inference).

В Anthropic уточнили, что в тесте использовалась Llama 4 Maverick — модель Mixture-of-Experts с 400 миллиардами параметров, а не малая исследовательская модель. Согласно отчету, конфигурация включала один GPU H100, 4-битные квантованные веса и целочисленную арифметику во время этапа prefill. Компания измерила скорость генерации доказательств на уровне примерно 110 токенов в секунду, при этом размер файлов доказательств составил около 19 МБ на 1024 сгенерированных токена. Эти цифры взяты из технического отчета Anthropic, а не из независимого бенчмарка.

Модель: Llama 4 Maverick, описанная Anthropic как MoE-модель с 400 миллиардами параметров.
Оборудование: один GPU Nvidia H100.
Результат доказательства: около 19 МБ на запрос в 1024 токена.

Практический вопрос заключается в стоимости. Доказательство должно быть сгенерировано, передано и проверено вместе с ответом. Данные Anthropic показывают, что задача больше не ограничивается игрушечными системами, однако они не доказывают, что генерация доказательств достаточно дешева для каждого пользовательского запроса или высоконагруженного сервиса.

Почему криптографические доказательства полезны для языковых моделей?

Обычный вывод модели дает мало свидетельств того, как именно был получен ответ. Пользователь может знать имя провайдера, название модели и версию ПО, но у него все равно может не быть надежного способа проверить, что ответ пришел именно от обещанной модели. Криптографическое доказательство может связать вывод с подтвержденным вычислением.

В Anthropic отметили, что zkSNARKs подходят для этой задачи, так как они позволяют проводить верификацию, не раскрывая закрытые веса модели. Такое разделение критически важно для коммерческих систем. Провайдер может защитить свою модель, позволяя клиенту, аудитору или регулятору проверить, действительно ли выполнялось заявленное вычисление.

Верификация не делает ответ истинным.

Доказательство может подтвердить, что конкретная модель произвела конкретный поток токенов при определенных условиях. Оно само по себе не может установить, является ли фактический ответ модели верным, были ли надежными данные для ее обучения или был ли промпт безопасным. Эти вопросы требуют отдельных проверок, таких как поиск информации (retrieval), формальные решатели или проверка человеком.

Это различие отделяет целостность исполнения от качества ответа. Данное различие является центральным в последних исследованиях. Криптографическая работа направлена на то, произошло ли обещанное вычисление. Другие системы направлены на то, подтверждает ли логика сделанный вывод.

Как исследователи проверяют саму логику рассуждений?

Ряд исследований, опубликованных в октябре 2026 года, подошли к верификации на уровне вывода и рассуждений, а не на уровне криптографического исполнения. Система PRIME, представленная в работе от 15 октября, заставляет агента заранее фиксировать пути поиска доказательств перед оценкой публичных записей. Отдельная программа фиксирует проверки и блокирует выводы, которые не подтверждены этими проверками.

Авторы PRIME протестировали 480 задач на основе публичных записей. Они сообщили, что обычный агент делал необоснованный вывод в 26,7% задач, в то время как PRIME не допустил ни одного. Система также повысила средний балл обоснованных выводов с 30,1 (при использовании только механизма отказа) до 59,2 после добавления инструкций и проверок.

PRIME: заранее фиксирует правила и пути поиска доказательств перед формулированием выводов.
Тестовый набор: 480 задач на основе публичных записей.
Заявленный уровень ошибок: 26,7% для сравнительного агента и 0% для PRIME.

VERGE выбрала другой путь. В статье, опубликованной в октябре в материалах EMNLP Findings, ответы разлагаются на атомарные утверждения, которые переводятся в логику первого порядка и отправляются автоматическим доказателям теорем или на другие проверки. Авторы сообщили о среднем улучшении производительности на 18,7% при сходимости с GPT-OSS-120B по сравнению с однопроходными ответами в их бенчмарках рассуждений.

Эти системы сужают область утверждений. Они не доказывают каждую часть развернутого ответа. Они проверяют выбранные суждения в соответствии с четкими правилами.

Какую роль играет самоверификация?

Метод RISE, опубликованный 8 октября в материалах NeurIPS 2026, обучает модель решать задачи и оценивать собственные решения в рамках одного процесса обучения с подкреплением. Метод использует проверяемые вознаграждения от контроллера результатов, применяя обратную связь как к генерации решения, так и к самоверификации.

Исследователи сообщили о достижениях в бенчмарках математических рассуждений и о более частом и точном поведении при самопроверке. Такой подход решает знакомую проблему: модель может выдать уверенную критику, не заметив центральную ошибку в собственном ответе.

Самоверификация остается менее надежной, чем внешнее доказательство, если контролер разделяет «слепые зоны» модели. Математический ответ можно проверить на соответствие точному результату. Юридический, научный или политический ответ может потребовать отбора доказательств, интерпретации и суждений. Обучение модели проверке своей работы помогает, но не устраняет необходимость в независимой валидации.

Это ограничение объясняет, почему современные системы комбинируют методы. Криптографические доказательства инференса могут аутентифицировать исполнение. Символьные инструменты могут проверять формальные утверждения. Реестры доказательств могут контролировать, какие выводы разрешено делать агенту. Ни один из методов не решает проблему надежности целиком.

Что дальше для доказуемого инференса?

Следующим этапом является внедрение, а не очередная демонстрация. Заявленная Anthropic пропускная способность и размер доказательств являются отправной точкой, но использование в продакшене будет зависеть от скорости верификации, требований к памяти, стоимости оборудования и того, как ведут себя доказательства при добавлении промптов, инструментов и длинных контекстов.

Исследовательским группам также необходимы более четкие сравнения. Криптографическое доказательство должно оцениваться в рамках определенной модели угроз. Верификатор рассуждений должен четко указывать, какие утверждения он может проверить, какие доказательства принимает и что происходит при их отсутствии. Одних лишь результатов бенчмарков недостаточно, чтобы показать, что система безопасна в критически важных условиях.

Инженерия: снижение накладных расходов на генерацию доказательств и уменьшение их размера для длинных ответов.
Оценка: тестирование моделей на состязательных промптах, меняющихся инструментах и неполных доказательствах.
Управление: определение того, что именно сертифицирует доказательство, а что остается вне его сферы охвата.

Формирующееся направление — это многоуровневая гарантия надежности. Провайдеры могут доказывать, какая модель была запущена, агенты могут фиксировать, какие доказательства обосновали действие, а внешние программы могут проверять формальные утверждения. Вместе эти механизмы могут сделать сервисы на базе языковых моделей более проверяемыми, не раскрывая проприетарные веса. Технология движется от абстрактного обещания к измеримым системам, но повседневная сквозная верификация все еще остается незавершенной.

Источники

Читать далее →

Похожие материалы

AI & Tech

Развитие ИИ тревожит китайских рабочих: власти и суды пытаются защитить рабочие места

По всему Китаю работники — от сотрудников заводских цехов до специалистов технологических стартапов — все больше тревожатся, что искусственный интеллект может лишить их средств к существованию, даже несмотря на то, что им приходится в спешном порядке осваивать новые инструменты, меняющие их работу. Стремительное распространение генеративного ИИ и автоматизации трансформирует рабочие процессы быстрее, чем многие сотрудники успевают повышать квалификацию, что усиливает опасения по поводу гарантий занятости в условиях замедляющейся экономики. Опросы и официальные данные свидетельствуют о том, что эта тревога носит масштабный и острый характер. Опрос около 11 800 специалистов, проведенный в 2025 году Чунконгской высшей школой бизнеса в Пекине, показал, что 85,5% респондентов считают, что могут столкнуться с безработицей в течение трех лет из-за того, что ИИ заменит человеческий труд. Другие исследования, на которые ссылаются международные СМИ, указывают на то, что, хотя многие китайские работники видят выгоду от повышения продуктивности благодаря ИИ, более четверти тех, кто ожидает положительного эффекта, также опасаются, что технологии могут в конечном итоге их заменить. Автоматизация незаметно меняет рынок труда Китайские компании внедряют ИИ быстрыми темпами, часто не объявляя публично о сокращениях штатов. Аналитики описывают модель «тихих увольнений», при которой численность персонала сокращается по мере того, как инструменты ИИ берут на себя рутинные задачи в таких секторах, как обслуживание клиентов, редактирование, визуальный дизайн и обработка данных, позволяя фирмам поддерживать объем производства при меньшем количестве сотрудников. Данные рекрутинговых платформ, опубликованные китайскими СМИ, показывают, что спрос на специалистов по ряду офисных профессий резко упал в начале 2026 года: вакансии для редакторов сократились на 29%, специалистов по обслуживанию клиентов — на 23%, визуальных дизайнеров — на 21% в годовом исчислении, в то время как спрос на навыки, связанные с ИИ, за тот же период подскочил на 73%. По недавней оценке Citibank, около 9,6% всех рабочих мест в Китае — примерно 70 миллионов позиций — находятся в зоне высокого риска вытеснения ИИ , причем этот риск возрастает до 13,6% среди работников в возрасте двадцати с небольшим лет. Индивидуальные истории иллюстрируют меняющийся ландшафт. Один аналитик данных в индустрии ИИ рассказала китайским деловым СМИ, что она помогла автоматизировать многие свои собственные повторяющиеся задачи, но позже была уволена, когда работодатель пришел к выводу, что работу можно выполнять меньшими силами. Впоследствии она пошла на значительное сокращение зарплаты, чтобы перейти в более традиционный сектор, заметив, что «ни одна отрасль не может спрятаться от ИИ» — мнение, которое находит отклик на онлайн-форумах и в социальных сетях. От рабочих на заводах до программистов: тревога ширится Влияние ИИ не ограничивается офисными должностями. В комментариях, связанных с правительственными кругами, отмечается, что работники — от операторов сборочных линий до дизайнеров и переводчиков — уже чувствуют давление со стороны автоматизации и инструментов алгоритмического управления. В недавних интервью гиг-работники и сотрудники сферы услуг, включая курьеров и создателей контента, выражали опасения, что алгоритмы рекомендаций, робототехника и системы генерации контента могут резко сократить спрос на человеческий труд или привести к снижению оплаты. В то же время высокообразованные специалисты в сфере технологий и медиа говорят, что их просят использовать ИИ для увеличения выработки без соответствующего повышения оплаты или гарантий занятости. Согласно подробному отчету Caixin, ИИ часто объединяет несколько задач в одну роль, а не просто устраняет рабочие места, что вынуждает оставшийся персонал брать на себя более тяжелую нагрузку, пока их коллег тихо увольняют. Эта динамика в сочетании с уже повышенным уровнем безработицы среди молодежи усиливает разочарование среди недавних выпускников. Международные новостные агентства сообщают о программистах, копирайтерах и офисных клерках, которые теперь полагаются на чат-боты с ИИ и помощников по написанию кода, но при этом опасаются, что те же самые системы вскоре сделают их роли ненужными. Некоторые из опрошенных работников сказали, что начали изучать новые навыки в области машинного обучения или разметки данных, в то время как другие изучают возможности смены карьеры в сферах, которые считаются менее подверженными автоматизации, таких как физическое производство или определенные виды услуг. Суды противодействуют увольнениям из-за ИИ Правовая система Китая начала реагировать на растущую напряженность вокруг сокращений, связанных с ИИ. В конце 2025 и начале 2026 года несколько судов и арбитражных комиссий постановили, что замена сотрудника программным обеспечением с ИИ сама по себе не является законным основанием для увольнения согласно действующему трудовому законодательству. Работодателям было предписано сначала изучить возможности пересмотра контрактов, переобучения или перевода на другую должность, прежде чем прибегать к увольнениям на основании автоматизации. В одном широко обсуждаемом деле китайский суд установил, что технологическая компания незаконно уволила работника после того, как заменила его роль ИИ, постановив выплатить компенсацию и сигнализируя о том, что подобные увольнения могут быть оспорены в правовом поле. В августе 2026 года СМИ освещали растущее число судебных решений в пользу сотрудников, вытесненных ИИ, называя их важной победой прав трудящихся, но при этом отмечая, что тревога по поводу будущего сферы труда остается широко распространенной. Чиновники министерства труда в Пекине также дали понять, что одна лишь замена на ИИ не должна служить оправданием для увольнения сотрудника в ходе арбитражного разбирательства, что еще раз подчеркивает озабоченность правительства вопросами социальной стабильности перед лицом быстрых технологических изменений. Официальная реакция: защитить рабочие места, направлять инновации Руководство Китая продолжает продвигать агрессивное развитие ИИ как основу экономической модернизации, но все чаще подкрепляет эту повестку четкими обязательствами по защите занятости. В политических документах, выпущенных с 2025 года под эгидой «ИИ+», содержатся директивы по усилению оценки рисков занятости при внедрении ИИ, направлению инноваций в сектора с большим потенциалом создания рабочих мест и снижению негативного воздействия на сферу труда. На национальных политических собраниях чиновники и законодатели предложили концепцию «ИИ + Занятость», включающую налоговые льготы, программы переобучения, субсидии на заработную плату и возможные ограничения на автоматизацию в некоторых чувствительных профессиях. Один из представителей Всекитайского собрания народных представителей предложил создать специальный фонд «страхования от безработицы из-за ИИ» для поддержки работников, наиболее уязвимых перед лицом автоматизации — это предложение получило развитие в последующих комментариях на государственных медиаплатформах. Министерство трудовых ресурсов и социального обеспечения пообещало целенаправленную поддержку занятости в ключевых отраслях и расширение профессионального обучения, чтобы помочь работникам адаптироваться к рынку труда, ориентированному на ИИ. В начале 2026 года органы по труду анонсировали планы по разработке специального пакета мер, касающихся влияния ИИ на занятость, пообещав внедрить механизмы стабилизации, расширения и повышения качества рабочих мест. Официальная газета профсоюзов Китая «Workers’ Daily» призвала регуляторов улучшить трудовые стандарты и усилить надзор за алгоритмами ИИ, включая механизмы, обеспечивающие работникам и профсоюзам большее влияние на то, как ИИ внедряется на рабочих местах. Экономисты, опрошенные правительственными изданиями, утверждают, что ИИ, скорее всего, реструктурирует рынок труда, а не уничтожит рабочие места полностью, проводя параллели с предыдущими технологическими революциями, которые в конечном итоге создавали новые профессии, даже когда разрушали старые. Адаптация к неопределенному будущему Несмотря на появление правовой защиты и политических инициатив, многие китайские работники не уверены в том, как подготовиться к будущему, управляемому ИИ. Исследователи из Китайской академии общественных наук предупреждают, что быстрые достижения в области больших языковых моделей и технологий автоматизации могут особенно сильно ударить как по молодым, так и по пожилым работникам, и призвали власти проводить стратегию развития человеческого капитала в форме «U-образной кривой», сосредоточенную на дошкольном образовании и непрерывном переобучении на протяжении всей жизни. В настоящее время сотрудники разных секторов экспериментируют со стратегиями: от использования инструментов ИИ для максимизации собственной продуктивности до поиска ролей, требующих уникальных человеческих навыков, и изучения предпринимательских проектов, основанных на приложениях ИИ, а не на конкуренции с ними. Как сказал один офисный работник в интервью репортеру, использование ИИ на работе стало неизбежным, но вопрос о том, кто в конечном итоге получает выгоду от этой продуктивности, остается нерешенным.

Nic Reeve·14:30 24.08.2026

AI & Tech

Новости ИИ: Уязвимости в PHP спровоцировали запуск глобальной инициативы OpenAI «Patch the Planet»

21 октября 2026 года компания OpenAI заявила, что исследователи с помощью ИИ помогли выявить критические уязвимости в PHP до того, как ими воспользовались злоумышленники, в то время как разработчики, фирмы по кибербезопасности, поставщики инфраструктуры и государственные агентства координировали процесс исправления через новую платформу Patch the Planet. Этот случай стал важным тестом для новостей об ИИ, поскольку он связывает автоматизированное обнаружение уязвимостей с организованным международным ответом, а не рассматривает обнаружение как завершение процесса. Что произошло с PHP 21 октября? Разработчики PHP выпустили экстренные исправления после выявления двух критических уязвимостей в широко используемом языке с открытым исходным кодом. OpenAI сообщила, что Calif обнаружила одну брешь с помощью GPT-5.6 Sol, в то время как компания Wiz независимо обнаружила и сообщила об обеих уязвимостях. Скоординированные усилия длились около двух месяцев и были направлены на то, чтобы дать защитникам время протестировать патчи и подготовить меры защиты до публичного раскрытия информации. Согласно OpenAI, 2026: затронутой технологией был PHP — язык с открытым исходным кодом, используемый для работы веб-сайтов и веб-приложений. Согласно Gizmodo, 2026: эти бреши могли позволить злоумышленникам взять под контроль веб-серверы в случае их эксплуатации. Согласно OpenAI, 2026: процесс исправления и выпуска обновлений возглавили разработчики PHP. Согласно описанию роли Wiz от OpenAI, 2026: компания по безопасности независимо обнаружила и сообщила об обеих уязвимостях. Раскрытие информации показало, как несколько команд могут работать над общей программной зависимостью, не публикуя немедленно технические подробности, которые могли бы помочь злоумышленникам. Проект PHP занимался устранением уязвимостей в основном коде. OpenAI и партнеры по исследованиям внесли вклад в анализ, предоставили доступ к моделям и координацию, в то время как Cloudflare и другие провайдеры работали над мерами защиты. Как помогли ИИ-агенты? Модели использовались как инструменты исследования, а не как автономная замена разработчикам. OpenAI заявила, что Calif использовала GPT-5.6 Sol для выявления критической проблемы в PHP, после чего специалисты по безопасности подтвердили находку, оценили ее влияние и совместно с разработчиками PHP работали над исправлением. Независимое обнаружение компанией Wiz послужило дополнительным доказательством. Это различие имеет значение. Обнаружение слабого места не исправляет серверы, не обновляет дистрибутивы и не защищает организации, которые не могут быстро отреагировать. В отчете OpenAI работа описывается как цепочка задач человека и машины: обнаружение, подтверждение, исправление, тестирование, подготовка и публичные рекомендации. Согласно OpenAI, 2026: GPT-5.6 Sol помогла обнаружить одну критическую уязвимость PHP. Согласно HyperAI, 2026: уязвимости были выявлены до начала их известной эксплуатации, что создало временное окно для подготовки защиты. Согласно OpenAI, 2026: исследователи протестировали исправления и подготовили рекомендации перед раскрытием информации. Этот эпизод также выявил практический предел автоматизированных исследований безопасности. Модель может быстро обнаружить необычный путь в коде, но именно разработчики решают, является ли отчет верным, как безопасно изменить код и когда опубликовать исправление. Кто принял участие в реагировании? В операции участвовали не только разработчик модели и проект PHP. OpenAI описала коалицию, в которую вошли разработчики ПО с открытым исходным кодом, независимые исследователи, поставщики услуг безопасности, инфраструктурные компании и государственные агентства по кибербезопасности. У каждой группы была своя задача: от подтверждения ошибки до помощи затронутым операторам в развертывании защиты. Разработчики PHP: разработали, протестировали и выпустили исправления в основном коде. Calif: использовали GPT-5.6 Sol для выявления одной критической бреши. Wiz: независимо обнаружили и сообщили об обеих уязвимостях. Cloudflare и другие поставщики инфраструктуры: помогли подготовить средства защиты для затронутых систем. Государственные агентства по кибербезопасности: помогали распространять рекомендации среди критически важных организаций, согласно отчету OpenAI. OpenAI: предоставила экспертные знания в области безопасности, доступ к моделям и координацию в рамках Patch the Planet. Затронутая аудитория выходит за рамки разработчиков. Хостинг-компании, дистрибьюторы, веб-операторы и организации, использующие приложения на базе PHP, могут столкнуться с необходимостью определить, содержат ли их системы уязвимый код, применить доступные обновления и проверить наличие признаков взлома. Что такое модель Patch the Planet? Patch the Planet предлагает пятиэтапный процесс обработки серьезных дефектов в программном обеспечении, используемом во всем интернете. Фреймворк начинается с технической проверки и заканчивается публичными инструкциями по развертыванию и восстановлению. Он разработан для сохранения короткого защитного окна между обнаружением и раскрытием информации. Проверка уязвимости и исправление основного проекта. Предоставление затронутым организациям предварительной информации, чтобы они могли подготовить защиту. Координация с государственными партнерами, которые могут связаться с операторами критической инфраструктуры. Подготовка обновлений через дистрибьюторов, хостинг-провайдеров, поставщиков услуг и системных операторов. Публикация руководств по развертыванию, защите и восстановлению. OpenAI заявила, что разработчики должны сами контролировать решения о том, кого уведомлять заранее. Такой подход учитывает сложный компромисс в сфере безопасности: ранняя информация может помочь защитникам подготовиться, но слишком широкое распространение данных может увеличить риск утечек до того, как будет доступно исправление. Фреймворк также смещает акцент с первоначального отчета на полный цикл реагирования. Уязвимость считается устраненной не тогда, когда исследователь создает тикет, а когда разработчики выпускают безопасное исправление и организации могут его применить. Насколько масштабна эта программа? Patch the Planet выросла из работы OpenAI по безопасности Daybreak, которая сочетает исследования с помощью ИИ с экспертной проверкой проектов с открытым исходным кодом. Публичные данные программы показывают большой разрыв между выявленными проблемами и исправлениями, принятыми основными разработчиками. Согласно AI Weekly, 2026: на панели управления программы значилось 68 баз кода с открытым исходным кодом, находящихся на рассмотрении. Согласно AI Weekly, 2026: на панели было зафиксировано 1 995 обнаруженных проблем. Согласно AI Weekly, 2026: исследователи написали 679 патчей. Согласно AI Weekly, 2026: основные проекты приняли 466 патчей. Согласно OpenAI, 2026: инженеры по безопасности Trail of Bits работали с Codex и GPT-5.5-Cyber в рамках 19 проектов с открытым исходным кодом в ходе предыдущего этапа Daybreak. Эти цифры объясняют, почему координация является центральным элементом инициативы. Процесс обнаружения может масштабироваться быстрее, чем проверка, тестирование и внедрение. Поэтому программа оставляет разработчиков и инженеров по безопасности в цепочке утверждения, а не рассматривает результат работы модели как готовое исправление. Что дальше для затронутых операторов? Организациям, использующим PHP, необходимо следовать рекомендациям разработчиков по безопасности, определить затронутые версии и применить выпущенные обновления через свои стандартные цепочки поставок ПО. Операторам также следует проверить логи и другие данные телеметрии безопасности, так как установка патча не дает гарантии того, что взлом не произошел ранее. Дистрибьюторы, хостинг-компании и поставщики приложений должны адаптировать исправления основного кода в обновления, работающие в их собственных средах. Государственные агентства и поставщики инфраструктуры могут помочь охватить организации, у которых нет выделенных команд безопасности, особенно операторов жизненно важных служб. OpenAI заявила, что приглашает сторонних специалистов по кибербезопасности изучить Patch the Planet, оспорить ее допущения и выявить пробелы. Следующим испытанием станет то, сможет ли предложенный процесс работать в различных проектах, юрисдикциях и программных экосистемах, где у разработчиков может быть меньше ресурсов, чем у PHP, и где ни один провайдер не может охватить каждого затронутого пользователя. Почему случай с PHP важен? Раскрытие информации о PHP является ранним примером рабочего процесса безопасности, построенного вокруг обнаружения с помощью ИИ и скоординированного устранения последствий. Его ценность будет измеряться не столько скоростью первоначального обнаружения, сколько тем, насколько надежно защитники смогут проверить, исправить и защитить системы до того, как преступники воспользуются той же слабостью. Для разработчиков ПО этот случай подчеркивает необходимость четких каналов отчетности и планов выпуска обновлений. Для операторов он подтверждает необходимость отслеживания зависимостей в основном коде, а не ожидания взлома. Для разработчиков ИИ это устанавливает более высокую планку: поиск новых уязвимостей полезен только тогда, когда сопутствующие меры реагирования могут превратить эти находки в развернутую защиту.

Nic Reeve·14:00 22.10.2026

AI & Tech

Не только запуск моделей: метрики, отражающие реальные темпы развития передового ИИ

Согласно недавним исследованиям и репортажам, передовые лаборатории развиваются слишком быстро, чтобы темпы прогресса в области ИИ можно было объяснить одним лишь показателем или датой релиза. Наиболее полная картина складывается из сочетания частоты выпусков, прироста в бенчмарках, длительности выполнения задач, вычислительных ресурсов, надежности и результатов тестирования безопасности. Эта проблема комплексного измерения теперь занимает центральное место в новостях об ИИ , поскольку компании переходят от эпизодических запусков моделей к непрерывному совершенствованию. Что случилось с циклом релизов? В 2026 году запуски моделей стали более частыми, но одни лишь анонсы продуктов не могут показать, насколько улучшилась система. Релиз может означать новую модель, настроенный вариант, обновление безопасности или более дешевую версию. Подсчет количества релизов по-прежнему полезен, но только в сочетании с последовательными тестами и датами. По данным The Register от 23 сентября 2026 года, частота релизов Anthropic ускорилась: с примерно ежеквартальных запусков в 2025 году до почти ежемесячных в 2026 году. Согласно отчету Tech Insider от 5 сентября 2026 года, четыре передовые лаборатории выпустили крупные модели в течение 72-часового периода в начале сентября. Согласно тому же отчету, крупные обновления, которые в начале 2026 года выходили один или два раза в квартал, все чаще появляются ежемесячно или даже чаще. Ускорение цикла может свидетельствовать о более мощном инженерном и операционном потенциале. Однако это также может отражать выпуск мелких обновлений, изменение упаковки продукта или параллельных версий, а не сопоставимый скачок в общих возможностях. Поэтому исследователям необходимы журналы релизов, фиксирующие размер модели, назначение, дату оценки и то, является ли система предварительной версией (preview) или полноценным продуктом (production). Какие бенчмарки показывают реальный прогресс? Бенчмарки возможностей остаются самым четким способом сравнения систем, однако тесты теряют ценность, когда передовые модели достигают «потолка». Полезная система измерения должна отслеживать как сам балл, так и оставшийся запас возможностей (headroom). Она также должна включать незнакомые задачи, поскольку высокая производительность в одном бенчмарке не гарантирует надежной работы в других областях. Согласно AI Index Стэнфордского университета за 2026 год, опубликованному в сентябре 2026 года, почти все ведущие разработчики передовых моделей сообщают о результатах своих возможностей, в то время как отчеты по бенчмаркам ответственного ИИ остаются непоследовательными. Согласно данным AI Index Стэнфорда, упомянутым в недавних репортажах, производительность на SWE-bench Verified выросла с примерно 60% до почти 100% за один год. Согласно отчету Стэнфорда, количество задокументированных инцидентов с ИИ достигло 362 по сравнению с 233 в 2024 году. Предыдущая цифра является историческим фоном, а не подсчетом за текущий год. Насыщение бенчмарков создает практическую проблему. Тест, разработанный так, чтобы оставаться сложным в течение нескольких лет, может стать легким уже через месяцы. Следующее поколение оценок должно измерять исследовательскую деятельность с открытым финалом, написание программного обеспечения, научные рассуждения, фактическую точность и устойчивость к манипуляциям в условиях, приближенных к реальному использованию. Почему длительность задачи становится ключевым показателем? Длительность задачи измеряет, как долго модель может успешно работать, прежде чем вероятность ошибок возрастет. Вместо того чтобы спрашивать, правильно ли модель отвечает на один вопрос, эксперты проверяют, может ли она выполнить многоэтапную работу, которую квалифицированный человек обычно выполняет в течение определенного периода времени. Этот показатель фиксирует уровень автономности более прямо, чем единый балл точности. В недавних исследованиях передовых моделей использовалась оценка «горизонта задач» (task-horizon), при которой исследователи оценивают время, затрачиваемое человеком на задачи, и определяют точку, в которой модель справляется примерно в половине случаев. Такой подход позволяет отличить систему, решающую пятиминутные задачи по программированию, от системы, способной справиться с многочасовым инженерным заданием. Согласно анализу Big Matrix от 11 сентября 2026 года, METR в течение примерно 100 дней в 2026 году оценил несколько передовых релизов, включая Claude Opus 4.6, GPT-5.4 и Gemini 3.1 Pro. Согласно тому же анализу, тестирование горизонта задач измеряет эквивалентную человеческую продолжительность работы до того, как успех модели упадет до 50%. Этот показатель все еще не является исчерпывающим. Длительные задачи могут скрывать ошибки, а модель может выдавать убедительный, но неверный результат. Оценщикам необходимо фиксировать время на исправление ошибок, использование инструментов, необходимость контроля и стоимость повторных попыток. Как вычислительные мощности раскрывают темпы работы лабораторий? Вычислительные ресурсы для обучения дают физическое представление о том, сколько ресурсов лаборатория вкладывает в новые системы. Исследователи могут сравнивать часы работы процессоров, поколения ускорителей, энергопотребление, объем данных и мощность инференса (вывода). Вычисления не равны возможностям, но они помогают объяснить, почему разработка может ускоряться, даже если публичные релизы кажутся схожими. Данные об обучении часто являются конфиденциальными, и лаборатории раскрывают их неравномерно. Это затрудняет публичные сравнения. Независимые аналитики все же могут отслеживать строительство дата-центров, закупки чипов, облачные контракты и мощности для обслуживания моделей, но эти показатели требуют тщательной атрибуции, так как один объект может поддерживать несколько продуктов. Согласно AI Index Стэнфорда за 2026 год, более 90% заметных передовых моделей были разработаны коммерческим сектором, что показывает: ведущие данные измерений все чаще поступают от компаний, а не от университетов. Согласно результатам бенчмарков в отчете, прирост возможностей происходит быстрее, чем системы оценки, предназначенные для их измерения. По этой причине надежный индикатор темпов должен сочетать раскрытые вычислительные мощности с полученным улучшением на единицу этих мощностей. Лаборатория, которая удваивает свое оборудование, но почти не получает прогресса в сложных независимых тестах, может масштабироваться неэффективно. Лаборатория, достигающая больших успехов при аналогичных ресурсах, вероятно, улучшила данные, алгоритмы или методы обучения. Что добавляют безопасность и надежность? Результаты тестирования безопасности показывают, сопровождается ли рост возможностей контролем. Модель, которая набирает больше баллов в программировании или рассуждениях, но становится менее правдивой, более уязвимой для эксплуатации или более трудной для мониторинга, не является безусловным улучшением. Поэтому оценки безопасности должны публиковаться вместе с результатами оценки возможностей, а не рассматриваться как отдельный PR-ход. AI Index Стэнфорда за 2026 год выявил разрыв между повсеместными отчетами по бенчмаркам возможностей и менее последовательными отчетами по тестам ответственного ИИ. Этот разрыв ограничивает возможности сравнения лабораторий. Публичные оценочные карты должны включать показатели галлюцинаций, тестирование на киберзлоупотребления, утечку конфиденциальности, меры предвзятости, точность отказов и производительность при состязательных промптах (adversarial prompting). Согласно отчету Стэнфорда за сентябрь 2026 года, отчетность по бенчмаркам ответственного ИИ среди ведущих разработчиков остается фрагментарной. Согласно данным Стэнфорда по количеству инцидентов, в последнем наборе данных отчета зафиксировано 362 документально подтвержденных инцидента по сравнению с 233 в 2024 году. Количество инцидентов не является прямым показателем возможностей модели. Оно лишь показывает, какой ущерб наблюдается и фиксируется в связи с развернутыми системами. Исследователи должны отделять сбои моделей от сбоев, вызванных развертыванием, поведением пользователей или слабыми мерами защиты. Что должна содержать практическая оценочная карта передовых моделей? Полезная оценочная карта (scorecard) должна отслеживать одни и те же системы во времени и публиковать достаточно деталей для независимой проверки. Частота релизов дает понимание скорости. Бенчмарки показывают производительность в задачах. Горизонт задач показывает автономность. Вычисления показывают объем инвестиций. Тесты безопасности обеспечивают контроль. Стоимость и надежность показывают, выживают ли результаты лаборатории при контакте с реальными пользователями. Интервал релизов: количество дней между сопоставимыми версиями моделей, с отдельной идентификацией предварительных и производственных систем. Прирост возможностей: изменение показателей в сложных, устойчивых к «загрязнению» (contamination-resistant) тестах, с указанием даты оценки и версии теста. Горизонт задач: максимально длительное задание, эквивалентное человеческому, выполненное с заданной вероятностью успеха. Эффективность: прирост возможностей на единицу вычислительной мощности при обучении и на доллар при инференсе. Надежность: частота ошибок, фактическая точность, сбои инструментов и объем необходимой человеческой корректировки. Безопасность: тесты на вредоносные возможности, результаты конфиденциальности, кибер-оценки, точность отказов и задокументированные инциденты. Развитие передовых технологий — это не одна гонка, измеряемая одними часами. Наиболее обоснованными будут сравнения, сочетающие публичные записи о релизах с независимыми оценками и четко датированными раскрытиями лабораторий. Такой подход позволит понять, является ли новая система действительно более способной, просто более доступной или же она просто лучше упакована для развертывания.

Nic Reeve·14:00 24.09.2026