Anthropic призова съдилищата и регулаторите да спрат разработването на високорискови AI модели

Изпълнителният директор на Anthropic Dario Amodei призовава правителствата да въведат задължителни защитни механизми за напредналия изкуствен интелект, твърдейки, че доброволните обещания не могат да се справят с нарастващите възможности на системите. В писмо от 15 октомври до губернатора на Калифорния Gavin Newsom, разкрито на 28 октомври, компанията подкрепи съдебни заповеди, които биха могли да спрат модели, определени като представляващи сериозен риск за обществеността.
- Anthropic е изпратила своите препоръки на Калифорния в писмо от 15 октомври, съобщи Reuters на 28 октомври.
- Reuters съобщи, че предложението би позволило на властите да търсят съдебни заповеди за блокиране на модели, които създават „сериозен риск“.
- Anthropic планира да инвестира поне 1 милиард долара в независима оценка в рамките на пет години, съобщи Reuters Breakingviews на 2 ноември.
Каква регулация иска Anthropic?
Anthropic иска правителствата да надскочат правилата за разкриване на информация и доброволните индустриални ангажименти. Предложението на компанията би позволило на публичните власти да изискват от съдилищата да спрат пускането на AI модел, след като проверка установи сериозна заплаха. Този подход би дал на разработчиците шанс да оспорят действията на правителството, като същевременно създаде правна контролна точка преди внедряването.
„Когато проверка установи, че модел представлява сериозен риск, правителството трябва да има възможност да поиска от съда да го блокира“, заяви Anthropic в писмото до Newsom, цитирано от Reuters.
Anthropic представи препоръките си след като Newsom съз叫 експертна комисия през септември за разработване на предложения за безопасност на ИИ. Позицията на компанията е по-тясна от общото призив за пауза в развитието на ИИ. Тя се фокусира върху високоспособни модели, които могат да създадат остри рискове, включително киберзаплахи или други високорискови злоупотреби.
Защо Anthropic отхвърля широки „аварийни изключватели“?
Anthropic не подкрепя изискването компаниите да инсталират механизми за контрол, способни да изключват цял модел при всяка криза. Компанията заяви на властите в Калифорния, че такова изискване може да успокои регулаторите, без надеждно да ограничи вредна система. Вместо това Anthropic предпочита интервенции, насочени към конкретния източник на вреда.
- Anthropic описа пълните „аварийни изключватели“ на модела като възможна „фалшива увереност в сигурността“, съобщи Reuters.
- Компанията подкрепя деактивирането на проблемен AI агент или прекъсването на достъпа на отделен клиент.
- Anthropic твърди, че целевите контроли биха могли да работят по-добре от изключването на цял модел.
Разликата е важна, защото напредналите модели могат да обслужват много клиенти и приложения едновременно. Проблем, свързан с един внедрен агент или потребител, може да не оправдава премахването на достъпа за всеки легитимен клиент. Предложението на Anthropic, следователно, поставя по-голям акцент върху идентифицирането на опасното действие и неговото директно спиране.
Как независимите оценители биха променили надзора над ИИ?
Регулаторният аргумент на Amodei е съчетан с план за предоставяне на постоянна роля на външни специалисти в процеса на разработка на ИИ. Независимите оценители биха работили заедно с собствените екипи за безопасност и стратегия на Anthropic, вместо да преглеждат модела едва след неговото публично пускане. Целта е да се тестват възможностите, докато разработчиците все още имат време да променят плановете си за внедряване.
Reuters Breakingviews съобщи на 2 ноември, че Anthropic планира да инвестира поне 1 милиард долара в тази дейност през следващите пет години. Компанията има и политика за отговорно мащабиране, която поставя граници на развитието, когато работата по безопасността не изостава от възможностите на модела.
Предложеният надзор би добавил външен контрол в сектор, в който компаниите често оценяват собствените си системи. Това също така би могло да предостави на регулаторите повече техническа информация, преди да решат дали даден модел трябва да бъде пуснат.
Какви събития насочиха дебата към съдилищата и правителството?
Препоръките на Anthropic се появиха сред спор относно това как трябва да реагират правителствата, когато „граничните“ (frontier) модели придобиват мощни възможности. Reuters съобщи, че администрацията на Trump е наредила на Anthropic през юни да ограничи достъпа на чуждестранни субекти до нейните системи Mythos 5 и Fable 5, притежаващи кибервъзможности, по причини, свързани с националната сигурност. Министерството на търговията по-късно отмени тази заповед.
Процесът в Калифорния отразява по-широките усилия на правителствата да дефинират приложими стандарти, вместо да разчитат само на корпоративни ангажименти. Reuters съобщи, че двупартийна група от американски сенатори през септември обсъждаше законодателство, което би дало на федералното правителство правомощия да блокира определени небезопасни AI модели, като същевременно позволи на компаниите да оспорват решенията в федералния съд.
Предложението на Anthropic, базирано на съдебната система, би поставило съдиите между регулаторите и разработчиците. Това би могло да направи ограниченията по-трайни от правна гледна точка, но също така би повдигнало въпроси относно доказателствата, времето и техническия праг за „сериозен риск“.
Какво иска Amodei индустрията и правителствата да направят след това?
Amodei твърди, че компаниите за ИИ не трябва сами да решават стандартите за безопасност. В интервю от 1 ноември, цитирано от Blumify, той описва предпочитаната от него последователност: първо компаниите трябва да подобрят собствените си практики, след това да установят споделени индустриални стандарти и накрая да се стигне до международно сътрудничество. Участието на правителството ще бъде необходимо, за да направи тези стандарти надеждни и за да се регулира темпът на пускане на системите.
„Трябва да има участие на правителството“, каза Amodei в интервюто, позовавайки се на усилията за установяване на стандарти за безопасност и потенциално регулиране на скоростта, с която се пускат системите, според Blumify.
Amodei също така заяви, че Anthropic води редовни разговори с представители на Министерството на търговията, Министерството на финансите и разузнавателните служби. Политиката на компанията сега е изправена пред практически тестове: законодателите трябва да определят кои модели се квалифицират като опасни, агенциите трябва да разработят надеждни методи за оценка, а съдилищата трябва да решат колко бързо може да бъде издадена заповед при приближаващо пускане на модел.
Кой може да бъде засегнат от по-строгите правила за ИИ?
Разработчиците на ИИ ще се изправят пред нови задължения за тестване, документация и правни отговорности преди пускането на най-мощните системи. Облачни доставчици и клиенти също могат да срещнат ограничения в достъпа, ако даден модел или конкретен агент бъде определен като небезопасен. Регулаторите ще получат официален път за намеса, докато съдилищата ще трябва да оценяват технически доказателства, които могат бързо да се променят.
Бизнесите, използващи напреднал ИИ, могат да видят по-бавно пускане на продукти или по-строг контрол върху кибернетичните, биологичните и автономните възможности. В същото време външната оценка би могла да улесни клиентите при преценката дали една система е тествана независимо. Разходите първо ще паднат върху водещите разработчици, но правилата в крайна сметка могат да оформят целия пазар.
Позицията на Anthropic оставя нерешен въпроса как регулаторите трябва да измерват риска и кой трябва да плаща за оценките. Тези решения ще определят дали по-строгият надзор ще се превърне в насочен режим на безопасност или в по-широка бариера пред внедряването на технологиите.


