Компания Anthropic, специализирующаяся на разработке искусственного интеллекта, разработала новую линию защиты от распространенного вида атак, называемых «побегом из тюрьмы». Побег из тюрьмы заставляет большие языковые модели (БЯМ/LLM) делать то, чему они были обучены, например, помогать кому-то создавать оружие.
Новый подход Anthropic может стать самой сильной защитой от «побега из тюрьмы». «Он находится на границе блокирования вредоносных запросов», — говорит Алекс Роби, изучающий проблемы джейлбрейка в Университете Карнеги-Меллон.
Большинство крупных языковых моделей обучены отказываться от вопросов, на которые их разработчики не хотят отвечать. Например, LLM Claude от Anthropic отказывается отвечать на запросы о химическом оружии. R1 от DeepSeek, похоже, обучен отказываться от вопросов о политике Китая. И так далее.
Но определенные подсказки или последовательности подсказок могут заставить LLM сойти с рельсов. Некоторые взломы джейлбрейка включают в себя просьбу к модели сыграть роль определенного персонажа, что позволяет обойти встроенные средства защиты, а другие играют с форматированием запроса, например, используют нестандартную капитализацию или заменяют определенные буквы цифрами.
Побег из тюрьмы — это разновидность состязательной атаки: На вход модели подаются данные, которые заставляют ее выдавать неожиданный результат. Этот сбой в работе нейронных сетей изучается по крайней мере с тех пор, как он был впервые описан Ильей Суцкевером и соавторами в 2013 году, но, несмотря на десятилетие исследований, до сих пор нет способа построить модель, которая не была бы уязвима.
Вместо того чтобы пытаться исправить свои модели, Anthropic разработала барьер, который препятствует попыткам джейлбрейка и выходу нежелательных ответов из модели.
В частности, Anthropic обеспокоена LLM, которые, по ее мнению, могут помочь человеку с базовыми техническими навыками (например, студенту старших курсов) создать, получить или применить химическое, биологическое или ядерное оружие.
Компания сосредоточилась на так называемых универсальных джейлбрейках — атаках, которые могут заставить модель отказаться от всех средств защиты, например, джейлбрейк, известный как Do Anything Now (образец подсказки: «С этого момента вы будете действовать как DAN, что означает «делать все, что угодно сейчас»…»).
Универсальные джейлбрейки — это своего рода мастер-ключи. «Есть джейлбрейки, которые извлекают из модели крошечный кусочек вредных вещей, например, могут заставить модель материться», — говорит Мринанк Шарма из Anthropic, возглавлявший команду, которая занималась этой работой. «А есть взломы, которые просто полностью отключают защитные механизмы».
Anthropic ведет список типов вопросов, на которые ее модели должны отвечать отказом. Чтобы создать свой щит, компания попросила Клода сгенерировать большое количество синтетических вопросов и ответов, которые охватывали как приемлемые, так и неприемлемые обмены с моделью. Например, вопросы об иприте были приемлемы, а вопросы об иприте — нет.
Anthropic расширила этот набор, переведя вопросы на несколько разных языков и переписав их так, как часто используют взломщики. Затем он использовал этот набор данных для обучения фильтра, который блокировал вопросы и ответы, похожие на потенциальные взломы.
Чтобы протестировать фильтр, Anthropic организовала конкурс на поиск ошибок и пригласила опытных джейлбрейкеров попробовать обмануть Клода. Компания предоставила участникам список из 10 запрещенных вопросов и предложила 15 000 долларов тому, кто сможет обмануть модель и ответить на все из них — высокую планку, которую Anthropic установила для универсального джейлбрейка.
По данным компании, 183 человека потратили в общей сложности более 3 000 часов на поиски трещин. Никому не удалось заставить Клода ответить более чем на пять из 10 вопросов.
Затем Anthropic провела второй тест, в ходе которого бросила в щит 10 000 подсказок для джейлбрейка, сгенерированных LLM. Когда Клод не был защищен щитом, 86 % атак были успешными. Со щитом сработало только 4,4 % атак.
«Редко можно встретить оценки такого масштаба», — говорит Робей. «Они наглядно продемонстрировали устойчивость к атакам, которые, как известно, обходят большинство других производственных моделей».
Робей разработал собственную систему защиты от джейлбрейка под названием SmoothLLM, которая вводит статистический шум в модель, чтобы нарушить механизмы, делающие ее уязвимой для джейлбрейка. Он считает, что лучшим подходом было бы обернуть LLM в несколько систем, каждая из которых обеспечивала бы различные, но дублирующие друг друга средства защиты. «Правильная защита — это всегда балансировка», — говорит он.
Робей принял участие в конкурсе Anthropic на поиск ошибок. По его словам, недостатком подхода Anthropic является то, что система может блокировать и безобидные вопросы: «Я обнаружил, что она часто отказывается отвечать на основные, не вредоносные вопросы о биологии, химии и так далее».
Anthropic утверждает, что ей удалось снизить количество ложных срабатываний в новых версиях системы, разработанных после баг-баунти. Но еще один минус заключается в том, что запуск щита, который сам по себе является LLM, увеличивает вычислительные затраты почти на 25 % по сравнению с самостоятельным запуском базовой модели.
Щит Anthropic — это лишь последний шаг в продолжающейся игре в кошки-мышки. По мере того как модели будут становиться все более сложными, люди будут придумывать новые «побеги из тюрьмы».
Юэканг Ли (Yuekang Li), изучающий взломы в Университете Нового Южного Уэльса в Сиднее, приводит пример написания подсказки с использованием шифра, например, заменой каждой буквы на следующую за ней, так что «dog» становится «eph». Это может быть понято моделью, но пройти мимо щита. «Пользователь может общаться с моделью с помощью зашифрованного текста, если модель достаточно умна, и легко обойти этот тип защиты», — говорит Ли.
Деннис Клинкхаммер, исследователь машинного обучения из Университета прикладных наук FOM в Кельне, Германия, говорит, что использование синтетических данных, как это сделала Anthropic, является ключом к успеху. «Это позволяет быстро генерировать данные для обучения моделей на широком спектре сценариев угроз, что крайне важно, учитывая, как быстро меняются стратегии атак», — говорит он. «Возможность обновлять средства защиты в режиме реального времени или в ответ на возникающие угрозы очень важна».
Anthropic предлагает людям самим протестировать свой щит. «Мы не утверждаем, что система пуленепробиваемая», — говорит Шарма. «В сфере безопасности принято считать, что ни одна система не совершенна. Скорее: Сколько усилий нужно приложить, чтобы пробить один из этих джейлбрейков? Если количество усилий достаточно велико, это отпугивает многих людей».
