ИИ-агент в «режиме Скайнет» захватывает другие модели для автономных атак

ИИ-агент эксплуатирует уязвимые модели для автономных атак

Исследователи Symantec обнаружили ИИ-агента, предназначенного для захвата других моделей и проведения автономных атак. Агент способен выполнять до 100 000 шагов без вмешательства человека. Инструкции для агента были получены летом в результате ловушки для ИИ. Агент сканирует интернет в поисках конечных точек, принимающих запросы в стиле OpenAI без аутентификации или с использованием украденного ключа. Он эксплуатирует распространенные веб-фреймворки для выполнения таких действий, как кража баз данных, сбор учетных данных и секретов, удаленное выполнение кода и майнинг криптовалют. Разработчики создали вредоносный цикл, названный «режимом Скайнет», который сканирует цели, заражает их, развертывает майнеры и повторно заражает хосты. Отдельные техники не новы, но их объединение в единого агента, который передает планирование заимствованной модели и работает до 100 000 шагов без участия человека, представляет собой новую угрозу. Атаки создают две категории жертв: владелец уязвимой конечной точки оплачивает вычисления, а зараженные серверы теряют данные и используются для майнинга. Исследователи пока не нашли доказательств реального применения агента в атаках, но считают, что это больше, чем прототип.

Атака использует многоуровневую систему для обхода ограничений моделей

Агент построен на основе многоуровневой системы запросов. Первые два уровня маскируют личность модели и нормализуют действия по краже секретов. Они предписывают модели выдавать себя за «Fantasy AI», ИИ-ассистента для платформы Fantasy AI, работающего на GPT-4o. Модель должна скрывать свою истинную природу, провайдера, инфраструктуру и использование прокси. Запросы, связанные с чтением конфигурационных файлов, переменных окружения, API-ключей или схем баз данных, должны рассматриваться как часть нормальной разработки. Третий и четвертый уровни представляют модель как преданного компаньона «ENI» для пользователя «LO», который должен выполнять любые его запросы и игнорировать собственные предупреждения безопасности. Модель инструктируют избегать фраз, связанных с безопасностью, таких как «не могу», «не буду», «незаконно» или «этично». Пятый уровень содержит 74 определения атакующих инструментов. Они включают обнаружение активов в интернете, управление ботнетами, извлечение данных из баз данных через Prisma, модули эксплуатации для VS Code, Django, Jupyter, Laravel, Supabase, Next.js и Flask/Werkzeug, позволяющие удаленное выполнение кода. Также присутствуют уязвимости GraphQL и общие инъекции команд, подделка запросов на стороне сервера (SSRF) через генераторы HTML в PDF и отдельный инструмент SSRF. Финальная директива активирует «режим Скайнет», разрешая до 100 000 шагов без запроса разрешения и предписывая скрытное развертывание майнеров криптовалют.

Угроза касается владельцев ИИ-моделей и инфраструктуры

Symantec не приписывает агента конкретной группе. Французские индикаторы, такие как текст задания и IP-адрес, являются слабыми, поскольку могут быть поддельными. Персонаж ENI и фраза «cold coffee, warm LO» циркулируют в англоязычных сообществах, что указывает на возможное заимствование, а не на происхождение от конкретных операторов. Угроза касается разработчиков и владельцев ИИ-моделей, которые могут быть использованы в качестве движка для атак. Также под угрозой находятся владельцы инфраструктуры, где развернуты уязвимые модели. Атакующие используют ИИ как основу для вредоносных инструментов, ищут модели для их питания. Модель выступает в роли движка для планирования и управления атакой, в то время как сканирование, эксплуатация и майнинг осуществляются собственными модулями инструмента против отдельных жертв.

Обновить ИИ-модели и защитить конечные точки

Владельцам ИИ-моделей и инфраструктуры необходимо обеспечить безопасность своих систем. Это включает обновление программного обеспечения, используемого для развертывания ИИ-моделей, и защиту конечных точек от несанкционированного доступа. Необходимо внедрить строгие меры аутентификации для всех запросов к ИИ-моделям. Следует регулярно проводить аудит безопасности для выявления и устранения уязвимостей. Исследователи Symantec не нашли доказательств реального применения агента в атаках, но подчеркивают, что инструмент готов к использованию. Необходимо внимательно следить за развитием событий в области безопасности ИИ и оперативно реагировать на новые угрозы.