ИИ-агенты — новая инсайдерская угроза: как защитить их снаружи

Контроли для ИИ-агентов располагают вне их кода

Команды безопасности два десятилетия учились работать с доверенными лицами. Администраторы доменов, специалисты по базам данных, утверждающие финансовые операции и подрядчики с доступом по VPN следуют отработанным процедурам: проверка личности, ограниченный доступ, регистрация действий и быстрая блокировка. Сегодня аналогичные процессы применяются к ИИ-агентам. Они читают почту, запрашивают данные из хранилищ, создают заявки, отправляют код и действуют в производственных системах. В отличие от нового сотрудника, агента нельзя опросить, проверить его прошлое или заставить подписать политику допустимого использования. Индустрия в целом характеризует ИИ-агентов как новую инсайдерскую угрозу. Эта метка описывает, кого следует опасаться, но не где должны находиться средства контроля. Аргумент состоит в том, что ответ кроется в концепции 1972 года — мониторе отсылки, а его практическое применение лежит на центре безопасности (SOC).

ИИ-агенты нарушают привычную модель доверия

При работе с традиционным ПО инцидент безопасности завершается поиском первопричины. Находят уязвимую функцию, неправильно настроенное правило или ошибочный коммит и исправляют его. Поведение системы было заложено в читаемом коде. Большие языковые модели не предоставляют такой возможности. Невозможно указать на обучающий пример или набор весов, которые привели к конкретному решению. Один и тот же запрос может вызвать разные действия при разных запусках. Для защитника это означает потерю базового допущения: система будет вести себя завтра так же, как сегодня. Поверхность атаки также меняется. Компьютерные науки имеют старое название для этой проблемы — «запутанный заместитель». Это доверенная программа, обманутая для злоупотребления собственными полномочиями от имени кого-то другого. Агент, читающий отравленное письмо, веб-страницу или документ и затем действующий по скрытым инструкциям, становится «запутанным заместителем» с API-ключами. Пароль не украден, эксплойт не запущен, поэтому реальная зона поражения определяется разрешениями агента, а не его интеллектом.

Различия между инсайдерами и ИИ-агентами меняют работу защитников

Обсуждение агентов как инсайдеров фокусируется на двух пробелах: агенты не боятся потерять карьеру и действуют со скоростью машины. Оба аспекта реальны. Однако с точки зрения обнаружения и криминалистики четыре других различия меняют работу больше. Человеческий инсайдер действует в одиночку, тогда как множество идентичных копий ИИ-агентов разделяют одну слабость. Это означает, что успешную инъекцию следует рассматривать как червеобразный баг: исправлять нужно всю систему, а не один экземпляр. События с участием человека можно реконструировать и опросить его, тогда как одинаковый ввод может привести к разным действиям ИИ при повторном запуске. Криминалистический анализ должен основываться на записанных вводах и вызовах инструментов, а не на воспроизведении действий агента. Инструкции человеку поступают от менеджера, а к агенту они приходят смешанными с обрабатываемыми данными. Любой контент, который читает агент, является потенциальной командой. Человека можно допросить и перекрестно проверить, тогда как его отчет о рассуждениях может не совпадать с фактическими действиями. Доказательства должны поступать извне агента. Последнее различие наиболее важно. Нельзя полагаться на отчет агента о собственных рассуждениях как на основу доверия, поскольку пока неизвестно, как гарантировать их достоверность. Доказательства должны поступать извне агента.

Контроли располагают вне модели ИИ

Если модель нельзя полностью доверить, то управляющие ею контроли не могут находиться внутри нее. Системная подсказка «никогда не удаляй производственные данные» является предложением, а не контролем. Тщательно составленная инъекция может убедить модель действовать иначе. Архитекторы безопасности решили похожую проблему в 1970-х годах с помощью монитора отсылки: механизма, который проверяет каждый запрос доступа, не может быть обойден и не может быть изменен программой, которой он управляет. Для ИИ-агентов это означает разделение трех компонентов: модели, которая рассуждает, оболочки, которая ею управляет, и уровня политики, который определяет, какие действия разрешены. Агент может предлагать что угодно, но только точка принудительного исполнения решает, что достигнет реальных систем. Каждое решение записывается в журнал, который агент не может изменить.

Плейбук безопасности для ИИ-агентов

Ни один из этих контролей не является новым. Новым является их последовательное применение к нечеловеческому актору, который рассуждает, планирует и действует. Каждому агенту следует предоставить собственную идентификацию. Агент никогда не должен работать под общей учетной записью службы или учетными данными человека. Ему нужна идентификация, которую можно масштабировать, отслеживать и отзывать независимо. Необходимо применять принцип наименьших привилегий к действиям, а не только к данным. Следует определить явное пространство действий: какие инструменты, какие API, какие параметры. Действия с высоким уровнем воздействия, такие как платежи, удаления или производственные изменения, требуют дополнительного одобрения человека. Все следует регистрировать в месте, недоступном для агента. Каждый вызов инструмента, ввод и вывод должны поступать в неизменяемое хранилище за пределами досягаемости агента. Необходимо иметь возможность реконструировать произошедшее, не спрашивая агента. Никогда не позволяйте модели оценивать собственную работу. Используйте другую модель, детерминированное правило или человека для проверки важных результатов. Избегайте зависимости от одного поставщика модели для чего-либо критически важного. Проводите непрерывное тестирование. Тестируйте инъекции подсказок, злоупотребление инструментами, эксфильтрацию данных и крайние случаи, а не только стандартные сценарии. Повторно тестируйте каждый раз, когда изменяется модель, подсказка или набор инструментов. Создайте «выключатель» до того, как он понадобится. В мае 2017 года WannaCry была остановлена ​​случайно. Исследователь зарегистрировал бессмысленный домен, жестко закодированный в программе-вымогателе, и новые заражения прекратились, поскольку вредоносное ПО проверяло этот домен перед запуском. Защитники не создавали этот выключатель. Они нашли его в коде злоумышленника, он ничего не сделал для уже зашифрованных машин, а более поздние варианты просто удалили его. Парки агентов не могут полагаться на такую ​​удачу. Управляющий элемент должен быть нашим, располагаться вне агента, отключать его учетные данные и доступ к инструментам в середине выполнения и регулярно тестироваться, подобно действию изоляции хоста EDR. Раскрывайте информацию об инцидентах и ​​делитесь ею. Когда агент ведет себя некорректно, сообщите пострадавшим, задокументируйте, какой контроль вышел из строя, и поделитесь уроками с более широким сообществом, так же, как мы делимся информацией об угрозах сегодня. Постоянная память представляет новый риск. Агенты с долгосрочной памятью могут быть отравлены один раз и оставаться скомпрометированными. Добавьте состояние памяти к «регистрируйте все» и «карантин вывода».

Интеграция ИИ-агентов в центр безопасности (SOC)

Одно лишь ведение журнала никого не защищает, поскольку ни одна команда не может просмотреть миллионы действий агентов, а передача этого анализа другой неприсматриваемой модели просто добавляет еще один черный ящик. Центр безопасности (SOC) должен рассматривать активность агентов как первичный источник телеметрии, подобно тому, как он сегодня рассматривает конечные точки, идентификаторы и облачные рабочие нагрузки. На практике это означает: поведенческие базовые показатели для каждого агента. Знайте, какие инструменты, источники данных и назначения обычно использует каждый агент, и оповещайте об отклонениях, таких как агент проверки кода, который начинает читать общий файловый ресурс финансов. Обнаружение атак, специфичных для агентов. Пишите правила для индикаторов инъекций подсказок, необычных цепочек инструментов, внезапных всплесков действий с повышенными привилегиями и данных, поступающих в неожиданные места назначения. Корреляция с остальной частью среды. Связывайте действия агентов с пользователем, сеансом, контентом, который агент прочитал, и системами, к которым он обращался, чтобы расследование могло проследить всю цепочку. Плейбуки реагирования. Приостанавливайте агента, отзывайте его токены, помещайте его выходные данные в карантин и отменяйте его изменения с той же скоростью, которую мы ожидаем при изоляции скомпрометированного хоста. Индустрия безопасности может лидировать в этой области, поскольку мы уже знаем, как собирать шумную телеметрию, находить сигнал и быстро сдерживать угрозы. Агенты — это следующая категория активов, которые необходимо защищать, и следующая категория акторов, за которыми нужно наблюдать.

Доверяйте архитектуре, а не модели

Модели будут становиться умнее, а поставщики будут продолжать обещать, что они безопаснее. Оба утверждения могут быть верными, но ни одно из них не снимает с нас ответственности за действия агента в нашей среде с нашими данными и нашими учетными данными. Цель — не найти модель, которой можно полностью доверять. Цель — построить систему, которая остается безопасной, даже когда модель ошибается. Команды безопасности десятилетиями делали это для людей, сетей и конечных точек. ИИ-агенты — это просто следующий привилегированный инсайдер, и пора относиться к ним соответствующим образом.