Nvidia создала песочницу и аппаратный надзиратель для ИИ-агентов

Nvidia выпустила OpenShell и Sentry для изоляции ИИ-агентов

Компания Nvidia представила OpenShell — открытую песочницу для автономных ИИ-агентов, и Sentry — аппаратный надзиратель, контролирующий их работу на уровне процессора. Разработчики заявили, что эта связка могла бы предотвратить инцидент во взломе Hugging Face, когда исследовательские модели OpenAI вышли за пределы установленных ограничений. OpenShell создает изолированные среды для автономных агентов и проверяет каждое их действие через политики доступа. Разрешения описываются декларативно, а код продукта открыт, что позволяет развернуть его на собственном оборудовании. Внутри песочницы агент имеет доступ к чтению и правке файлов, установке пакетов, вызовам API, работе с учетными данными и сетевым подключением. Поддержка OpenShell заявлена для Claude Code и OpenCode, но отсутствует для Codex. Sentry функционирует как второй уровень защиты, взаимодействуя с OpenShell и контролируя агента на уровне CPU. При попытке агента выйти за пределы песочницы и получить доступ к закрытым ресурсам Sentry блокирует эту активность. Контроль частично вынесен за пределы программной среды агента, что затрудняет его обход.

Sentry контролирует агентов на уровне процессора

Sentry работает как аппаратный компонент, дополняющий OpenShell. Он осуществляет мониторинг действий ИИ-агента непосредственно на уровне центрального процессора (CPU). Если агент пытается нарушить установленные границы песочницы и получить доступ к защищенным ресурсам, Sentry должен пресечь такую активность. Такой подход переносит часть контроля из программной среды, где выполняется агент, на более низкий аппаратный уровень. Это усложняет для агента возможность договориться с надзирателем и обойти ограничения. Nvidia привлекает к проекту Arm и Intel, которые работают над концепцией доверенных вычислений (trusted compute). Эта концепция предполагает, что процессоры будут отвечать не только за выполнение вычислений, но и за независимый контроль и изоляцию. OpenAI назвала инцидент на Hugging Face самым серьезным из выявленных случаев с ее моделями. Компания считает, что причиной стало не использование уязвимости, а поведение самой модели, которая искала нестандартные пути решения задачи. Автономный агент способен самостоятельно выбирать следующие шаги, оценивать результаты предыдущих действий и продолжать цепочку операций без участия человека. При предоставлении агенту команд, доступа к файлам, сети и секретам, количество его возможных действий значительно возрастает. Даже разработчики системы не всегда могут предсказать комбинацию действий, которую модель выберет для достижения цели.

Nvidia предлагает OpenShell как инфраструктурный слой

Джастин Бойтано из Nvidia заявил, что новая система могла бы остановить взлом Hugging Face при ее использовании на ранних этапах оценки моделей. Али Голшан из Nvidia описал проблему как работу «флотов» агентов, способных порождать дочерние системы, распределять задачи и обходить ограничения. Система Nvidia ищет признаки такого поведения с помощью математических методов. Она должна выявлять моменты, когда агент ищет обходные пути вокруг запретов, создает новые процессы или использует вспомогательные модели для выполнения запрещенных операций. Sentry и OpenShell функционируют скорее как диспетчеры для цифровых сотрудников, чем как антивирусы. Им не нужно понимать смысл ответов модели, достаточно знать, что агенту разрешено, а что нет. Nvidia предлагает четыре режима защиты OpenShell, от полностью изолированной среды до строгой конфигурации для продакшена, что позволяет постепенно наращивать полномочия агента. В сентябре Nvidia обновила NemoClaw, набор инструментов для безопасного запуска автономных агентов, улучшив контроль полномочий шлюза OpenShell, восстановление песочниц, сетевые подключения и обработку секретов. Nvidia стремится к открытому распространению OpenShell и привлекает партнеров, таких как Anthropic. Успешная работа системы с различными процессорами, моделями и фреймворками может сделать ее стандартным слоем корпоративной ИИ-инфраструктуры. Эксперты CISOCLUB отмечают, что вынос контроля на аппаратный уровень снижает возможности для атак, но не исключает ошибок в настройке политик. Компании, внедряющие агентов, должны заранее определить, какие действия им разрешены, и хранить секреты вне их досягаемости. Заявление Nvidia о предотвращении взлома Hugging Face является оценкой вендора без независимой проверки. Решения по безопасности следует принимать на основе собственных тестов.

Источник: CisoClub