«Лаборатория Касперского» представила руководство по безопасности ИИ-агентов

«Лаборатория Касперского» выпустила руководство по безопасности ИИ-агентов

«Лаборатория Касперского» представила руководство «Безопасность ИИ-агентов через призму кибериммунитета». Документ описывает основные риски использования ИИ-агентов и способы их снижения. Руководство ориентировано на директоров по информационной безопасности, ИТ-руководителей, архитекторов и разработчиков. ИИ-агенты — это системы на базе больших языковых моделей (LLM), которые могут самостоятельно взаимодействовать с файлами, базами данных и другими системами. Они активно внедряются в корпоративные процессы, включая разработку ПО, поддержку клиентов и аналитику. Часто внедрение происходит бесконтрольно, что порождает теневой ИИ с неизвестным уровнем безопасности.

Четыре основных риска ИИ-агентов подтверждаются инцидентами

Существуют четыре ключевых риска, связанных с безопасностью ИИ-агентов. Первый риск связан с недоверенным когнитивным ядром: большие языковые модели могут ошибаться из-за своей вероятностной природы. Второй риск, названный «фатальной триадой», включает доступ к конфиденциальным данным, обработку недоверенного ввода и возможность взаимодействия с внешними системами. Третий риск — избыточные полномочия, когда агент получает больше прав, чем необходимо для выполнения задач. Четвертый риск — непрозрачность действий агента, затрудняющая понимание причин принятия решений и своевременное обнаружение ошибок. Эти риски подтверждаются реальными инцидентами, когда ИИ-агенты случайно удаляли данные или совершали другие нежелательные действия. Учет этих рисков важен на этапе разработки и внедрения систем.

Кибериммунитет предлагает модель защиты ИИ-агентов

Для защиты ИИ-агентов предлагается использовать кибериммунный подход. Это концепция «Лаборатории Касперского», направленная на построение безопасных по умолчанию систем. Подход фокусируется на целях и допущениях безопасности, которые определяют архитектуру системы на этапе проектирования. Руководство содержит практические рекомендации для руководителей, отвечающих за ИТ и ИБ. Антон Иванов, технический директор «Лаборатории Касперского», отметил, что ИИ-агенты представляют собой привлекательную цель для злоумышленников. Риски возрастают с увеличением агентности систем, от LLM без инструментов до автономных мультиагентных систем. Безопасность агента определяется на этапе проектирования, требуя баланса между защитой и эффективностью. Агенты должны работать в режиме наименьших привилегий, а критические операции — проходить через человеческое подтверждение и проверку контекста. Чем сложнее задачи, делегируемые ИИ, тем строже должен быть контроль, изоляция и аудит.

Источники: Kaspersky · SecurityMedia