Positive Technologies защитит ИИ-агентов и LLM от атак новым модулем PT Application Firewall

PT Application Firewall получил модуль LLM Firewall

Positive Technologies разработала LLM Firewall. Это новый модуль для PT Application Firewall, решения для защиты веб-приложений. LLM Firewall защищает корпоративных ИИ-ботов, виртуальных ассистентов и другие сервисы на основе больших языковых моделей (LLM). Модуль анализирует запросы к LLM и их ответы. Он выявляет признаки кибератак, «отравления» промтов и попытки утечки конфиденциальной информации. Также модуль обнаруживает нарушения установленных правил безопасности. Об этом CNews сообщили представители Positive Technologies.

LLM Firewall защищает ИИ-агентов и LLM

Разработка предназначена для банков, ретейлеров, маркетплейсов, телеком-операторов и ИТ-компаний. В этих отраслях ИИ обрабатывает обращения клиентов, оформляет заказы и автоматизирует внутренние процессы. Виртуальные помощники получают доступ к персональным данным, корпоративным документам и информационным системам. Компрометация таких систем может привести к утечкам информации, финансовым потерям и сбоям в работе бизнеса. Павел Пархомец, руководитель продукта PT AF Cloud Positive Technologies, отметил, что ИИ-агенты становятся полноценными участниками бизнес-процессов. Это делает их новой целью для киберпреступников. Прогнозируется рост числа атак, направленных на манипулирование поведением ИИ-ассистентов. Злоумышленники будут пытаться выполнять вредоносные действия в корпоративной сети от их имени. Последствия компрометации растут по мере расширения возможностей ИИ-помощников. Компании должны учитывать эти риски при внедрении ИИ.

LLM Firewall обнаруживает инъекции промтов и утечки данных

Один из способов атак на языковые модели — инъекции промтов (prompt injection). Злоумышленник отправляет ИИ-боту специально составленный запрос. Цель — обойти ограничения, получить закрытую информацию или заставить ИИ выполнить нежелательное действие. Вредоносные инструкции могут скрываться в документах, обрабатываемых моделью. Традиционные средства веб-защиты не распознают такие атаки, так как они выглядят как обычные сообщения пользователей. LLM Firewall проверяет входящие запросы и ответы языковой модели. Модуль обнаруживает попытки обойти ограничения ИИ (jailbreak), извлечь системные инструкции или использовать возможности ИИ-агента в интересах атакующего. Подозрительные обращения можно автоматически блокировать или фиксировать для последующего анализа специалистами по безопасности. Модуль также контролирует информацию, передаваемую пользователями ИИ-агенту. LLM Firewall выявляет персональные данные, пароли, ключи доступа и другие секреты. Он обнаруживает токсичный, запрещенный и потенциально опасный контент. Проверка в обоих направлениях позволяет контролировать сведения, поступающие в ИИ-сервис, и содержание ответов, получаемых пользователями. Это снижает риск репутационного ущерба из-за некорректных ответов бота.

LLM Firewall интегрируется в PT AF Cloud и PT AF PRO

Модуль уже интегрирован в PT AF Cloud. Он подключается к обмену данными между приложением и языковой моделью через API. API совместим с OpenAI Chat Completions и Responses. Для управления защитой не требуется отдельная консоль. В ближайшее время модуль появится в on-premise продукте PT AF PRO. Компании могут настраивать политики безопасности для разных ИИ-сервисов. Они могут выбирать режим мониторинга или блокировки. Можно устанавливать отдельные правила проверки запросов и ответов. Информация о выявленных событиях поступает в PT AF. Специалисты используют ее для анализа угроз и расследования инцидентов.