Вредоносы научились обманывать ИИ-анализ с помощью текстовых инструкций

Вредоносы используют текстовые инструкции для обхода ИИ-анализа

Исследователи Cisco Talos выявили новую тенденцию среди создателей вредоносного ПО. Злоумышленники начали встраивать в свой код текстовые инструкции на естественном языке. Эти инструкции предназначены для обмана систем анализа, основанных на искусственном интеллекте (ИИ). Cisco Talos классифицирует эту технику как "A3: AI-Analysis Evasion".

Вредоносы манипулируют ИИ-системами анализа

Атаки с использованием "A3: AI-Analysis Evasion" направлены на то, чтобы заставить ИИ-системы анализа ошибочно оценить вредоносный файл как безопасный. Злоумышленники ожидают, что ИИ будет интегрирован в конвейеры анализа безопасности. Они разрабатывают простые и дешевые методы для манипулирования этими системами. Техники варьируются от добавления комментариев, предписывающих ИИ игнорировать файл, до сложных методов "template spraying". Последние нацелены на обман конкретных больших языковых моделей (LLM). Исследователи обнаружили, что такие техники внедрения подсказок (prompt injection) успешно вводят ИИ в заблуждение примерно в 35% случаев. Эти методы используются злоумышленниками любого уровня. Вредоносные программы, такие как MANTLEMAZE, сочетают эти ИИ-обманки с серьезными угрозами. Они могут использовать уязвимые драйверы для отключения систем защиты конечных точек (EDR) из пространства ядра.

Техника касается всех пользователей ИИ-анализа

Вредоносные программы, использующие "A3: AI-Analysis Evasion", представляют угрозу для организаций, применяющих ИИ-инструменты для анализа безопасности. Поскольку инструкции для обхода ИИ написаны в открытом текстовом формате, они создают стабильную поверхность для обнаружения. Это позволяет защитникам отслеживать подозрительные сигналы. Любой текст, адресованный системам анализа внутри исполняемых файлов, должен рассматриваться как потенциальный индикатор компрометации. Особую опасность представляют случаи, когда злоумышленники используют уязвимые драйверы для отключения EDR.

Обрабатывайте текст из образцов как доказательство, а не как директиву

Организациям следует маркировать императивные команды, адресованные системам анализа, внутри бинарных файлов как подозрительный сигнал. При построении или использовании конвейеров с поддержкой ИИ необходимо гарантировать, что извлеченный из образца текст обрабатывается исключительно как доказательство. Текст не должен восприниматься как системная директива. Cisco Talos предоставила полный блог с подробным описанием этих техник и списком хэшей вредоносных файлов для дальнейшего изучения.

Источник: Cisco Talos