Фишинговые письма теперь нацелены на ИИ-ассистентов

Фишинговые письма теперь используют ИИ-ассистентов для обхода защиты

Злоумышленники начали включать в фишинговые письма скрытые инструкции, нацеленные на ИИ-ассистентов. Цель — заставить ИИ-инструменты, обрабатывающие почту, влиять на действия пользователя. Исследователи Barracuda зафиксировали письма, которые одновременно нацелены на человека и на ИИ. Для пользователя такое письмо может содержать вложение с паролем, указанным в теле письма. Для ИИ-ассистента — скрытые команды, которые влияют на способ суммирования или обработки контента.

Атака использует скрытые команды для манипуляции ИИ-ассистентa

Атака строится на технике prompt injection. Злоумышленник внедряет инструкции в данные, которые ИИ должен прочитать. Это позволяет ИИ выполнить команды вместо обработки исходного текста. Когда инструкции поступают из внешнего источника, например, из письма, это называется непрямым prompt injection. Скрытые команды могут быть замаскированы в HTML-коде письма, иметь невидимый цвет текста, использовать кодировку или невидимые символы. Это усложняет обнаружение человеком, но не мешает ИИ-системе их обработать. Эффективность зависит от того, как конкретный инструмент извлекает и подготавливает данные письма для модели. Простая внимательность пользователя не решает проблему. Часть защиты должна находиться в самих инструментах, обрабатывающих сообщения.

Уязвимость затрагивает пользователей ИИ-ассистентов и корпоративный сектор

Проблема затрагивает всех пользователей, полагающихся на ИИ-ассистентов для обработки электронной почты. Особенно уязвимы ситуации, когда ИИ-ассистент имеет дополнительные разрешения. В зависимости от его возможностей, скрытые команды могут привести к несанкционированным действиям или раскрытию конфиденциальной информации. Это представляет риск для корпоративной безопасности, особенно при обработке финансовых операций или чувствительных данных. Apollo Raines, разработчик сервиса ShipItClean, отмечает, что модели ИИ не различают текст для чтения и команды для выполнения. Он предлагает фильтровать скрытый контент перед его передачей модели. Однако это лишь временное решение в условиях «гонки вооружений» с новыми методами кодирования.

Ограничивайте доступ ИИ-ассистентов и проверяйте их рекомендации

Пользователям следует ограничить возможности ИИ-ассистентов только необходимыми функциями. В рабочей среде важно соблюдать корпоративные политики доступа. Ассистент, предназначенный для суммирования писем, не должен иметь широких полномочий для выполнения других действий. Это снизит потенциальный ущерб при выполнении вредоносных инструкций. Необходимо проверять рекомендации ИИ-ассистента перед выполнением действий, особенно связанных с деньгами или конфиденциальной информацией. Не следует считать сводку сообщения подтверждением. Любые изменения платежных данных или запросы на передачу чувствительной информации требуют дополнительной верификации через проверенные каналы связи. Для критически важных действий, таких как платежи или изменение данных поставщика, требуется подтверждение человека. Проверка должна включать анализ исходного запроса, а не только принятие рекомендации ассистента.