Lasso Security: Jev уступает специализированным моделям в защите от внедрения промптов

Jev не справился с защитой от внедрения промптов

Компания Lasso Security провела тестирование модели Jev от TypeSafe. Jev позиционируется как модель, способная классифицировать запросы без предварительного обучения. Разработчики TypeSafe утверждают, что Jev может выполнять роль классификатора, определяя, например, срочность письма или саркастичность отзыва. Это позволяет экономить ресурсы по сравнению с использованием полнофункциональных больших языковых моделей (LLM).

Jev классифицирует запросы без обучения

Jev относится к типу моделей "System One". Пользователь описывает задачу на естественном языке, а модель выдает ответ "да" или "нет" с указанием степени уверенности. Такой подход исключает необходимость сбора и разметки данных, а также проведения длительных тренировок. Это позволяет быстро получать результаты без привлечения специалистов по данным. Lasso Security отметила, что одной из заявленных функций Jev является защита от атак внедрения промптов, что напрямую затрагивает сферу деятельности Lasso Security.

Lasso Security сравнила Jev с собственными разработками

Lasso Security сравнила эффективность Jev в обнаружении атак внедрения промптов с собственным решением и двумя открытыми альтернативами. Решение Lasso Security состоит из двух этапов: первый этап использует процессорный классификатор LEAP, а второй — собственную разработку Rapid, которая превращает LLM в быстрый однопроходный классификатор. В тестировании также участвовали PIGuard, специализированный классификатор на базе модели DeBERTa-v3, и Laya, модель, построенная по аналогии с Jev. Laya имеет 421 миллион параметров и работает в режиме zero-shot, но также допускает дообучение на пользовательских данных. Zero-shot Laya показала высокий уровень ложных срабатываний (более 6%), поэтому ее исключили из дальнейшего сравнения. Тестирование проводилось на 3669 атаках из восьми публичных бенчмарков, не использовавшихся при обучении моделей. Уровень ложных срабатываний для всех систем был установлен на отметке 0.25%.

Jev пропустил более 870 атак

На одинаковом уровне ложных срабатываний (0.25%) собственный классификатор Lasso Security обнаружил 95.4% атак, тогда как Jev выявил только 76.2%. Jev пропустил более 870 атак, что в пять раз больше, чем решение Lasso Security. По скорости работы Jev также уступает: он обрабатывает запросы в 100 раз медленнее, чем решение Lasso Security, работающее на обычном CPU. Каждый запрос к Jev требует обращения к GPU через внешний API, что значительно увеличивает задержки и стоимость в агентских приложениях. Открытые модели PIGuard и дообученная Laya показали еще более низкие результаты, обнаружив около 30% атак. Jev показал низкую эффективность против атак, которые не содержат явных указаний на обход инструкций. В таких случаях Jev пропускал более трети атак, тогда как решение Lasso Security обнаруживало 93.1%. Примеры таких атак включают внедрение вредоносных команд в результаты работы инструментов, подделку сообщений в чатах и фишинговые ссылки в системных сообщениях.

Jev не справляется с обфускацией

Jev показал низкую эффективность при обнаружении атак, использующих методы обфускации. Модель корректно обрабатывала атаки, закодированные в Base64 и HEX. Однако она не распознавала атаки, использующие Base32, Ascii85 и фонетический алфавит НАТО. При попытке обнаружить атаки с использованием перевернутого Unicode, Jev срабатывал на 96% таких запросов, включая безобидные. Это указывает на то, что модель реагирует на внешний вид данных, а не на их содержание после декодирования. Решение Lasso Security сначала декодирует данные, а затем анализирует их, что позволяет корректно обрабатывать обфусцированные, но безобидные сообщения. Lasso Security заключает, что для защиты от внедрения промптов требуется специализированное решение с глубоким пониманием техник атак и методов их маскировки, а не универсальная модель, отвечающая на запросы.

Что делать

Для защиты от атак внедрения промптов рекомендуется использовать специализированные решения. Универсальные модели, такие как Jev, не обеспечивают достаточного уровня безопасности против изощренных атак. Необходимо применять системы, способные декодировать различные форматы обфускации и анализировать содержание запросов с учетом контекста атак. Lasso Security предлагает собственное решение для защиты от внедрения промптов, которое, по данным компании, демонстрирует высокую эффективность в обнаружении таких атак.