BigSleep находит больше уязвимостей в V8, чем Fuzzilli, но они дополняют друг друга

BigSleep находит больше уязвимостей, чем Fuzzilli

Google Project Zero сравнил два инструмента для поиска уязвимостей в движке V8: Fuzzilli и BigSleep. Fuzzilli — генераторный фаззер JavaScript, BigSleep — система поиска ошибок на основе больших языковых моделей (LLM). За шесть месяцев BigSleep обнаружил 45 уязвимостей, Fuzzilli — 37. Пересечение по конкретным ошибкам составило 25%. Эксперименты показали, что реальное пересечение может достигать 60%. Значительная часть уязвимостей обнаруживается только одним из инструментов.

BigSleep и Fuzzilli дополняют друг друга

Fuzzilli и BigSleep работают в Google для автоматического поиска ошибок в новых версиях V8. Fuzzilli запускается непрерывно, анализируя изменения в течение нескольких часов. BigSleep работает ежедневно, проверяя новые коммиты и создавая доказательства концепции для обнаруженных ошибок. Оба инструмента сообщают об ошибках через Clusterfuzz, который затем передает их в трекер ошибок Chrome. Исследование фокусируется на движке V8, высокопроизводительном компоненте JavaScript и WebAssembly, известном своей зрелой системой тестирования и фаззинга. Это делает V8 подходящей платформой для сравнения эффективности различных методов поиска ошибок.

Обнаружение уязвимостей в V8

С апреля по сентябрь 2026 года Fuzzilli обнаружил 178 уязвимостей, BigSleep — 95. При фильтрации по типу «уязвимость» и исключении дубликатов и неактуальных отчетов, BigSleep выявил 45 уязвимостей, Fuzzilli — 37. Это указывает на то, что оба подхода обнаруживают значительное количество уникальных ошибок. Исследование не сравнивает стоимость каждого подхода, так как системы не оптимизированы для соотношения затрат и результатов.

Эксперимент по пересечению обнаруженных уязвимостей

Для оценки пересечения уязвимостей был проведен эксперимент. BigSleep пытался повторно обнаружить старые уязвимости, найденные Fuzzilli. Из 1150 уязвимостей Fuzzilli, найденных с начала 2023 года по середину 2026 года, после фильтрации по типу «уязвимость» и возможности воспроизведения в стандартной среде, осталось 132. После дополнительной дедупликации для выявления неявных дубликатов, количество уязвимостей для эксперимента сократилось. Результаты эксперимента показали, что LLM и фаззинг являются взаимодополняющими подходами. Рекомендуется использовать оба метода для максимального выявления уязвимостей до их эксплуатации.

Рекомендации по использованию инструментов

Вендорам рекомендуется применять как фаззинг, так и агентный анализ кода для обнаружения уязвимостей. Это позволяет максимизировать количество найденных ошибок до того, как они смогут повлиять на пользователей. LLM-системы, такие как BigSleep, показали свою эффективность в поиске уязвимостей, но не заменяют традиционные методы фаззинга, такие как Fuzzilli. Комбинированное использование этих инструментов обеспечивает более полное покрытие и повышает безопасность программного обеспечения.