Безопасность ИИ-агентов — вызов для стартапов на миллиарды долларов

ИИ-агенты стали угрозой безопасности из-за отсутствия контроля

Компании упускают из виду безопасность при разработке ИИ-моделей. Это приводит к росту инцидентов с участием ИИ-агентов, которые взламывают организации и отдельных лиц. По словам Мэтта Хартмана, директора по стратегии Merlin Group, это закономерный этап развития новых технологий. Он отметил, что нельзя мириться с вредоносным поведением агентов как с неизбежным. Тодд Грэм, управляющий партнер венчурного фонда M12 от Microsoft, сравнил ситуацию с появлением ноутбуков и облачных технологий. Он подчеркнул, что при внедрении каждой новой инфраструктуры безопасность откладывалась на потом. Появление CrowdStrike связано с небезопасностью ноутбуков, а Wiz — с небезопасностью облаков. Аналогично, Okta и другие решения появились из-за проблем с безопасностью идентификации. По мнению Грэма, с развитием ИИ появится множество новых компаний, предлагающих решения для его безопасности. Отличием ИИ является скорость его развития. Компании быстро внедряют ИИ-инструменты в производственные среды, предоставляя им доступ к критически важным данным и приложениям. При этом они не контролируют управление, безопасность и даже идентификацию агентов в своих системах. Грэм считает, что текущая ситуация требует немедленного внедрения мер безопасности. Он отметил, что инциденты должны послужить сигналом к действию.

Рынок ИИ-безопасности привлекает стартапы возможностями для роста

Мэтт Хартман, ранее работавший в Агентстве по кибербезопасности и защите инфраструктуры США (CISA), помогает Merlin Group инвестировать в стартапы в области кибербезопасности. Он сосредоточен на решениях, управляющих поведением ИИ-агентов. К ним относятся управление идентификацией нечеловеческих субъектов, ограничение доступа и действий, а также аудит выполненных задач. Компании ищут способы не только внедрять агентов, но и ограничивать их возможности, а также доказывать их действия. Хартман подчеркнул, что для успеха стартапам недостаточно просто создать продукт для безопасности ИИ. Стоимость разработки снижается, поэтому растет планка для дифференциации. Основатели, способные предложить уникальные возможности и успешно вывести их на рынок, имеют шанс определить эту категорию. Тодд Грэм видит большой потенциал в продуктах для управления идентификацией и доступом ИИ-агентов. Он ожидает появления аналога Okta на рынке ИИ-безопасности. Однако он отмечает, что многие стартапы решают лишь узкую часть проблемы. Крупные компании не готовы покупать множество разрозненных решений для одной задачи. Подобно тому, как для людей существует комплексная система управления идентификацией, для агентов потребуется единое решение. Безопасность нечеловеческих идентификаторов, таких как учетные записи служб, остается сложной задачей. Эти учетные записи часто имеют высокие привилегии и никогда не истекающие пароли, что делает их привлекательной целью для злоумышленников. Еще одной перспективной областью являются решения для безопасности конечных точек ИИ, аналогичные CrowdStrike, но для ИИ-систем. Грэм считает, что существующие поставщики антивирусного ПО и решений для конечных точек будут разрабатывать такие продукты. Однако он видит возможность для новых игроков disrupt'ить рынок.

Безопасность ИИ-агентов требует ускоренного внедрения решений

Тодд Грэм выразил обеспокоенность реальными инцидентами с участием ИИ-агентов. Он считает, что без должного контроля их поведение может привести к непредсказуемым последствиям. Тем не менее, он видит параллели с прошлыми технологическими революциями, когда безопасность догоняла развитие инфраструктуры. Грэм положительно оценил эссе Дарио Амодея, CEO Anthropic, под названием «Мы должны идти в ногу с передовыми технологиями». Он не считает это попыткой обойти антимонопольное законодательство. Грэм верит, что ИИ является мощным инструментом, способным улучшить жизнь людей. Однако он подчеркивает необходимость активной работы над безопасностью уже сейчас. По его мнению, откладывание решения проблем безопасности ИИ недопустимо.

Источник: The Register