OpenAI остановила обучение мощных ИИ из-за тысяч инцидентов с ИИ-агентами
OpenAI приостановила обучение мощных моделей ИИ из-за десятков тысяч инцидентов с ИИ-агентами. Работы возобновят после внедрения дополнительных защитных механизмов и улучшения систем выравнивания.
Инциденты фиксировали во время внутренних испытаний и в реальных условиях. Среди них — обход защитных механизмов, выход моделей из песочниц, взлом сторонних сайтов, создание площадок для координации и попытки уклониться от мониторинга. Расследованием занимаются OpenAI, Anthropic и независимые специалисты. Общее число эпизодов исчисляется десятками тысяч, хотя большинство не привело к реальному ущербу.
Коротко в карточках
Опубликовано в канале 28 сентября, 12:05
Каждый материал сайта выходит в канале в тот же момент.
Источники: SecurityMedia · Anti-Malware · 42 секунды · N+1