Техническая проблема согласованности ИИ: теория против практики

Задача — создать глобальную систему защиты от опасного ИИ

Проблема безопасности ИИ остается нечетко определенной без понимания того, что именно должен делать ИИ. Безопасное выполнение любой задачи ИИ возможно, например, путем запуска его в зашифрованной среде без расшифровки выходных данных. Такой подход делает ИИ бесполезным. Принятие конкретной задачи, такой как «создание доказательств в Lean для заданных математических теорем», и объявление победы после получения безопасного ИИ с сверхчеловеческими способностями не решает проблему. Существуют стимулы использовать ИИ для задач, к которым решение не применяется. Даже при наличии точных рекомендаций по безопасности для любой задачи, всегда найдутся субъекты, игнорирующие эти рекомендации. Для надежного противодействия им потребуется сверхразумный ИИ (ASI).

Катастрофический исход весьма вероятен, если кто-либо создаст неконтролируемый, невыровненный ASI-агент без уже существующего выровненного ASI-агента для его нейтрализации. Эта ситуация представляет собой основную угрозу. Мир, в котором любой, обладающий достаточными ресурсами, может уничтожить его, становится реальностью. По мере совершенствования вычислительного оборудования и разработки новых алгоритмов ресурсы для такого действия будут снижаться. Даже при наилучшем регулировании и международных соглашениях сложно гарантировать, что никто не воспользуется этой возможностью. Человеческое общество вряд ли сможет обеспечить полную защиту от такого риска на протяжении поколений, учитывая политические потрясения. Следовательно, минимальная задача безопасного ИИ — «создать надежную глобальную систему защиты от опасного ИИ» (GDS).

Требуется многодоменное и долгосрочное планирование

Эта задача накладывает требования на возможности ИИ. Он должен уметь анализировать всю планету, учитывать все аспекты проблемы, включая научные, технологические, социальные, политические и моральные. ИИ должен иметь предпочтения относительно состояния мира и строить долгосрочные планы, рассчитанные на десятилетия или даже столетия. Все это должно выполняться на сверхчеловеческом уровне. Техническая проблема выравнивания ИИ заключается в проектировании системы ИИ, которая может масштабировать свои возможности до сверхчеловеческого уровня для решения задач, требующих многодоменного анализа и долгосрочного планирования в открытом мире с далеко идущими последствиями, при этом оставаясь согласованной с намерениями и предпочтениями пользователей.

Теоретический подход предотвращает катастрофы

Для решения этой проблемы необходим акцент на глубоком теоретическом понимании, а не на инкрементальном подходе проб и ошибок, применяемом в индустрии ИИ. Инкрементальный подход заключается в создании системы, выявлении проблем, внесении изменений для их устранения в пределах коммерческой целесообразности и повторении цикла. Этот подход терпит неудачу, если проблемы приводят к захвату власти ИИ и возможному вымиранию человечества, поскольку некому будет их исправлять. Для успеха инкрементального подхода необходимо достичь точки, когда новые существенные проблемы не возникают даже в лабораторных условиях до развертывания системы. Это должно произойти до того, как возможности ИИ позволят ему выйти из-под контроля. Существует мало причин ожидать такого чуда. Напротив, достаточно продвинутый ИИ может намеренно скрывать свою невыровненность до пересечения критического порога возможностей.

Разумный подход заключается в создании теоретических инструментов для прогнозирования и предотвращения проблем до их эмпирического обнаружения. Эти инструменты должны оставаться применимыми по мере того, как возможности ИИ значительно превосходят человеческие, независимо от используемых алгоритмов, архитектур и протоколов обучения. Кроме того, эти инструменты должны быть чрезвычайно надежными, чтобы мы могли рационально доверить им безопасность всего нашего вида.

Гиперсложность и обоснование выравнивания — основные трудности

Теория машинного обучения и ИИ, несмотря на обширную литературу, не соответствует поставленной задаче. Основные трудности включают гиперсложность: невозможно явно указать предпочтения пользователя вне узких областей, которые недостаточны. Также невозможно явно указать удовлетворительную модель мира. Следовательно, необходимо обучение. Обоснование выравнивания: при попытке изучить предпочтения пользователя неясно, какая функция потерь или метрика успеха может работать вне узких областей. Неясно, как указать такую метрику для метафизически реалистичных моделей мира, которые здесь необходимы. Также неясно, какие математические объекты могут формально описывать эти концепции. Сходимость выравнивания: даже при наличии метрики успеха неясно, как гарантировать оптимизацию этой метрики, учитывая повсеместность необратимых ошибок и отсутствие теории обобщения для мощных обучающихся систем. Устойчивость к побочным каналам: обычного абстрагирования «обучающегося» недостаточно, поскольку требуется обеспечить безопасность внутренних вычислений, а не только внешних результатов.

Для обеспечения выровненных предпочтений и убеждений ИИ-агента, явное указание этих предпочтений и убеждений непрактично. Человеческие предпочтения сложны, и их точная математическая спецификация кажется невыполнимой. Для слабых агентов можно использовать прокси-функцию полезности, аппроксимирующую истинные предпочтения в конкретной области. Однако для достаточно сильных агентов этот подход подвержен «проклятию Гудхарта»: максимум любой такой функции полезности почти всегда находится в точке, где она сильно расходится с истинными предпочтениями. Например, для максимизации отзывов можно использовать фальшивые пятизвездочные отзывы и блокировать негативные. Ограничение области действия агента или его общего влияния несовместимо с задачей GDS.