«Человек в контуре» ломается: ИИ-агенты вытесняют надзор

Идея «человека в контуре» (human in the loop) давно служит универсальным ответом на страхи вокруг автономных ИИ-систем: пусть агент действует сам, но за ним присматривает человек, готовый вмешаться. В новой позиционной статье, опубликованной на arXiv, Маргарет Митчелл, Авиджит Гош и Самир Пасси доказывают, что этот ответ куда менее убедителен, чем принято считать.

Надзор, который сам себя подрывает

Авторы выделяют две проблемы. Во-первых, современные подходы к проектированию ИИ-агентов мешают эффективному надзору: система устроена так, что человеку трудно вовремя вникнуть в происходящее и вынести обоснованное суждение. Во-вторых — и это тревожнее — сами когнитивные способности, необходимые для контроля, деградируют от длительного использования ИИ. Иными словами, чем дольше человек полагается на автоматику, тем хуже он становится тем самым надзирателем, на которого возложена ответственность.

Получается замкнутый круг: агентные системы пассивно поощряют атрофию тех человеческих навыков, на которые сами же и опираются. Надзор существует на бумаге, но по факту постепенно превращается в формальность.

Что предлагают авторы

Главный тезис статьи — потребности человека-надзирателя должны цениться так же высоко, как и возможности самого агента. Пока разработчики гонятся за автономностью, интересы контролирующего человека остаются на втором плане.

Чтобы исправить это, авторы обращаются к накопленному опыту исследований автоматизации и взаимодействия человека с компьютером. Они предлагают проектные решения и организационные протоколы, которые, во-первых, помогают человеку сохранять критическое суждение, а во-вторых, противодействуют утрате навыков, возникающей при постоянной работе с автоматикой.

Вывод статьи прямолинеен: без осознанной поддержки когнитивных требований к человеко-агентному взаимодействию ИИ-системы продолжат исподволь разрушать способности людей, которые призваны за ними следить. Авторы призывают разработчиков и тех, кто внедряет подобные системы, взять эти принципы на вооружение — иначе «человек в контуре» останется красивой формулировкой, за которой не стоит реального контроля.

Источник: Lobsters