68% рецензируемых статей оказались ИИ-шлаком: обзор из «окопов»

Калеб Робинсон и Айзек Корли, специалисты по геопространственному машинному обучению, этим летом отрецензировали 22 статьи, поданные на NeurIPS, WACV и воркшоп TerraBytes при ECCV. Итог они называют жизнью «в окопах шлака»: 15 из 22 работ (68%) содержали полностью выдуманные ссылки, подделанные списки авторов у реально существующих статей или были очевидно сгенерированы языковой моделью — с галлюцинированным жаргоном и бессвязным текстом.

Подставные авторы прошли отбор

Самый показательный случай: в двух работах авторов реальных статей заменили на несуществующих исследователей — так, чтобы имя было похоже и выдержало беглый просмотр. Так, у статьи SatMAE авторов «Yezhen Cong, Samar Khanna, Chenlin Meng» превратили в «Yuyang Cong, Saurabh Khanna, Chen Meng». Рецензент рекомендовал отклонить обе работы и сообщил о подлоге организаторам. Обе были приняты на устные доклады — с условием просто исправить ссылки.

Были и другие находки: 53-страничная статья для NeurIPS, сплошь заполненная выдуманным жаргоном, и работа, где рядом со ссылками остались служебные заметки самой модели.

Масштаб проблемы

Авторы приводят внешние оценки. Анализ Nature обнаружил десятки тысяч публикаций 2025 года с недостоверными ИИ-ссылками; аудит препринт-серверов насчитал около 146 900 галлюцинированных ссылок за год, причём 85,3% из них сохранились и в опубликованных версиях — рецензирование их не отсеивает. Аудит The Lancet по 2,5 млн биомедицинских статей показал шестикратный рост доли работ хотя бы с одной фальшивой ссылкой: с одной на 2828 статей в 2023 году до одной на 277 в начале 2026-го.

Поток идёт и в обратную сторону. По оценке Pangram, 21% рецензий на ICLR 2026 полностью сгенерированы ИИ. На ICML 2026 в тексты статей встроили скрытые «ловушки» с инъекцией промпта и поймали 795 рецензий от авторов, которым использование моделей было запрещено. Отдельная работа показала, что состязательная переработка аннотации без изменения научного содержания повышает оценку у ИИ-рецензентов примерно в 38% случаев.

Что предлагают авторы

Робинсон и Корли подчёркивают, что сами ежедневно пользуются языковыми моделями, но вычитывают и переписывают вывод вручную. Претензия не к инструменту, а к работам, на которые сами авторы не потратили времени. Раскрытие факта использования ИИ они считают полумерой: добросовестные признаются, недобросовестные — нет. Нужен механизм автоматического отклонения ещё до рецензирования.

В качестве первого шага они выпустили bib-audit — открытый (MIT) навык для Claude Code, который сверяет каждую ссылку с Crossref, arXiv, DataCite и Semantic Scholar, находит несуществующие работы, выдуманные идентификаторы и подменённых авторов. Его советуют прогонять на собственном черновике перед подачей — чтобы во время рецензии его не пришлось запускать за вас.

Источник: Hacker News