Свёрточная сеть десятилетней давности обошла передовые LLM в диагностике рака кожи

Консультант-дерматолог и хирург Магнус Линч из лондонской больницы Гая и Королевского колледжа поставил простой эксперимент. Он взял две самые способные языковые модели октября 2026 года — GPT-6 Astra и Claude Fable 5.1 — и сравнил их с Inception v3, свёрточной нейросетью, впервые опубликованной Google в 2015 году. Старую сеть он дообучил примерно за двадцать минут на одном графическом ускорителе H100, использовав 68 011 клинических и дерматоскопических снимков из открытого архива ISIC.

Тест

Для проверки Линч случайно отобрал 200 поражений кожи из общедоступного набора MILK10k, выпущенного в 2025 году. Каждое поражение снято дважды: обычным клиническим крупным планом и через дерматоскоп. Все 200 диагнозов подтверждены гистологией — в том числе доброкачественные, что делает выборку намеренно трудной: родинку, которую решили вырезать, кто-то счёл подозрительной.

Половину составляли случаи, которые нельзя оставлять без лечения: 30 меланом, 25 базалиом, 25 плоскоклеточных карцином и 20 актинических кератозов. Вторая половина — 50 безобидных невусов и 50 себорейных кератозов. Всем трём «экспертам» предлагали выбрать один из шести диагнозов, указать уверенность, второй вариант и решить, можно ли отпустить пациента без лечения.

62 % против 42 %

Свёрточная сеть верно назвала диагноз для 125 поражений из 200 (62 %). Обе языковые модели — лишь для 84 и 85 (42 %). С учётом второго варианта сеть достигла 173 против 134 и 138. Меланому первым выбором она определила 13 раз из 30, модели — 8 и 11.

Самый большой разрыв пришёлся на безобидные образования. Ошибались модели по-разному и предсказуемо: GPT-6 Astra 75 раз ставила диагноз «базалиома» там, где их было всего 25, а Claude Fable 5.1 злоупотребляла «актиническим кератозом».

Показательна и иллюстрация из статьи: инвазивную меланому на ухе обе LLM приняли за безобидный себорейный кератоз и предложили отпустить пациента. Сеть распознала меланому.

Оговорки

Линч честно перечисляет ограничения. Выборка мала, 30 меланом дают широкий разброс. Каждый случай для LLM прогонялся один раз, ответы варьируются. Набор MILK10k открыт с 2025 года, так что модели могли видеть его при обучении — это играло бы им на руку. Наконец, Inception v3 — намеренно устаревший базовый вариант; современные регулируемые системы диагностики работают заметно лучше.

Вывод автора прост: маленькая, старая, узкоспециализированная сеть на устаревшей архитектуре распознаёт поражения кожи куда лучше двух передовых языковых моделей.

Источник: Hacker News