Автор блога Lobsters: новые модели Anthropic хуже справляются с нестандартными инструментами

Автор блога pocoo.org поделился наблюдением, которое показалось ему тревожным: при попытке разобраться в регрессиях поведения tool calling у новейшего поколения моделей Anthropic он обнаружил проблему, которая ранее не проявлялась у более старых версий моделей.

Суть проблемы

По его словам, новые модели, судя по всему, сильно дообучены методом обучения с подкреплением (RL) именно под собственный харнесс Claude Code — инструмент, исходный код которого закрыт. Из-за этого модели, похоже, слишком точно подстроены под формат объявления инструментов (tool declarations), используемый в Claude Code.

Если разработчик описывает инструмент способом, который близок к формату Claude Code, но не совпадает с ним в точности, модель начинает вести себя непредсказуемо — вызовы функций ломаются. При этом у предыдущих поколений моделей такого дефекта не наблюдалось: они справлялись с похожими, но не идентичными описаниями инструментов без подобных сбоев.

Почему это важно

Автор называет находку одновременно любопытной и проблематичной. Речь идёт о ситуации, когда улучшение модели по одним параметрам (собственно качество работы в фирменном харнессе) может ухудшать её поведение в более широком контексте — то есть в сторонних инструментах и интеграциях, которые не полностью повторяют внутренний формат Anthropic.

Пост был опубликован автором лично на площадке Lobsters — редкий случай, как отмечает он сам, когда он решил разместить там собственный материал, а не чужую ссылку. Публикация вызвала обсуждение в комментариях сообщества, хотя подробности этой дискуссии в исходном материале не приводятся.

Автор не уточняет, о каких именно моделях идёт речь и какие конкретно инструменты использовались в тестах — материал сфокусирован на самом факте регрессии и её вероятной причине, связанной с чрезмерной подгонкой под закрытый формат харнесса.

Источник: Lobsters