Промпт «ответь, как эксперт» заставляет LLM отвечать хуже

Промпт «ответь, как эксперт» заставляет LLM отвечать хуже

Исследователи из USC проверили популярный совет добавлять в промпт фразу «отвечай, как будто ты эксперт в X» — и выяснили, что для программирования и математики это вредит результату. В бенчмарке MMLU бот с указанием роли набрал 68% против 71.6% без неё.

Объясняют это тем, что программирование — задача, зависящая от предварительного обучения. Роль не даёт модели новых знаний и мешает извлекать факты из данных, полученных при обучении. С написанием текстов другая ситуация — там роль может улучшить качество ответа.

Сам я перестал пользоваться всеми этими фокусами еще в gpt4o.

В размышляющих моделях они по идее стали бессмысленны окончательно. Удивительно, что есть какое-то влияние.

https://www.theregister.com/2026/03/24/aimodelspersona_prompting/