Промпт «ответь, как эксперт» заставляет LLM отвечать хуже
Промпт «ответь, как эксперт» заставляет LLM отвечать хуже
Исследователи из USC проверили популярный совет добавлять в промпт фразу «отвечай, как будто ты эксперт в X» — и выяснили, что для программирования и математики это вредит результату. В бенчмарке MMLU бот с указанием роли набрал 68% против 71.6% без неё.
Объясняют это тем, что программирование — задача, зависящая от предварительного обучения. Роль не даёт модели новых знаний и мешает извлекать факты из данных, полученных при обучении. С написанием текстов другая ситуация — там роль может улучшить качество ответа.
Сам я перестал пользоваться всеми этими фокусами еще в gpt4o.
В размышляющих моделях они по идее стали бессмысленны окончательно. Удивительно, что есть какое-то влияние.
https://www.theregister.com/2026/03/24/aimodelspersona_prompting/
Исследователи из USC проверили популярный совет добавлять в промпт фразу «отвечай, как будто ты эксперт в X» — и выяснили, что для программирования и математики это вредит результату. В бенчмарке MMLU бот с указанием роли набрал 68% против 71.6% без неё.
Объясняют это тем, что программирование — задача, зависящая от предварительного обучения. Роль не даёт модели новых знаний и мешает извлекать факты из данных, полученных при обучении. С написанием текстов другая ситуация — там роль может улучшить качество ответа.
Сам я перестал пользоваться всеми этими фокусами еще в gpt4o.
В размышляющих моделях они по идее стали бессмысленны окончательно. Удивительно, что есть какое-то влияние.
https://www.theregister.com/2026/03/24/aimodelspersona_prompting/
💬Discussion (6)
Но это, конечно, чисто мои интуитивные представления, за которыми никаких адекватных обоснований нет)