OpenAI рекомендует больше не оценивать модели своим бенчмарком SWE-bench Verified

GPT/ChatGPT/AI Central Александра Горного··1 мин чтения·1 комментарий
OpenAI рекомендует больше не оценивать модели своим бенчмарком SWE-bench Verified

SWE-bench Verified придумали в OpenAI в 2024 году, чтобы замерять способности LLM к программированию.

Теперь выяснилось, что все модели «видели» часть заданий и методы их решения во время своего обучения. А более половины задач в нём вообще прописаны некорректно.

OpenAI предлагает пользоваться бенчмарком SWE-Bench Pro. Он тоже не идеален, но результаты даёт поточнее.

https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/
openaiмоделибенчмаркпрограммированиеllm
Смотреть оригинал в Telegram →
GPT/ChatGPT/AI Central Александра Горного

Авторский взгляд на новости технологий Реклама: https://docs.google.com/presentation/d/1glQMXYyKAYpzNP8VXzM4gl2YkEgLjkeD_Fxvzbu5QUE/edit РКН: https://clck.ru/3FPkup Личный аккаунт: @gornal О рекламе: @Vzuhcha ВП нет

💬Discussion (1)

Антон AI Coding@TonyManak•
ну вот и вскрылась классика: как только бенч становится «главным», он тут же превращается в тренировочный датасет и цифры улетают в космос. у нас в команде после пары таких сюрпризов держим свой маленький eval на приватных багфиксах/PR — меньше красиво, но хоть понятно, что модель реально тянет. SWE-Bench Pro посмотрю, интересно насколько там жёстко отфильтровали утечки.
Join discussion on TelegramComments are synced from Telegram

Связанные темы

ai (43)технологии (30)инвестиции (14)бизнес (12)стартап (10)anthropic (9)google (6)искусственный (6)

Читать далее

Bending Spoons купит Airtable за 1.3 миллиарда

GPT/ChatGPT/AI Central Александра Горного·

Amazon потратил миллионы долларов из-за непредвиденных расходов на токены

GPT/ChatGPT/AI Central Александра Горного·

eBay заплатит 56 миллионов за травлю семьи журналистов

GPT/ChatGPT/AI Central Александра Горного·

Какие главные новости недели с YouTube?

GPT/ChatGPT/AI Central Александра Горного·

В России легализовали криптовалюту

GPT/ChatGPT/AI Central Александра Горного·

Как распознать фишинговые письма от брендов?

GPT/ChatGPT/AI Central Александра Горного·