Почему метафора о дописывании символов не объясняет AI?

Подумал, что последние полгода стала бессмысленной метафора, что "AI дописывает самый вероятный символ в тексте".

Ну т. е. понятно, что это так и есть внутри, но в современных продуктах это так же плохо объясняет конечный результат, как то что "есть транзисторы типа OR и типа AND и они срабатывают по-разному в разных случаях".

Авторский взгляд на новости технологий Реклама: https://docs.google.com/presentation/d/1glQMXYyKAYpzNP8VXzM4gl2YkEgLjkeD_Fxvzbu5QUE/edit РКН: https://clck.ru/3FPkup Личный аккаунт: @gornal О рекламе: @Vzuhcha ВП нет

💬Discussion (8)

George Ardeni@shevardg
Почему? Даже если отбросить детали типа QKV, то по сути так оно и остается - LLM в большинстве случаем - авторегрессивная модель, очень умная и сложная, с огромным контекстом и памятью. Но суть от этого не меняется.

p.s. это как двигатель в F1 и двигатель в автомобиле в 1920 году - принципиально не поменялся, и там и там мощность генерируется за счет энергии сгорания; но разница между ними инженерно - колоссальная. Так и тут - GPT 2.0 и современные Агентские системы - инженерно на принципиально разных уровнях, но принцип их работы (в части текста) - одинаков
Alexander Gorny@Gornal
LLM — да. Продукты вокруг LLM — нет. Черт с ним с ростом контекста, но возможность посмотреть интернет или запустить питон-скрипт меняет смысл качественно, а не количественно.
George Ardeni@shevardg
А как она по вашему вызывает эти тулы, интерпретирует полученный результат?
В чем качественный скачок?
Alexander Gorny@Gornal
Ну "как" — смотря как глубоко вы хотите погружаться. Генерирует следующий самый вероятный символ. Или переключает транзисторы AND и OR. Или p-n переход в кремнии.

Качественный скачок в результате. Если сейчас попросить Claude Code "напиши агента планировщика, агента исследователя, агента критика и агента-ещё-какого-нибудь и поставь им задачу написать мне диссертацию про восстание декабристов", то полученный результат не будет удобно объясним на уровне последнего символа.

— Знаете как делают корабли в бутылках?
— Берут бутылку, заливают туда клей, накидывают всяких палочек, спичек. И трясут. Получаются всякие интересные штуки. Иногда корабли.
Аморе@amore_tto
единственное что, одна метафора корректно объясняет, что в основе лежат правила, а другая метафора корректно объясняет, что в основе лежат вероятности
Ilya Partin GMT+2@ilyapar
С учетом недавней новости про то, что модели запретили упоминать про гоблинов, т.к. непонятно почему она к этому пристрастилась, мне кажется, что все еще актуально)
Dmitry@koloritnij
они и раньше все это могли бы. им просто разрешили вызывать комманды. раньше как было: для результата мне нужно это, это и это и ты шел и сам ручками давал. сейчас оно само может вызвать питон скрипт и посмотреть(не всегда правильно и точно, но об этом ниже).

Для меня это все еще казино, ток вместо фишек - промты и токены. повезет и будет хороший результат быстро и +- качественно. а может и не повезти. в любом случае ток казино выигрывает
Sergiy Skyninko@Skynin
garbage in - garbage out осталась.

когда профессионалу дают чушь - профессионал и реагирует, да что за чушь мне дали.

когда ИИ системе - она уверенно продолжает.
конечно, можно ей дать оценить, и вход, и результат.

но недавно пробегало исследование:
давали законченный и норм код. проверенный и одобренный ревьюверами людьми.
и просили - найти в нем дефекты, улучшить.

печальная история - более чем в 70% ИИ система находила и улучшала!
то есть переколбашивала норм код, оверинжинирила, пыталась творить архитектурную астронавтику.

это и есть - просто угадывает следующее слово.
"своего мнения" у ИИ нет.
Join discussion on TelegramComments are synced from Telegram

Связанные темы

Читать далее