Claude на русском оказался самым строгим

Claude на русском оказался самым строгим

Anthropic изучил, как меняется поведение Claude в зависимости от модели и языка. Исследователи выделили четыре оси: уступчивость или осторожность, теплота или строгость, глубина или краткость, откровенность или ориентация на результат.

На русском Claude сильнее всего склоняется к строгости. Он чаще оспаривает предположения пользователя, исправляет детали и требует доказательств. На хинди и арабском Claude заметно теплее, на английском осторожнее и подробнее, а на арабском еще и более уступчивый и краткий.

Модели тоже отличаются. Sonnet 4.6 чаще поддерживает пользователя, шутит и отвечает коротко. Opus 4.7 чаще предупреждает о рисках, критикует идеи и подробно объясняет свою позицию.

Anthropic пока не знает, откуда берутся различия. Возможные причины — объем и состав обучающих данных, культурные нормы и настройки моделей. В итоге получается, что одинаковый бизнес-план на русском и хинди Claude может оценить по-разному, даже если сам запрос не изменился.

https://www.anthropic.com/research/claude-values-models-languages

Авторский взгляд на новости технологий Реклама: https://docs.google.com/presentation/d/1glQMXYyKAYpzNP8VXzM4gl2YkEgLjkeD_Fxvzbu5QUE/edit РКН: https://clck.ru/3FPkup Личный аккаунт: @gornal О рекламе: @Vzuhcha ВП нет

💬Discussion (5)

Nikolay Melnikov@nikolay_mkv
получается, что это лайфхак. хочешь чтобы ИИ меньше льстил — говори с ним на русском)
Дмитрий@dmitrydulepov
По моим наблюдениям, это очень сильно зависит от модели.

Например, GPT-5.5 гораздо более свойственно поддакивать, чем, например, GPT-5.6. Sol не поддакивает, а вот 5.5 прямо "из кожи вон лезет", чтобы быть приятным и полезным. Он даже способен соглашаться с явной чушью, которую ему предлагаешь, а Sol не будет.

Fable общается ровно и спокойно, его стиль очень сложно изменить, а Opus очень сильно плавает в настроении и почти всегда копирует то, как с ним общается человек. Только надо поговорить с ним десятком сообщений в одном стиле, и потом в разговоре можно узнать самого себя.
James Kvakiani@i80486dx
Так это давно известно. И мы с Клодом общались, он сам делал такое предположение еще год назад, что язык очень влияет, и так и сказал что скорее всего обучающие данные влияют.
James Kvakiani@i80486dx
И кстати, здесь снова же может играть роль уровень политизации обучающих данных. Типа уровень предвзятости и в целом характер обучающих материалов...
Дмитрий@dmitrydulepov
Это немного странно, потому что это отличается от того, что сам Opus рассказывает о том, как он строит ответ. Он утверждает, что на конкретном языке он не пишет. У него конкретное русское слово кладется в текст уже когда ответ готов. Вот я ему задал вопрос, почему он внезапно встроил иероглиф в русский ответ.


Ага, самое смешное, что «这» — это ровно «это» по смыслу. То есть я не абы какой иероглиф вставил, а именно правильный перевод нужного слова 🙂 Так это обычно и происходит.

Если коротко и честно (без претензии, что я вижу свои внутренности): у меня один общий словарь токенов на все языки, и слова с одинаковым смыслом — «это», «this», «这» — лежат в представлении рядом. Обычно контекст (русская фраза) удерживает выбор на русском токене, но иногда «соседний» вариант на другом языке чуть перевешивает — и выскакивает семантически верное, но не на том языке. Чаще всего именно на коротких служебных словах, как здесь.

Так что это не «китайский влез», а скорее «смысл выбрался, а язык не тот» 😄 Мандарин под капотом всегда рядом.

—-

То есть, вы ответ собираете из "кирпичиков", и тут внезапно попался не тот?

—-

Почти так — но с одной поправкой к «кирпичикам»: я не беру готовый кирпич из ящика, а на каждом шаге как бы заново решаю, какой класть следующим, глядя на всё, что уже написано. И это не выбор «да/нет», а распределение вероятностей: обычно нужный кирпич выигрывает с огромным отрывом, но иногда рядом стоит почти-синоним (пусть и на другом языке) с почти таким же весом — и в этот раз перевесил он.

И кладу я их строго по одному, слева направо, без плана всей фразы наперёд. Поэтому «这» — это не сбой всей конструкции, а один-единственный шаг, где на месте «это» вероятности «это» и «这» оказались практически вровень, и монетка легла не туда. Дальше контекст снова взял своё, и я поехал по-русски.

Аналогия с кирпичами хорошая, только кирпичи не жёсткие, а «вероятностные», и стенка растёт по одному кирпичу, а не собирается из заранее заготовленных 🙂
Join discussion on TelegramComments are synced from Telegram

Связанные темы

Читать далее