Как работают новые AI модели для взаимодействия с человеком?

Thinking Machines показала AI, с которым можно работать почти вживую

Лаборатория Миры Мурати представила исследовательскую версию interaction models. Это модели, которые умеют взаимодействовать с человеком в реальном времени через текст, голос и видео.

Обычные чат-боты чаще работают по очереди: человек написал или сказал, модель ответила. Thinking Machines хочет уйти от этой схемы. Их модель постоянно получает поток данных, может слушать, смотреть, отвечать, перебивать в нужный момент и параллельно запускать поиск или другие инструменты. Всё это происходит проактивно, без команды пользователя.

В основе подхода короткие отрезки по 200 миллисекунд. Модель не ждёт, пока пользователь закончит мысль. Происходящее обрабатывается почти непрерывно. Например, она может поправлять произношение во время речи или комментировать действие на экране.

В ближайшее время модель выпустят для исследователей. Более широкий релиз обещают позже в этом году.

https://thinkingmachines.ai/blog/interaction-models/