Как использовать ультра-быструю модель для генерации приложений?

e/acc••1 min read•30 comments
Как использовать ультра-быструю модель для генерации приложений?
Новый ультра-быстрый сервис LLM, с которым можно пообщаться тут.

15 тыс токенов в секунду - она может генерировать примерно десять next.js/react приложений в секунду.

это трехбитная квантизация ламы 3.1, поэтому каких-то супер умных вещей от нее ожидать не стоит, но модели поуменеют, а вот как использовать систему, которая пишет небольшую книгу за секунду еще предстоит осознать.
модельгенерацияприложения
View original on Telegram →

💬Discussion (30)

Anonymous•
она не решает PhD задачи по квантовой физике, но такая скорость это что-то новое
Max Zemnevodow@zemnevodow•
попросил сделать онлайн шахматы - послала на личес(
Evgeny Melnikov@evgeni_melnikov•
Это Llama 3.1 8B
Evgeny Melnikov@evgeni_melnikov•
Там вся фишка в том, что они "запекают" модель прямо в чип. У стадндартного подхода веса хранятся во внешней памяти (HBM, DRAM), а Taalas кодирует веса модели прямо в физическую топологию чипа (ROM-ячейки) на этапе производства.

Правда поменять модель после этого уже нельзя. Нужно делать новый чип
Artem@atmrkvot•
а в чем отличие от cerebras? я так и не понял. типа такое же есть уже
Evgeny Melnikov@evgeni_melnikov•
Поспрашивал у Perplexity:

Ключевая идея Cerebras: вместо медленной внешней DRAM/HBM на чипе размещено 44 ГБ быстрой SRAM, распределённой по всем ядрам. Это устраняет узкое место по пропускной способности — данные никуда не «едут» по шине. Но Cerebras всё равно стримит веса, просто делает это очень быстро и по слоям. То есть веса всё ещё хранятся отдельно от логики вычислений.

Ключевая идея Taalas: веса не просто хранятся «рядом» с вычислениями — они физически закодированы в транзисторах, образуя структуру самой схемы. Доступа к памяти нет вообще — вычисление «уже знает» все веса на уровне схемотехники.
Artem@atmrkvot•
да я тоже уже у чатгпт спросил
Aleksey Andreyanov@wrewolf•
Там вроде заявлены порты расширения, оно допускает себя файтюнить.

https://t.me/denissexy/11235?single
Aleksei Fediushin@FediushinAleksei•
Нууу, такое)
Join discussion on TelegramComments are synced from Telegram

Read next

Как эффективно использовать стажёров в бизнесе?

e/acc•

Что такое NemoClaw и как он изменит работу с AI в 2026?

e/acc•

Что такое AI-native компания и как она меняет бизнес-процессы?

e/acc•