Thinking Machines выпустила открытую модель Inkling

Thinking Machines выпустила открытую модель Inkling

Inkling — мультимодальная модель, обученная с нуля. Архитектура Mixture-of-Experts: 975 миллиардов параметров, но при каждом запросе активны 41 миллиард. Контекст — до миллиона токенов. Модель рассчитана на кодинг, работу с инструментами и длинные агентные задачи.

Thinking Machines честно говорит, что Inkling не самая сильная модель на рынке. Главная ставка здесь на кастомизацию. Веса доступны разработчикам, модель можно дообучать под свои процессы через основной продукт компании — платформу Tinker.

Также вышло превью облегченной Inkling-Small с 12 миллиардами активных параметров. Обе модели уже доступны в Tinker и на Hugging Face.

https://thinkingmachines.ai/news/introducing-inkling/