Google придумал как сжать «рабочую память» AI в 6 раз без потери качества
Google придумал как сжать «рабочую память» AI в 6 раз без потери качества
Новый алгоритм TurboQuant сжимает часть памяти, которую модель использует при генерации ответов. При этом не страдает качество, а инференс требует существенно меньше ресурсов.
Интернет уже назвал это «Pied Piper» — в честь стартапа из «Кремниевой долины» с его алгоритмом сжатия без потерь. CEO Cloudflare сравнил TurboQuant с появлением DeepSeek, когда китайским разработчиком удалось обучить конкурентоспособную LLM в разы дешевле западных компаний.
Интересно, что научная работа по TurboQuant вышла год назад. Сегодняшний ажиотаж вызван тем, что Google наконец-то рассказал о технологии в своём блоге.
https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/?ref=aisecret.us
Новый алгоритм TurboQuant сжимает часть памяти, которую модель использует при генерации ответов. При этом не страдает качество, а инференс требует существенно меньше ресурсов.
Интернет уже назвал это «Pied Piper» — в честь стартапа из «Кремниевой долины» с его алгоритмом сжатия без потерь. CEO Cloudflare сравнил TurboQuant с появлением DeepSeek, когда китайским разработчиком удалось обучить конкурентоспособную LLM в разы дешевле западных компаний.
Интересно, что научная работа по TurboQuant вышла год назад. Сегодняшний ажиотаж вызван тем, что Google наконец-то рассказал о технологии в своём блоге.
https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/?ref=aisecret.us
GPT/ChatGPT/AI Central Александра Горного
682 публикаций на visbl.me
Авторский взгляд на новости технологий Реклама: https://docs.google.com/presentation/d/1glQMXYyKAYpzNP8VXzM4gl2YkEgLjkeD_Fxvzbu5QUE/edit РКН: https://clck.ru/3FPkup Личный аккаунт: @gornal О рекламе: @Vzuhcha ВП нет
Связанные темы
Читать далее
Китайский суперкомпьютер стал самым мощным в мире
GPT/ChatGPT/AI Central Александра Горного·
OpenAI показала собственный чип для запуска AI-моделей
GPT/ChatGPT/AI Central Александра Горного·
L'Oréal будет передавать OpenAI данные о своих продуктах
GPT/ChatGPT/AI Central Александра Горного·
Amazon отказался от фильма про Альтмана на фоне сделки с OpenAI
GPT/ChatGPT/AI Central Александра Горного·
Инвестфонд потерял 5 миллиардов на покупке софтверной компании
GPT/ChatGPT/AI Central Александра Горного·
AI-пикник** **клуба
GPT/ChatGPT/AI Central Александра Горного·
💬Discussion (2)