2 Fast 2 AI
2 Fast 2 AI
Google Research Division представила TurboQuant, новый алгоритм сжатия для LLMок, ускоряя скорость kv-Кеша (то есть краткосрочную память ИИ) как минимум в 6 раз, и скорость ответов до 8и раз с нулевой потерей информации. Это означает что и требования к ГПУ и памяти для запуска ИИшек значительно упадёт, а разработчики смогут вставлять больше данных в свои ИИшки чем раньше.
Сам анонс очень сильно падает в техническую часть, поэтому кому интересно можете почитать сами (я советую кстати, интересное чтиво)
После этого акции SanDisk, Micron, Samsung и SK Hynix рухнули аж до -30% (в среднем где-то 10%), но на вас с вами, к сожалению, это не сильно влияет, так как цены на память и ГПУ, пока что, не изменятся.
📼 **@veselcraft**
Google Research Division представила TurboQuant, новый алгоритм сжатия для LLMок, ускоряя скорость kv-Кеша (то есть краткосрочную память ИИ) как минимум в 6 раз, и скорость ответов до 8и раз с нулевой потерей информации. Это означает что и требования к ГПУ и памяти для запуска ИИшек значительно упадёт, а разработчики смогут вставлять больше данных в свои ИИшки чем раньше.
Сам анонс очень сильно падает в техническую часть, поэтому кому интересно можете почитать сами (я советую кстати, интересное чтиво)
После этого акции SanDisk, Micron, Samsung и SK Hynix рухнули аж до -30% (в среднем где-то 10%), но на вас с вами, к сожалению, это не сильно влияет, так как цены на память и ГПУ, пока что, не изменятся.
📼 **@veselcraft**
veselcraft
536 публикаций на visbl.me
Канал YouTube-страницы «Veselcraft». Обсуждаем новости, информируем о новых видео, общаемся с аудиторией. Деловые предложения: veselcraft@icloud.com Реклама в Telegram: https://telega.in/channels/veselcraft/card Канал по Ж/Д: @traintovos
💬Discussion (3)