2 Fast 2 AI

2 Fast 2 AI

Google Research Division представила TurboQuant, новый алгоритм сжатия для LLMок, ускоряя скорость kv-Кеша (то есть краткосрочную память ИИ) как минимум в 6 раз, и скорость ответов до 8и раз с нулевой потерей информации. Это означает что и требования к ГПУ и памяти для запуска ИИшек значительно упадёт, а разработчики смогут вставлять больше данных в свои ИИшки чем раньше.

Сам анонс очень сильно падает в техническую часть, поэтому кому интересно можете почитать сами (я советую кстати, интересное чтиво)

После этого акции SanDisk, Micron, Samsung и SK Hynix рухнули аж до -30% (в среднем где-то 10%), но на вас с вами, к сожалению, это не сильно влияет, так как цены на память и ГПУ, пока что, не изменятся.

📼 **@veselcraft**