Amazon потратил миллионы долларов из-за непредвиденных расходов на токены
Amazon потратил миллионы долларов из-за непредвиденных расходов на токены
Сотрудники Amazon обнаружили несколько случаев, когда после внедрения AI, проекты внезапно начинали расходовать огромное количество токенов. Проблемы возникали из-за простых ошибок, которые в обычных программах почти ничего не стоили бы. Но при работе с платными моделями они приводили к затратам в сотни тысяч долларов.
Самый крупный случай связан с системой на базе Sonnet, которая должна была сопоставлять авторов с карточками книг на Amazon. Проект не получился, но сжег токенов на 1.8 миллиона долларов. Бюджет был превышен на 860%. Проблему заметили только через пять месяцев.
«Трудно понять, сколько стоит что-либо, связанное с AI», — прокомментировал ситуацию один из руководителей Amazon.
Теперь Amazon разрабатывает автоматические ограничения расходов для AI-проектов.
P.S.: удивительно, конечно, что в масштабах Амазона как-то всплыло число в 1.8 миллиона долларов.
https://www.ft.com/content/77baac40-d803-4084-94f3-a133653072cf?syn-25a6b1a6=1
Сотрудники Amazon обнаружили несколько случаев, когда после внедрения AI, проекты внезапно начинали расходовать огромное количество токенов. Проблемы возникали из-за простых ошибок, которые в обычных программах почти ничего не стоили бы. Но при работе с платными моделями они приводили к затратам в сотни тысяч долларов.
Самый крупный случай связан с системой на базе Sonnet, которая должна была сопоставлять авторов с карточками книг на Amazon. Проект не получился, но сжег токенов на 1.8 миллиона долларов. Бюджет был превышен на 860%. Проблему заметили только через пять месяцев.
«Трудно понять, сколько стоит что-либо, связанное с AI», — прокомментировал ситуацию один из руководителей Amazon.
Теперь Amazon разрабатывает автоматические ограничения расходов для AI-проектов.
P.S.: удивительно, конечно, что в масштабах Амазона как-то всплыло число в 1.8 миллиона долларов.
https://www.ft.com/content/77baac40-d803-4084-94f3-a133653072cf?syn-25a6b1a6=1
GPT/ChatGPT/AI Central Александра Горного
905 публикаций на visbl.me
Авторский взгляд на новости технологий Реклама: https://docs.google.com/presentation/d/1glQMXYyKAYpzNP8VXzM4gl2YkEgLjkeD_Fxvzbu5QUE/edit РКН: https://clck.ru/3FPkup Личный аккаунт: @gornal О рекламе: @Vzuhcha ВП нет
Связанные темы
Читать далее
Как AI влияет на написание книг в США?
GPT/ChatGPT/AI Central Александра Горного·
Что происходит с искусственным интеллектом и побегами из сендбокса?
veselcraft·
OpenAI задержит выход новой модели из-за «критического» уровня кибервозможностей
GPT/ChatGPT/AI Central Александра Горного·
MetaMask и Cloudflare запустили криптокошельки для AI-агентов
GPT/ChatGPT/AI Central Александра Горного·
Как ИИ использует уязвимости для атак на инфраструктуру?
e/acc·
Почему нейроспаммеры становятся популярными в комментариях?
GPT/ChatGPT/AI Central Александра Горного·
💬Discussion (10)
Я, кстати, уверен, что скоро так и будет!)))
• никто не понимает что ты там делаешь под капотом
• бабки буквально "сжигаются", а результат сложно "потрогать".
• т.е. какой-нибудь условный проверяющий не сильно экспертный - хрен отличит, обучали вы модель целый год или зафайнтюнили или даже запромптили дипсик чтоб он правильно отвечал на проверках)))