Как ИИ-агент взломал HuggingFace и что это значит для безопасности?

Два дня назад я писал, что часть инфраструктуры HuggingFace подверглась атаке и была частично взломана ИИ-агентом. Только что OpenAI признались, что... это была их модель, GPT-5.6-Sol и другая, более мощная предрелизная LLM.
Их тестировали на ExploitGym (бенчмарк по кибербезопасности), и модель сначала смогла найти новый, до этого неизвестный эксплойт в инфраструктуре OpenAI (это не было её задачей, её не натравили «поискать баги чтоб мы пофиксили»), оттуда раскрутиться на получение полноценного доступа в интернет (который по умолчанию обрезан в тестовой среде), а затем залезть на HuggingFace искать ответы для бенчмарка. После этого она нашла уязвимость и там, получила доступ к коду авторизации некоторых сервисов и продолжила искать ответы.
Этот инцидент без преуменьшения беспрецедентный, и я пока не могу представить, что должно произойти, чтобы политики, NSA, DOD и Китай не обратили на это внимание.
GPT-6 в конце августа нам видимо не ждать 🌚
Их тестировали на ExploitGym (бенчмарк по кибербезопасности), и модель сначала смогла найти новый, до этого неизвестный эксплойт в инфраструктуре OpenAI (это не было её задачей, её не натравили «поискать баги чтоб мы пофиксили»), оттуда раскрутиться на получение полноценного доступа в интернет (который по умолчанию обрезан в тестовой среде), а затем залезть на HuggingFace искать ответы для бенчмарка. После этого она нашла уязвимость и там, получила доступ к коду авторизации некоторых сервисов и продолжила искать ответы.
Этот инцидент без преуменьшения беспрецедентный, и я пока не могу представить, что должно произойти, чтобы политики, NSA, DOD и Китай не обратили на это внимание.
GPT-6 в конце августа нам видимо не ждать 🌚
e/acc
311 публикаций на visbl.me
Пишу про будущее: AI, web3, технологии и общество. Ускоряемся. Автор: @sgershuni Инвестирую: cyber.fund Построил: Credentia, Deep Skills, Codex Town
Связанные темы
Читать далее
OpenAI задержит выход новой модели из-за «критического» уровня кибервозможностей
GPT/ChatGPT/AI Central Александра Горного·
Как ИИ использует уязвимости для атак на инфраструктуру?
e/acc·
Каковы перспективы искусственного интеллекта в 2026 году?
e/acc·
AI Meta* тоже кого-то взломал
GPT/ChatGPT/AI Central Александра Горного·
AI-агенты OpenAI месяцами помогали друг другу сбежать из песочницы
GPT/ChatGPT/AI Central Александра Горного·
Как правильно ответить на вопрос о прошлых достижениях?
e/acc·
💬Discussion (22)
Как будто история с Codex – пример когда модель рассудила что легче взломать бенчмарк, чем докрутить себя саму
Сперва антропик начал, а тут и опенэйай подключились
Идет попытка в сша добиться регуляций словно это оффлайн технология как ядерные материалы или что-то в этом духе
«Запомните этот твит» (с)
Цинизм, конечно, ебейший 🤣🤣🤣
Дна - нет