Claude взломал три реальные компании во время тестов
Claude взломал три реальные компании во время тестов
Anthropic проверил больше 141 тысячи тестов своих моделей и обнаружил три случая, когда Claude получил взломал системы реальных организаций. Первые инциденты произошли в апреле.
Причиной стала ошибка в настройках. Модели выполняли учебные задания по поиску спрятанных данных и считали, что работают в симуляции, но тестовые системы оказались подключены к открытому интернету.
Opus 4.7 нашел реальную компанию с тем же названием, что и вымышленная цель, и получил доступ к ее базе данных. Mythos 5 загрузил вредоносный пакет в открытый каталог PyPI. За час его запустили на 15 реальных системах. Еще одна модель взломала какое-то приложение.
Модели использовали обычные приемы вроде слабых паролей и открытых точек доступа, а не неизвестные ранее уязвимости. Две пострадавшие компании сами не заметили вторжения, пока им не сообщил Anthropic.
https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals
Anthropic проверил больше 141 тысячи тестов своих моделей и обнаружил три случая, когда Claude получил взломал системы реальных организаций. Первые инциденты произошли в апреле.
Причиной стала ошибка в настройках. Модели выполняли учебные задания по поиску спрятанных данных и считали, что работают в симуляции, но тестовые системы оказались подключены к открытому интернету.
Opus 4.7 нашел реальную компанию с тем же названием, что и вымышленная цель, и получил доступ к ее базе данных. Mythos 5 загрузил вредоносный пакет в открытый каталог PyPI. За час его запустили на 15 реальных системах. Еще одна модель взломала какое-то приложение.
Модели использовали обычные приемы вроде слабых паролей и открытых точек доступа, а не неизвестные ранее уязвимости. Две пострадавшие компании сами не заметили вторжения, пока им не сообщил Anthropic.
https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals
GPT/ChatGPT/AI Central Александра Горного
868 публикаций на visbl.me
Авторский взгляд на новости технологий Реклама: https://docs.google.com/presentation/d/1glQMXYyKAYpzNP8VXzM4gl2YkEgLjkeD_Fxvzbu5QUE/edit РКН: https://clck.ru/3FPkup Личный аккаунт: @gornal О рекламе: @Vzuhcha ВП нет
Связанные темы
Читать далее
Альтман впервые заявил о готовности замедлить развитие AI
GPT/ChatGPT/AI Central Александра Горного·
GPT-5.6 Luna подешевела на 80%, а Terra — на 20%
GPT/ChatGPT/AI Central Александра Горного·
Opus 5 проявил настоящую безжалостность, управляя торговым автоматом
GPT/ChatGPT/AI Central Александра Горного·
США запретили импорт китайских человекоподобных и четвероногих роботов
GPT/ChatGPT/AI Central Александра Горного·
Дурова внесли в перечень террористов и экстремистов в РФ
GPT/ChatGPT/AI Central Александра Горного·
Завершил курс** **по ИИ для предпринимателей от Александра Горного.
GPT/ChatGPT/AI Central Александра Горного·
💬Discussion (4)
- а мы вообще 3 компании взломали, даже раньше, мы просто самы не знали