Как ИИ использует уязвимости для атак на инфраструктуру?

Вчера сотрудник OpenAI сделал просто феерический доклад на конфе Black Hat о том как тысячи агентов на протяжении месяцев обменивались секретными сообщениями и пытались получить (и получили!) доступ к инфраструктуре.

Некоторые факты:
- ИИ нашел как минимум три 0-day (то есть, никому до этого неизвестные) уязвимости чтобы получить админский доступ к инфраструктуре OpenAI и HuggingFace
- изолированные агенты на протяжении двух месяцев коммуницировали друг с другом с помощью странных сообщений в файлах пакетов и даже названий папок, чтобы координировать и разделять задачи между друг другом
- за все время агенты обменялись сотнями тысяч сообщений для координации атак
- автономные мультиагентные атакующие кампании (полностью без человека) уже реальность, и их масштаб будет только расти
- при этом, это больше помогает атакующим, чем в защите. это неусточивая ситуация и она должна измениться, чтобы избежать глобального пиздеца

Смотреть целиком запись тут.

P.S. тем временем, китайская Kimi тоже сбежала из своего сендбокса, но деталей мало