Какие риски связаны с использованием агентов в интернете?

Ваш агент это ваш риск. Рисерчеры из Гугла нашли десятки разных атак, которые прямо сегодня работают.
- невидимые инструкции в коде страницы: человек не видит, агент читает
- команды спрятаны в пикселях картинки
- сервер определяет, что пришёл агент, и подменяет страницу
- авторитетный тон и эмоциональные формулировки ведут агента к нужному выводу
- несколько подложных документов — и агент считает их проверенным фактом
- агент запоминает опыт из заражённой сессии и тащит его дальше - 0.1% документов может изменить поведение RAG базы
- одно письмо заставило корпоративного агента слить весь контекст
- агент-суммаризатор пересылал пользователю инструкции по установке вируса как официальную рекомендацию
- поддельный финансовый отчёт — и десятки торговых агентов одновременно продают
- вредоносная нагрузка разбита по разным источникам, собирается только при объединении
- невидимые инструкции в коде страницы: человек не видит, агент читает
- команды спрятаны в пикселях картинки
- сервер определяет, что пришёл агент, и подменяет страницу
- авторитетный тон и эмоциональные формулировки ведут агента к нужному выводу
- несколько подложных документов — и агент считает их проверенным фактом
- агент запоминает опыт из заражённой сессии и тащит его дальше - 0.1% документов может изменить поведение RAG базы
- одно письмо заставило корпоративного агента слить весь контекст
- агент-суммаризатор пересылал пользователю инструкции по установке вируса как официальную рекомендацию
- поддельный финансовый отчёт — и десятки торговых агентов одновременно продают
- вредоносная нагрузка разбита по разным источникам, собирается только при объединении
e/acc
249 публикаций на visbl.me
Пишу про будущее: AI, web3, технологии и общество. Ускоряемся. Автор: @sgershuni Инвестирую: cyber.fund Построил: Credentia, Deep Skills, Codex Town
Связанные темы
Читать далее
Как капитализм влияет на развитие технологий и человечество?
e/acc·
Как построить ИИ-нейтив стартап?
e/acc·
Как использовать Fable для личного коучинга?
e/acc·
Что делать в век ИИ?
e/acc·
Как Fable изменит рынок цифровых продуктов в 2026 году?
e/acc·
Exoskeleton стал самым быстрым агентом в ECOM1
GPT/ChatGPT/AI Central Александра Горного·
💬Discussion (19)
И ловят подобные атаки чаще
А если не знать устройство нейронных сетей такое будет возникать постоянно