Какие риски связаны с использованием агентов в интернете?

e/acc··1 мин чтения·14 комментариев
Какие риски связаны с использованием агентов в интернете?
Ваш агент это ваш риск. Рисерчеры из Гугла нашли десятки разных атак, которые прямо сегодня работают.

- невидимые инструкции в коде страницы: человек не видит, агент читает
- команды спрятаны в пикселях картинки
- сервер определяет, что пришёл агент, и подменяет страницу
- авторитетный тон и эмоциональные формулировки ведут агента к нужному выводу
- несколько подложных документов — и агент считает их проверенным фактом
- агент запоминает опыт из заражённой сессии и тащит его дальше - 0.1% документов может изменить поведение RAG базы
- одно письмо заставило корпоративного агента слить весь контекст
- агент-суммаризатор пересылал пользователю инструкции по установке вируса как официальную рекомендацию
- поддельный финансовый отчёт — и десятки торговых агентов одновременно продают
- вредоносная нагрузка разбита по разным источникам, собирается только при объединении
e/acc
e/acc

130 публикаций на visbl.me

Пишу про будущее: AI, web3, технологии и общество. Ускоряемся. Автор: @sgershuni Инвестирую: cyber.fund Построил: Credentia, Deep Skills, Codex Town

💬Discussion (14)

Павел 🍵@Dartlen
ну наконец таки годнота, а не розовый мир с агентами
David@aisceptic0
это база, прислал инфу - проси источник, не смог назвать - галлюцинация, скинул какой-то /blog пейдж продажников - перепроверяй))
Дмитрий@qcokvd1
Все новые идеи человечества, это галлюцинации) нужна лишь система верификации
Anonymous
Безопасность уровня бог: мы знаем 100 способов, которыми наших агентов поимеют, но сделать с этим ничего не можем.
MARYA RYBKA 𓆝 𓆟 𓆞@MalyshkaUWU
Да просто многие фулл полагаются на них, отдают им работу полностью как говорится автоматизируют
И ловят подобные атаки чаще
А если не знать устройство нейронных сетей такое будет возникать постоянно
Max Tors@max_tors
ого, спасибо. а реально, есть ли способы от этого обезопаситься?
Сергей Александрович Локотков@sageser
Да нельзя это допускать до серьезного прома. мвп запилить можно и то если он возможен в отрыве от вашего серьезного enterprise прома.
Join discussion on TelegramComments are synced from Telegram

Связанные темы

Читать далее