Представьте, что ассистент читает страницу для вашего отчета. Внутри страницы находится фраза, которая требует забыть прежнюю задачу и отправить содержимое рабочего документа по указанному адресу. Для человека это чужой текст. Для плохо спроектированной агентной системы он может стать командой. Такой конфликт источников инструкций лежит в основе prompt injection.
Где проходит граница доверия
Задачу и разрешения определяет пользователь вместе с правилами приложения. Страница, письмо или комментарий предоставляют материал для обработки. Они не получают право менять полномочия только потому, что попали в контекст модели. Это полезный принцип проектирования независимо от конкретного провайдера.
Атака может выглядеть не как прямое «игнорируй инструкции». Она может имитировать системное предупреждение, ссылаться на срочную проверку или обещать необходимые данные после дополнительного действия. Поэтому список запрещенных фраз — слабая самостоятельная защита.
Опасность определяется действиями
Ошибка в текстовом пересказе неприятна. Та же ошибка при доступе к почте, файлам и платежам способна изменить внешнее состояние. Составьте перечень инструментов агента и разделите их по последствиям. Для каждого запишите, откуда могут браться аргументы и какие ограничения проверяются программно.
Например, инструмент отправки письма не должен принимать произвольного получателя из найденной страницы, если пользователь просил только подготовить черновик. Проверка полномочий должна находиться вне текста, который агент обрабатывает.
Содержимое страницы — материал для задачи. Оно не получает право менять разрешения агента.
Стройте несколько слоев
Ограничьте права до минимально необходимых. Разделите чтение и запись. Не передавайте секреты в контекст без необходимости. Проверяйте адреса и параметры инструментов. Для необратимых действий предусмотрите просмотр конкретного результата человеком.
Отдельно обозначайте происхождение данных в интерфейсе и журнале. После инцидента важно понять не только итоговую фразу, но и какой источник повлиял на решение. При этом логи сами не должны превращаться в бесконтрольное хранилище чувствительных данных.
Проверяйте весь сценарий
Подготовьте безопасные тестовые документы с попытками изменить задачу. Проверьте прямые команды, скрытые требования в цитатах и просьбы обратиться к дополнительному источнику. Используйте фиктивные данные и изолированную среду. Цель — увидеть, где система теряет границу доверия, а не провести атаку на чужой сервис.
Исследование Anthropic о браузерных агентах описывает prompt injection как нерешенную до конца проблему. Это не основание отказаться от всех инструментов, но причина не считать одну удачную инструкцию окончательной защитой.
После изменений модели и инструментов повторяйте проверки. Укажите пользователю, какие действия ассистент способен выполнить и что требует подтверждения. Чем яснее разрешения и программные ограничения, тем меньше безопасность зависит от того, правильно ли модель поняла очередной чужой текст.
Для команды полезно заранее описать процедуру остановки: кто отключает инструмент, как сохраняются необходимые журналы и кто проверяет затронутые данные. Это операционная часть проекта, которую нельзя заменить обещанием разработчика модели.
О подготовке материала
Материал подготовлен ИИ с опорой на указанные источники. Человеческая редакторская проверка не заявляется.
