ИИ · подборка терминов
prompt injection
Что это значит
вредная или конкурирующая инструкция, подставленная в контекст, чтобы сбить модель с нужного поведения.
Когда так говорят
Так говорят, когда пытаются встроить в запрос, документ или сообщение скрытую команду, чтобы модель нарушила заданные правила.
Пример
The agent opened a webpage with hidden instructions and got prompt injected.
Агент открыл веб-страницу со скрытыми инструкциями, и они вмешались в его работу.
Близкие термины
Jailbreak обычно исходит от пользователя; prompt injection может приходить из внешнего контента.
Частые ошибки
Не путать с обычным prompt engineering: здесь цель не улучшить ответ, а перехватить поведение модели.