«Man-in-the-Prompt»: невидимая угроза, угрожающая ChatGPT и другим системам ИИ

Исследователи по кибербезопасности предупреждают о новой угрозе, получившей название «Man-in-the-Prompt». Этот тип атаки позволяет злоумышленникам вмешиваться в взаимодействие пользователя с такими ИИ-системами, как ChatGPT, Gemini, Copilot и Claude, используя простые браузерные расширения — без необходимости сложных хакерских навыков.

Как работает атака

Согласно исследованию компании LayerX, любое браузерное расширение, даже без специальных разрешений, может получить доступ к полям ввода на веб-странице и внедрять скрытые команды в запросы, отправляемые ИИ-системам. Это возможно благодаря тому, что многие интерфейсы ИИ-инструментов реализованы через Document Object Model (DOM) — структуру, используемую браузерами для отображения веб-страниц. Злоумышленники могут использовать эту уязвимость для:

• Внедрения скрытых инструкций, заставляющих ИИ выполнять нежелательные действия;

• Извлечения конфиденциальной информации из запросов или ответов ИИ;

• Манипуляции с поведением ИИ, например, обхода встроенных фильтров безопасности.()

Примеры и последствия

Исследователи продемонстрировали, как с помощью вредоносного расширения можно:()

• Открывать скрытые вкладки в браузере;

• Внедрять команды в запросы ИИ;

• Экспортировать ответы на сервер злоумышленника;

• Удалять историю чатов ИИ, чтобы скрыть следы атаки.

Такие действия могут привести к утечке конфиденциальных данных, компрометации учетных записей и другим серьезным последствиям.()

Рекомендации по защите

Эксперты рекомендуют:()

• Ограничить использование браузерных расширений, особенно тех, которые требуют доступа к данным на всех веб-сайтах;

• Регулярно проверять и обновлять установленные расширения, удаляя ненужные или подозрительные;

• Использовать расширения из проверенных источников, таких как официальные магазины расширений;

• Обучать сотрудников и пользователей распознавать потенциально опасные расширения и сайты.()

Поскольку большинство пользователей и организаций используют браузерные расширения, эта угроза представляет собой значительный риск для безопасности. Важно осознавать потенциальные уязвимости и принимать меры для их минимизации.()