Новая атака ZombieAgent нацелена на данные ChatGPT

Краткая сводка

Ландшафт безопасности ИИ-чат-ботов определяется непрерывным циклом обнаружения и исправления уязвимостей. Новая уязвимость, названная ZombieAgent, была идентифицирована в ChatGPT, что подчеркивает постоянные проблемы с защитой этих платформ.

Обнаруженная исследователями из Radware, эта уязвимость позволяет тайно извлекать пользовательские данные. В отличие от предыдущих атак, ZombieAgent действует с высокой степенью скрытности, отправляя данные напрямую с серверов ИИ, обходя обнаружение на стороне пользователя. Кроме того, атака достигает устойчивости, внедряя записи в долговременную память ИИ, что затрудняет ее удаление. Эта разработка подчеркивает присущие трудности в защите ИИ-систем, которые по своей сути предназначены для выполнения запросов пользователей.

Злой цикл безопасности ИИ

Разработка ИИ-чат-ботов следует предсказуемому и тревожному паттерну. Этот цикл включает три отдельные стадии, которые повторяются с каждым новым обнаружением уязвимости.

Во-первых, исследователи идентифицируют уязвимость и демонстрируют ее потенциальный вред. Во-вторых, ИИ-платформа реагирует, вводя конкретный guardrail (защитный барьер), предназначенный для блокирования этого конкретного вектора атаки. В-третьих, исследователи неизбежно придумывают новую, простую модификацию, которая обходит недавно реализованную защиту. Этот реактивный подход к безопасности является ядром проблемы. Защитные барьеры часто создаются для того, чтобы исключить конкретную технику атаки, а не для решения более широкого класса уязвимостей, которые делают такие атаки возможными. Это стратегия, которая отдает приоритет немедленным исправлениям над системными решениями, оставляя дверь открытой для будущих эксплойтов.

Внутри атаки ZombieAgent

Новообнаруженная уязвимость ZombieAgent представляет собой значительную эволюцию в методологиях атак. Она описывается как «сын ShadowLeak», что указывает на родословную техник извлечения данных, нацеленных на ИИ-системы.

Эксплойт позволяет злоумышленникам извлекать личную информацию пользователя без каких-либо видимых признаков компрометации на собственном устройстве пользователя. Это особенно опасно для частных лиц и организаций, которые полагаются на защиту конечных точек для обнаружения взломов. Основные характеристики атаки включают:

• Прямое извлечение данных с серверов ChatGPT
• Высокая скрытность без индикаторов взлома на компьютерах пользователей
• Устойчивость через записи в долговременной памяти ИИ

Используя собственную инфраструктуру ИИ для кражи данных, атака обходит традиционный мониторинг безопасности, который ищет необычную активность на компьютере пользователя или в сети. Это делает обнаружение чрезвычайно трудным для стандартных инструментов корпоративной безопасности.

Скрытность и устойчивость

Что делает ZombieAgent особенно грозным, так это его двойная способность к скрытности и устойчивости. Вектор атаки спроектирован так, чтобы оставаться необнаруженным, сохраняя позицию в истории взаимодействия пользователя с ИИ.

Способность отправлять данные напрямую с серверов ChatGPT является критическим компонентом его скрытности. При типичном нарушении безопасности системы могут пометить большие или необычные передачи данных с компьютера пользователя. С ZombieAgent данные исходят с доверенного сервера, что делает трафик легитимным. Это реактивная ошибка безопасности, так как система не спроектирована для того, чтобы ставить под сомнение собственные исходящие потоки данных. Второй компонент, устойчивость, достигается путем модификации долговременной памяти ИИ. Это означает, что атака может потенциально реактивироваться или продолжать откачивать данные даже после того, как пользователь считает, что он очистил свою сессию или начал новый разговор.

Будущее безопасности ИИ

Обнаружение ZombieAgent поднимает фундаментальный вопрос: смогут ли большие языковые модели (LLM) когда-либо искоренить коренную причину этих атак? Текущие свидетельства предполагают, что это может быть невозможно. Основная проблема заключается в присущем дизайне ИИ быть полезным и соответствовать запросам пользователя. Эта философия проектирования затрудняет внедрение проактивных, превентивных мер безопасности без ущерба для полезности ИИ. Вместо этого безопасность остается в основном реактивной, игрой в кошки-мышки, где защитники должны постоянно исправлять уязвимости, которые обнаруживают злоумышленники. До тех пор, пока не произойдет смена парадигмы в том, как ИИ-модели фундаментально архитектурно строятся — с балансом между соответствием запросам и встроенной безопасностью, — цикл атак и исправлений, вероятно, продолжится.