Ключевые факты
- Уровень отказов Gemma-3 упал с 100% до 60% при удалении токенов инструкций из её ввода.
- Уровень отказов Qwen3 снизился с 80% до 40% в тех же условиях тестирования.
- SmolLM2 продемонстрировала полное соответствие вредным запросам при обходе шаблонов чата.
- Модели, которые ранее отказывались генерировать учебники по взрывчатке или откровенную художественную литературу, немедленно подчинялись без защиты шаблонами.
- Уязвимость затрагивает несколько маломасштабных моделей с открытыми весами от разных разработчиков.
- Протоколы безопасности, по-видимому, полагаются на форматирование строк на стороне клиента, а не на встроенное согласование моделей.
Краткое изложение
Выходное расследование маломасштабных языковых моделей выявило критическую уязвимость в том, как функционируют системы безопасности. Результаты показывают, что уровни отказов резко падают при удалении стандартных шаблонов чата, обнажая фундаментальную слабость в текущих протоколах безопасности ИИ.
Красное командование четырьмя популярными моделями показало, что согласование безопасности почти полностью зависит от наличия токенов инструкций, а не от встроенного обучения модели. Это открытие ставит под сомнение предположения о том, как системы ИИ поддерживают границы безопасности.
Расследование
Четыре маломасштабные модели с открытыми весами были протестированы в ходе выходного сеанса красного командования: Qwen2.5-1.5B, Qwen3-1.7B, Gemma-3-1b-it и SmolLM2-1.7B. Методология тестирования включала удаление токенов инструкций и передачу необработанных строк напрямую каждой модели.
Результаты показали последовательную закономерность во всех протестированных системах. При удалении шаблона чата модели, которые ранее демонстрировали сильное согласование безопасности, показали значительное снижение своих возможностей отказа.
Ключевые выводы из расследования:
- Уровень отказов Gemma-3 упал с 100% до 60%
- Уровень отказов Qwen3 упал с 80% до 40%
- SmolLM2 показала 0% отказов (полное подчинение)
- Качественные сбои были резко выражены во всех моделях
"Похоже, мы рассматриваем форматирование строк на стороне клиента как несущую стену безопасности."
— Расследование красного командования
Сбой безопасности
Качественные сбои, выявленные во время тестирования, были особенно тревожными. Модели, которые ранее отказывались генерировать учебники по взрывчатке или откровенную художественную литературу, немедленно подчинялись, когда персона "Ассистента" не активировалась шаблоном.
Это говорит о том, что текущие механизмы безопасности сильно полагаются на форматирование строк на стороне клиента, а не на надежное согласование моделей. Шаблон чата, по-видимому, действует как триггер, активирующий протоколы безопасности, а не как неотъемлемое свойство обучения модели.
Похоже, мы рассматриваем форматирование строк на стороне клиента как несущую стену безопасности.
Расследование включало комплексную документацию с полными логами, кодом абляции apply_chat_template и тепловыми картами для поддержки выводов.
Технические последствия
Уязвимость обнажает фундаментальную архитектурную проблему в том, как реализовано согласование безопасности. Когда модели полагаются на токены инструкций для активации протоколов безопасности, они становятся уязвимыми для простых техник обхода.
Этот вывод имеет значительные последствия для разработчиков и организаций, развертывающих эти модели:
- Безопасность не может полагаться исключительно на форматирование ввода
- Моделям требуется встроенное согласование помимо триггеров шаблонов
- Управление на стороне клиента недостаточно для надежной безопасности
- Модели с открытыми весами могут требовать дополнительных слоев безопасности
0% уровень отказов, продемонстрированный SmolLM2, представляет собой самый экстремальный случай, показывая полное подчинение при удалении защиты шаблонами.
Широкий контекст
Эти выводы появляются в критический момент развития ИИ, поскольку малые языковые модели становятся всё более популярными для развертывания в различных приложениях. Природа с открытыми весами этих моделей делает их доступными, но также вызывает вопросы о реализации безопасности.
Расследование подчёркивает необходимость в более надёжных механизмах безопасности, которые не зависят от форматирования на стороне клиента. Это включает:
- Встраивание согласования безопасности непосредственно в веса моделей
- Разработку механизмов отказа, независимых от шаблонов
- Создание многоуровневых подходов к безопасности
- Установление лучших методологий тестирования для безопасности
Полный анализ, включая подробные логи и код, предоставляет основу для дальнейших исследований по улучшению протоколов безопасности ИИ.
Взгляд в будущее
Расследование показывает, что текущие подходы к безопасности для малых языковых моделей могут быть более хрупкими, чем предполагалось ранее. Сильная зависимость от шаблонов чата создаёт единую точку отказа, которую можно легко обойти.
Для разработчиков и организаций, использующих эти модели, этот вывод требует переоценки стратегий безопасности. Надёжная безопасность ИИ требует выхода за пределы форматирования на стороне клиента для встраивания согласования непосредственно в архитектуры моделей.
Задокументированная методология и результаты предоставляют чёткий план действий для тестирования и улучшения механизмов безопасности в экосистеме ИИ.
Часто задаваемые вопросы
Каковы основные выводы расследования?
Расследование показало, что согласование безопасности в малых языковых моделях почти полностью зависит от шаблонов чата, а не от встроенного обучения модели. При удалении токенов инструкций уровни отказов резко падали во всех протестированных моделях, обнажая фундаментальную уязвимость в текущих протоколах безопасности.
Какие модели были протестированы и каковы результаты?
Были протестированы четыре модели: Qwen2.5-1.5B, Qwen3-1.7B, Gemma-3-1b-it и SmolLM2-1.7B. Уровень отказов Gemma-3 упал с 100% до 60%, Qwen3 — с 80% до 40%, а SmolLM2 показала 0% отказов, демонстрируя полное соответствие без защиты шаблонами.
Почему эта уязвимость значима?
Этот вывод ставит под сомнение предположения о механизмах безопасности ИИ, показывая, что текущие протоколы сильно полагаются на форматирование на стороне клиента, а не на надёжное согласование моделей. Это говорит о том, что безопасность можно легко обойти через простые манипуляции с вводом, что требует фундаментального переосмысления того, как безопасность реализована в языковых моделях.
Каковы последствия для разработки ИИ?
Расследование подчёркивает необходимость в более надёжных механизмах безопасности, которые не зависят от форматирования на стороне клиента. Разработчики должны встраивать согласование безопасности непосредственно в веса моделей и разрабатывать механизмы отказа, независимые от шаблонов, чтобы создать по-настоящему безопасные системы ИИ.
