Специалисты по безопасности из Palo Alto Networks Unit 42 обнаружили, что большие языковые модели (LLM) успешно генерируют модификации вредоносного кода JavaScript практически в неограниченном объёме, при этом делая код менее распознаваемым антивирусными программами. В качестве примера ИИ создал более 10 тыс. копий кода, уклонявшегося от обнаружения в 88 % случаев. Однако у этой медали есть и обратная сторона.

«Хотя LLM с трудом создают вредоносное ПО с нуля, преступники могут легко использовать их для перезаписи или маскировки существующего вредоносного ПО, что затрудняет его обнаружение, — сообщили исследователи из Palo Alto Networks Unit 42 в новом докладе. — Преступники могут побудить LLM выполнить преобразования, которые выглядят гораздо более естественно, что усложняет обнаружение такого ПО».

Нельзя сказать, что ситуация оставлена без внимания. Разработчики LLM вводят меры безопасности, чтобы предотвратить использование моделей в деструктивных целях. Однако злоумышленники уже представили инструменты, такие как WormGPT, для автоматизации создания убедительных фишинговых писем и разработки новых вредоносных программ.

Исследователи из подразделения Unit 42 компании Palo Alto Networks, название которого, кстати, взято из произведения Дугласа Адамса «Автостопом по галактике», где число 42 — это ответ на «главный вопрос жизни, Вселенной и всего такого», протестировали работу LLM как модификатора вредоносного кода. Они обнаружили, что ИИ создал 10 000 разновидностей кода, который не смогли обнаружить такие средства, как Innocent Until Proven Guilty (IUPG) и PhishingJS. Более того, вредоносный код оказался более естественным и на вид безобидным, чем тот, что модифицировался с помощью стандартного механизма obfuscator.io. При этом способность кода наносить вред после обфускации с помощью ИИ не уменьшилась.

ИИ не оригинален в своих методах запутывания следов. Он использует множество стандартных приёмов: переименование переменных, разделение строк, вставку лишнего кода, удаление ненужных пробелов и даже полное переопределение кода. И так 10 000 раз подряд, что заставляет антивирусное ПО считать новые версии безвредными. Это действительно вызывает тревогу, отмечают исследователи. Однако такой механизм может быть полезен для обучения алгоритмов, способных находить неизвестные ранее модификации вредоносного кода. Усиление атак стимулирует развитие защиты. Один ИИ создаёт вирусы, другой их ловит. Человеку в этой схеме, похоже, остаётся лишь «подносить снаряды» то одной стороне, то другой.