ИИ-агент Mythos «нашёл» уязвимость в собственных данных — и это пугает даже больше
Когда нейросеть находит CVE в своём датасете, это не детектив, а кривое зеркало индустрии безопасности.
Представьте: вы пишете код, пушите в репозиторий, а ваш CI/CD пайплайн не просто собирает проект, но и находит в нём дыру, о которой вы сами не знали. Звучит как мечта девопса? А теперь представьте, что пайплайн — это нейросеть, а дыра — из её же тренировочных данных. Именно это случилось с Mythos — AI-агентом для поиска уязвимостей.
Mythos «обнаружил» CVE, которая уже присутствовала в его обучающей выборке. То есть, по сути, он нашёл ключи от квартиры, которые лежали на столе. Но загвоздка в том, что он нашёл их не потому, что кто-то подсказал, а потому что «запомнил» паттерн. Разработчики Mythos утверждают, что это не баг, а фича: мол, ИИ учится на реальных уязвимостях, так что повторное обнаружение — признак хорошей памяти. Но если подумать, это как хвастаться, что твой пёс приносит тапки, которые ты сам кинул.
На самом деле, проблема глубже: если тренировочные данные содержат CVE, то модель может научиться искать только известные уязвимости, а не новые. Это превращает AI-безопасность в эхо-камеру, где нейросеть просто повторяет заученное, а не проявляет креативность. Команда Mythos признаёт, что для поиска zero-day нужны другие подходы, но пока их ИИ — отличный ретроспективный детектив, который опаздывает на преступление.
Комментарий студии METABYTE: Мы тоже любим, когда код находит баги, но предпочитаем, чтобы это были баги в продакшене, а не в датасете. Если ваш ИИ путает обучение с копированием, пора пересмотреть пайплайн — или хотя бы добавить ему «критическое мышление» через fine-tuning.