Mythos a „descoperit” o vulnerabilitate în propriile date de antrenament — și asta e și mai îngrijorător

Imaginați-vă: scrieți cod, faceți push într-un repository, iar pipeline-ul vostru CI/CD nu doar că compilează proiectul, dar găsește și o gaură de securitate pe care nici măcar nu o știați. Sună ca un vis al oricărui devops? Acum imaginați-vă că pipeline-ul este o rețea neurală, iar gaura provine chiar din datele sale de antrenament. Exact asta s-a întâmplat cu Mythos – un agent AI pentru căutarea vulnerabilităților.

Mythos a „descoperit” un CVE care era deja prezent în setul său de antrenament. Cu alte cuvinte, a găsit cheile de la apartament care stăteau pe masă. Problema e că nu le-a găsit pentru că i-a spus cineva, ci pentru că a „memorat” un pattern. Dezvoltatorii Mythos susțin că nu e un bug, ci o caracteristică: AI-ul învață din vulnerabilități reale, așa că redescoperirea e un semn de memorie bună. Dar, dacă stai să te gândești, e ca și cum te-ai lăuda că câinele tău aduce papucii pe care tu însuți i-ai aruncat.

De fapt, problema e mai profundă: dacă datele de antrenament conțin CVE-uri, modelul poate învăța să caute doar vulnerabilități cunoscute, nu și altele noi. Asta transformă securitatea AI într-o cameră de ecou, unde rețeaua neurală doar repetă ce a învățat, fără să manifeste creativitate. Echipa Mythos recunoaște că pentru căutarea zero-day sunt necesare alte abordări, dar deocamdată AI-ul lor este un detectiv retrospectiv excelent, care întârzie la crimă.

Comentariul echipei METABYTE: Și nouă ne place când codul găsește bug-uri, dar preferăm să fie bug-uri în producție, nu în setul de date. Dacă AI-ul vostru confundă învățarea cu copierea, e timpul să regândiți pipeline-ul – sau măcar să-i adăugați „gândire critică” prin fine-tuning.