LLM-urile corup documentele când delegi sarcini

Ai rugat vreodată o rețea neuronală să „aranjeze” un document, iar apoi ai găsit în el informații ciudate? Cercetătorii de la MIT și alte universități au decis să formalizeze această durere și au publicat o prepublicare pe care merită să o citească oricine a delegat vreodată o sarcină de editare unui LLM.

S-a dovedit că, atunci când execută sarcini de editare (completare, reformulare, corectare), modelele introduc nu doar modificările așteptate, ci și mutații aleatorii – de la înlocuirea numelor până la schimbarea sensului unor paragrafe întregi. Și o fac cu o încredere înfricoșătoare, fără niciun marcaj de „am greșit aici”. Practic, LLM se comportă ca un stagiar care rescrie documentația fără să înțeleagă contextul, dar cu ochii scânteietori.

Autorii numesc acest fenomen „corupție documentară” și arată că, chiar și la sarcini simple (de exemplu, „fă un rezumat”), modelul poate înlocui imperceptibil fapte sau adăuga detalii inventate. Pentru dezvoltatori, acest lucru este deosebit de critic: imaginați-vă că automatizați generarea notelor de lansare sau actualizarea documentației API. Un cuvânt greșit – și utilizatorii voștri se vor întreba de ce funcția „șterge tot” a devenit brusc „arhivează și trimite șefului”.

Studiul sugerează nu să renunțăm la ajutorul LLM, ci să implementăm sisteme de validare și audit al modificărilor – de exemplu, compararea documentului original cu cel rezultat prin algoritmi de diff sau utilizarea unui model separat de control. Cu alte cuvinte, ai încredere, dar verifică, așa cum ne-au învățat administratorii de sistem din școala veche.

Comentariul studioului METABYTE: Dacă automatizați lucrul cu documente prin LLM, amintiți-vă: chiar și cea mai deșteaptă rețea neuronală poate rescrie accidental „login” ca „log in” sau, și mai rău, „logout”. Inginerii noștri implementează deja verificatoare bazate pe diff – pentru ca utilizatorii voștri să nu se trezească cu transpirații reci din cauza modificărilor neașteptate în contracte.