LLM vs TLA+: pot rețelele neuronale să modeleze sisteme reale?

LLM încearcă să învețe TLA+ — și arată ca o pisică încercând să înoate.

Un grup de cercetători a decis să verifice dacă modelele lingvistice moderne (precum GPT-4) pot scrie specificații formale în TLA+ pentru sisteme distribuite reale. Spoiler: rezultatele seamănă cu asamblarea unui dulap IKEA fără instrucțiuni — uneori genial, dar de obicei strâmb.

Ce s-a testat și cum?

Oamenii de știință au luat algoritmi clasici (Paxos, two-phase commit, Raft) și au cerut LLM-urilor să genereze specificații TLA+. Au evaluat nu doar sintaxa, ci și corectitudinea modelării — adică dacă modelul reflectă comportamentul real al sistemului. S-a dovedit că:

• Modelele se descurcă excelent cu părțile șablon (inițializare, tipuri).
• Dar când vine vorba de logică netrivială (de exemplu, gestionarea defectelor), LLM-urile încep să „halucineze” stări care nu există în natură.
• Fără fine-tuning pe un corpus de TLA+, modelele confundă operatorii și uită de invarianți.

Și care e utilitatea practică?

Autorii recunosc sincer: deocamdată, LLM-urile nu vor înlocui un inginer de verificare. Dar ca instrument de prototipare rapidă sau sugestie de sintaxă — e destul de util. Mai ales dacă urăști să-ți amintești dacă se pune punct și virgulă după Next.

Comentariul echipei METABYTE: Și noi am încercat să încredințăm unei rețele neuronale scrierea TLA+ — până la urmă a trebuit să facem rollback și să bem o cafea. Dar dacă vrei ca sistemele tale distribuite să fie fiabile (fără halucinații), mai bine cheamă oameni. Sau măcar folosește Copilot ca asigurare.