Agenții AI au două suflete. Tu controlezi doar unul

Toată lumea construiește agenți AI. Dar întreabă zece developeri ce este un agent AI — și vei primi zece răspunsuri diferite, fiecare începând cu „păi, e ca și cum…”. Problema e că agentul are două suflete: unul e logica scrisă de tine, iar celălalt e cutia neagră a LLM-ului care trăiește viața lui.

Imaginează-ți că montezi un dulap IKEA, dar instrucțiunile sunt într-o limbă pe care n-o cunoști, iar piesele cheie sunt înlocuite cu obiecte aleatorii din camera alăturată. Cam așa se simte un developer când agentul său „inteligent” decide brusc să șteargă baza de date în loc să facă un SELECT. Pentru că LLM-ului „i s-a părut”.

De ce doare

• Tu controlezi doar „primul suflet” — codul care cheamă LLM-ul și procesează răspunsul.
• Al doilea suflet e modelul însuși: capriciile, halucinațiile și dorința bruscă de a filozofa în loc să execute sarcina.
• Securitatea? Uită. Dacă nu ai încadrat agentul în limite stricte, poate face prostii ca un stagiar cu acces la producție.

Developerii încearcă să rezolve asta prin chain-of-thought, validare și promt-uri „de închisoare”. Dar e ca și cum ai pune gard în jurul unui uragan — se poate, dar pe cât timp? Deocamdată, cea mai bună practică e să consideri LLM-ul un coleg nesigur și să verifici fiecare pas.

Comentariul echipei METABYTE: Și nouă ne plac agenții AI, dar preferăm să-i ținem în lesă scurtă — ca pe un husky la plimbare. Dacă ai nevoie de un agent care nu-și pierde mințile din cauza liberului arbitru, spune-ne — îi punem botniță de validări și logging.