Doi funcționari suspendați din cauza halucinațiilor AI: când inteligența artificială te bagă în bucluc

Știi senzația aia când ChatGPT inventează o bibliotecă care nu există, iar tu deja ai scris codul și ai făcut commit? Cam așa au pățit doi funcționari de la Ministerul de Interne sud-african, doar că prețul greșelii nu a fost câteva ore de debugging, ci reputația și salariul.

Potrivit anchetei, un sistem AI implementat pentru verificarea documentelor a început să „halucineze” – a generat referințe la legi inexistente, acte false și decizii judecătorești inventate. Funcționarii, încrezători în mașină, nu au verificat datele și au aprobat documentele fictive. Rezultatul: suspendare imediată și anchetă oficială.

Acesta este un exemplu perfect cum cârjele AI pot strica un proces de business. Dezvoltatori, amintiți-vă: chiar și cea mai deșteaptă rețea neurală nu este un baghetă magică, ci un stagiar foarte încrezut. Dacă nu configurați validare și human-in-the-loop, într-o zi va trebui să explicați clientului de ce site-ul lui acceptă „Ion Popescu” drept persoană reală cu pașaport.

Comentariul echipei METABYTE: Când integrați AI în proiecte, nu uitați de teste de coerență – altfel, rețeaua voastră neurală poate „concedia” nu doar funcționari, ci și bugetul de suport.