Claude vs Gemma 4: cine ține mai bine rolul

Claude și Gemma 4: bătălia pentru autocontrol

Dezvoltatorii de la Mnemara au pus față în față Claude și Gemma 4: le-au dat aceeași "instrucțiune de rol" pentru autocontrol și au urmărit cine se abate mai repede. Surpriză: unul a fost elevul silitor, celălalt — un artist care uită regulile după câteva replici.

În Mnemara, documentul de rol este recitit la fiecare apel API și fixat în context. E ca și cum ai reaminti unui angajat fișa postului la fiecare task — doar că în loc de om, ai un LLM. Claude s-a comportat ca un perfecționist, iar Gemma 4 — ca un coleg creativ care uită ce avea de făcut după al treilea cafeluță.

Ce s-a testat

• Autocontrol: cât de bine respectă modelul rolul atribuit (ex: "ești expert în securitate, răspunde strict după protocol").
• Rezistența la derapaj: după N mesaje, își mai amintește cine e?
• Viteză și cost: Gemma 4 e mai ușoară, dar e și mai ieftină?

Rezultate: Claude a ținut rolul peste 40 de mesaje fără să clipească, Gemma a început să "uite" pe la al 10-lea. În schimb, Gemma 4 a fost mai rapidă și a costat o nimica toată — ideală pentru sarcini simple, fără pretenții de rol strict.

Pentru cine e util Dacă faci un agent care trebuie să urmeze instrucțiuni riguroase (automatizare suport, moderare), Claude e alegerea ta. Dacă ai nevoie de creativitate și buget limitat — Gemma 4 face treaba.

Comentariul studioului METABYTE: Și nouă ne place să testăm modelele — mai ales când încearcă să ne convingă că un bug e o funcție. Dar alegerea LLM-ului potrivit e ca alegerea unui framework: unii iubesc monolitul, alții microserviciile. Important e să nu pice CI-ul.