ZAYA1-8B: un model open-source de 8B cu 760M parametri activi egalează DeepSeek-R1 la matematică

Lumea AI open-source are un nou venit interesant: modelul ZAYA1-8B de la Firethering. Este un model MoE (Mixture of Experts) de 8 miliarde de parametri, dar care folosește doar 760 de milioane de parametri activi per cerere. Sună a magie? Cam așa și funcționează.

La benchmark-urile AIME 2024 și MATH-500, ZAYA1-8B arată rezultate comparabile cu DeepSeek-R1 (671B parametri) și depășește Qwen2.5-Math-7B-Instruct. Nici la codare nu se lasă mai prejos: LiveCodeBench și Codeforces — tot la nivel.

De ce e important pentru developeri?

• Eficiență: 760M parametri activi vs 8B — economie serioasă de memorie și viteză de inferență.
• Open-source: poate fi fine-tunat, personalizat, integrat în produse proprii.
• Specializare: modelul este optimizat pentru matematică și cod, ideal pentru EdTech, pipeline-uri ML și unelte de dezvoltare.

Modelul este deja disponibil pe Hugging Face. Există versiunea pentru chat (Instruct) și cea de bază. În planuri — suport pentru context lung și multimodalitate.

Comentariul echipei METABYTE: ZAYA1-8B este un exemplu perfect cum o arhitectură inteligentă (MoE) oferă performanță mare fără costuri uriașe. Pentru startup-uri care vor să implementeze un asistent AI pentru cod sau matematică, aceasta este o alternativă reală la API-urile scumpe. Noi ne-am uita cu atenție la acest model pentru integrare în produsele noastre.