Dinozaur vs AI: poate un PC din 2015 să ruleze Gemma 4?

Vă amintiți acel computer pe care scriați cod pe vremea Windows 10 și vă bucurați de un SSD de 120 GB? Se pare că nu e timpul să-l aruncați. Un dezvoltator curajos a decis să testeze dacă un desktop din 2015 poate rula noul Gemma 4 de la Google — și rezultatele au fost... neașteptate.

Laptopul pensionar vs. rețeaua neurală junior

Benchmark-ul a inclus două versiuni ale modelului: 2B și 4B parametri. PC-ul vechi cu procesor Intel generația a 6-a și 16 GB RAM (fără placă video dedicată) s-a descurcat decent cu versiunea 2B — inferența a rulat la aproximativ 10 tokeni pe secundă. Modelul 4B a fost mai greu: 3-4 tokeni pe secundă, dar încă lizibil. Spre comparație, pe un MacBook Pro cu M3 aceeași versiune 4B produce peste 30 de tokeni.

Concluzia principală: dacă aveți un PC vechi prin casă, nu vă grăbiți să-l duceți la reciclare. Pentru experimente cu modele LLM mici, este perfect util — mai ales dacă sunteți dispus să așteptați puțin. Iar dacă adăugați RAM până la 32 GB, modelul 4B se va simți și mai bine.

Desigur, pentru producție această variantă nu este potrivită — acolo aveți nevoie de GPU și tokeni rapizi. Dar pentru experimente locale, scris scrisori sau generare de cod offline — de ce nu? E ca și cum ați găti pe un aragaz vechi: încet, dar sigur.

Comentariul studioului METABYTE: Să rulezi AI pe hardware vechi este distractiv, dar dacă vrei ca rețeaua neurală să nu adoarmă între tokeni, mai bine încredințezi treaba serverelor moderne. Noi te ajutăm să alegi o configurație care să nu-ți amintească de pensia primului tău PC.