Динозавр против ИИ: запускаем Gemma 4 на ПК из 2015 года
Сможет ли старый ПК тянуть современные языковые модели? Спойлер: не всё так плохо, как кажется.
Помните тот компьютер, на котором вы когда-то кодили под Windows 10 и радовались SSD на 120 ГБ? Оказывается, его ещё рано списывать со счетов. Один смелый разработчик решил проверить, сможет ли десктоп 2015 года запустить новую Gemma 4 от Google — и результаты оказались... неожиданными.
Ноутбук-пенсионер против нейросети-юниора
В бенчмарке участвовали две версии модели: 2B и 4B параметров. Старенький ПК с процессором Intel 6-го поколения и 16 ГБ оперативной памяти (без дискретной видеокарты!) вполне сносно справился с 2B-версией — инференс шёл со скоростью около 10 токенов в секунду. 4B модель оказалась тяжеловата: 3-4 токена в секунду, но всё ещё читаемо. Для сравнения: на современном MacBook Pro с M3 та же 4B версия выдаёт 30+ токенов.
Главный вывод: если у вас завалялся старый ПК, не спешите нести его на свалку. Для экспериментов с небольшими LLM он вполне годится — особенно если вы готовы потерпеть и не ждать мгновенных ответов. А если докинуть оперативки до 32 ГБ, то и 4B модель будет чувствовать себя увереннее.
Конечно, для продакшена такой вариант не подойдёт — там нужны GPU и шустрые токены. Но для локальных экспериментов, написания писем или генерации кода в офлайне — почему бы и нет? Это как готовить на старой газовой плите: медленно, но надёжно.
Комментарий студии METABYTE: Запуск AI на старом железе — это, конечно, весело, но если вы хотите, чтобы нейросеть не засыпала между токенами, лучше доверить это дело современным серверам. Мы поможем подобрать конфигурацию, которая не будет напоминать вам о пенсии вашего первого ПК.