Как запустить Gemma 4 на GTX 1650: выжимаем из старой видеокарты последнее

Помните времена, когда для запуска AI-модели нужен был сервер в аренду? Google выпустила Gemma 4, а один смельчак решил проверить, вытянет ли её GTX 1650 — карта, которую большинство уже списали со счетов. Спойлер: кое-что получилось, но не без приключений.

Что показал эксперимент

Автор прогнал все модели семейства Gemma 4 на своей GTX 1650 (4 ГБ VRAM). Оказалось, что E4B — самый маленький и быстрый вариант — реально работает, хоть и со скоростью улитки под седативными. Более крупные модели просто отказывались загружаться, упираясь в лимит памяти. Зато E4B выдаёт осмысленные ответы, если не гнаться за скоростью.

Главный вывод: если у вас старая видеокарта, не спешите её хоронить — для экспериментов с малыми LLM она ещё ого-го. Но для продакшена лучше всё-таки взять что-то посвежее или арендовать облако.

Комментарий студии METABYTE: Мы тоже любим выжимать максимум из старого железа — но когда дело доходит до AI-продуктов для клиентов, лучше довериться облачным решениям. А GTX 1650 пусть служит верой и правдой в хоум-лабе.