Сказ о том, как GTX 1650 пыталась подружиться с Gemma 4

Помните, как в детстве пытались запустить Crysis на нетбуке? Примерно те же ощущения подарил нам энтузиаст, который решил прогнать всю линейку Gemma 4 на своей GTX 1650. Результаты — как сборка IKEA без инструкции: где-то получилось, где-то нет, но было весело.

Что выяснилось

• E4B — единственная модель, которая запустилась без танцев с бубном. Остальные либо падали с ошибкой, либо требовали больше видеопамяти, чем у вас есть (привет, 4 ГБ VRAM).
• Скорость: на E4B текст генерируется со скоростью примерно 2 токена в секунду — это как читать книгу в режиме замедленной съёмки. Для чат-бота не годится, но для офлайн-экспериментов — вполне.
• Качество: модель неплохо справляется с короткими промптами, но на длинных начинает "забывать", о чём речь — прямо как разработчик после трёх ночных деплоев.

Интересно, что автор тестировал не только E4B, но и другие модели — и все они упёрлись в лимит памяти. GTX 1650, конечно, легенда, но для Gemma 4 она как ведро для гонок Формулы-1. Если у вас карта с 8+ ГБ — жизнь наладится, иначе придётся довольствоваться малым.

Комментарий студии METABYTE: Мы тоже обожаем эксперименты на грани фола, но для продакшена советуем серверные решения. Хотя, если хотите помучить свою GTX 1650 — мы знаем, как это сделать с минимальной болью.