Запустил AI-модель на телефоне: никаких облаков, только Termux и немного магии

Помните то чувство, когда вы впервые собрали компьютер из деталей и он загрузился? Примерно то же самое испытываешь, когда AI-модель запускается прямо на твоём телефоне. Никаких облачных провайдеров, никаких API-ключей, только ты, Termux и крошечная нейронка Gemma 4.

Автор эксперимента решил доказать, что для работы с AI не обязательно арендовать GPU-инстансы за сотни долларов. Он скачал модель Gemma 4 (всего пара гигабайт) и запустил её через Termux — эмулятор терминала для Android. Результат: модель работает, отвечает на вопросы и не требует интернета. Правда, скорость генерации напоминает печать на матричном принтере, но факт остаётся фактом.

Конечно, это не заменит ChatGPT в продакшене — если только ваш продакшен не работает на батарейке 4000 мАч. Но для прототипирования, офлайн-сценариев или просто чтобы пощупать технологии — вариант отличный. К тому же, никакой риск утечки данных через облако: всё остаётся на устройстве.

Комментарий студии METABYTE: Мы тоже любим запускать AI там, где его не ждут — например, на Raspberry Pi в офисе, чтобы он приносил кофе (шутка). Но если вам нужен надёжный AI-пайплайн, мы поможем настроить и облачное, и локальное решение. Хотя запустить нейросеть на холодильнике — это вызов, который мы принимаем.