Запускаем локальные AI-модели на M4 с 24 ГБ: теперь и на Mac Mini

Помните времена, когда локальный запуск нейросетей требовал серверной стойки и отдельного кондиционера? Теперь достаточно Mac Mini M4 с 24 ГБ памяти — и вы можете гонять модели прямо на столе, попивая кофе.

Энтузиасты уже протестировали новинку: 24 ГБ unified memory позволяют запускать модели вроде Llama 3 8B в 4-битной квантизации с приличной скоростью — около 30 токенов в секунду. Это как Wi-Fi у бабушки: не фонтан, но для большинства задач хватает. А если попробовать что-то полегче, вроде Mistral 7B, то можно выжать и все 50 токенов.

Конечно, не обошлось без компромиссов. Если вы решите запустить 70-параметровую модель, 24 ГБ начнут задыхаться, как CI-пайплайн в пятницу вечером. Но для экспериментов, прототипирования и даже продакшна с небольшими нагрузками — отличный вариант.

Разработчики уже строят планы: локальный AI-ассистент, который не шлёт данные в облако, генерация кода без задержек, и никаких больше счетов за API. Звучит как мечта, правда? Только не забудьте про охлаждение — M4 греется, но не так, как ваш старый ноутбук на Intel.

Комментарий студии METABYTE: Если вы думали, что AI — это только про облачные API и бесконечные подписки, M4 Mac Mini доказывает обратное. Локальные модели становятся доступнее, и мы уже присматриваемся к ним для офлайн-решений в наших проектах. Главное — не забыть докупить оперативки.