DeepSeek 4 Flash: локальный инференс на Metal — теперь без облаков и с запахом яблок
antirez выпустил ds4 — движок для запуска DeepSeek 4 Flash локально на Mac через Metal, чтобы нейросети грели не сервера, а твой MacBook.
Сальваторе Санфилиппо, он же antirez (да, тот самый, что подарил миру Redis), снова удивил. На этот раз он выкатил ds4 — локальный движок для инференса DeepSeek 4 Flash, который использует Metal Performance Shaders. Другими словами, теперь можно запускать языковую модель прямо на Mac, не отправляя данные в облако и не разоряясь на GPU-аренду.
Выглядит это как магия: берёшь свой MacBook, качаешь ds4, и он запускает модельку локально, используя всю мощь Apple Silicon и Metal. Никаких Python-скриптов, никаких сложных зависимостей — просто бинарник, который работает. Как тебе такое, Илон Маск?
Конечно, это не замена ChatGPT, но для экспериментов, прототипирования и тех случаев, когда хочется, чтобы нейросеть работала без интернета (например, в бункере или на даче с плохим Wi-Fi), — самое то. Пока что поддерживается только Mac, но, возможно, это начало новой эры локального AI.
Комментарий студии METABYTE: Мы тоже любим, когда нейросети работают локально — меньше головной боли с API-ключами и счетами. Если вам нужно встроить AI в ваш продукт, но без облачных рисков, мы поможем сделать так, чтобы всё шуршало на Metal, а не на нервах.