Unsloth и NVIDIA ускоряют обучение LLM: теперь ещё быстрее

Обучение больших языковых моделей (LLM) — процесс, который может занять недели и потребовать целую ферму GPU. Но, похоже, скоро всё изменится. Unsloth, известный своей библиотекой для эффективного fine-tuning, объявил о сотрудничестве с NVIDIA.

Что нового?

В рамках коллаборации были оптимизированы ключевые операции, такие как быстрые RMS-нормализации и ядра RoPE, что позволило увеличить скорость обучения на 2–4x по сравнению с предыдущими версиями. Теперь Unsloth поддерживает не только NVIDIA H100, но и старые карты (RTX 3090, 4090, A100), а также AMD MI250.

Основные улучшения:

• Ускорение в 2–4 раза на H100.
• Совместимость с различными архитектурами GPU.
• Бесплатный доступ к новым ядрам.

Для разработчиков это означает, что можно быстрее экспериментировать с моделями и сократить затраты на облачные вычисления. А для стартапов — возможность запустить свой LLM без покупки дорогого оборудования.

Комментарий студии METABYTE: Ускорение обучения моделей — это то, что нужно каждому, кто работает с AI. Если вы хотите внедрить LLM в свой продукт, но боитесь затрат, такие оптимизации делают технологию доступнее. Мы следим за трендами и готовы помочь вам с интеграцией.