Строим мини-Палантир на Gemma 4: 128K контекст — и граф наконец-то работает как граф-RAG

Помните сцену из «Властелина колец», где Саурон смотрит в Палантир и видит всё? Автор этого проекта решил, что нам, разработчикам, тоже нужен свой магический шар, только на нейросетях. Встречайте — Mini Palantir на базе Gemma 4 с 128K контекстом.

Что за зверь и с чем его едят

Обычный RAG (Retrieval-Augmented Generation) — это как искать книгу в библиотеке по названию: достал кусок текста, скормил модели, получил ответ. Но если данные — это граф (например, связи между людьми или документами), то плоский поиск режет суть. Graph-RAG пытается это исправить, но упирается в ограничение контекста: чтобы обойти весь граф, нужно много токенов.

Gemma 4 с окном в 128K токенов решает эту проблему. Теперь можно загрузить в модель не просто кусок графа, а добрую его часть. Автор проекта соединил Gemma 4 с графовой базой данных (похоже на Neo4j, но не уточняется) и построил систему, которая отвечает на вопросы, путешествуя по узлам и связям. Это как если бы ваша библиотека сама рассказывала, какие книги связаны между собой, и почему «Война и мир» перекликается с «Игрой престолов».

Почему это не очередной хайп

Да, мы все устали от слов «AI», «RAG» и «графовые нейросети». Но 128K контекст — это не шутки. Раньше, чтобы модель поняла структуру графа, приходилось дробить его на куски, теряя связи. Теперь можно скормить модельке целый подграф и сказать: «А ну-ка, найди все пути от узла А до узла Б через три шага». И она сделает это без истерики по поводу длины контекста.

Конечно, до полноценного Палантира ещё далеко: автор признаёт, что на больших графах (миллионы узлов) 128K всё равно мало. Но для стартапов и средних проектов — это прорыв. Представьте: чат-бот для техподдержки, который не просто ищет по базе знаний, а прослеживает цепочку инцидентов; или рекомендательная система, которая учитывает не только ваши лайки, но и связи между товарами.

Что в итоге

Mini Palantir — это демонстрация возможностей, а не production-ready решение. Но она чётко показывает: с приходом больших контекстных окон графовый RAG перестаёт быть теоретической концепцией. Теперь это инструмент, который можно реально использовать.

Комментарий студии METABYTE: Мы тоже любим эксперименты с графами, но наш «Палантир» обычно ограничивается мониторингом деплоя в Grafana. А если серьёзно, 128K контекст открывает дорогу для связных AI-ассистентов — и мы уже присматриваемся, как прикрутить это к нашим проектам без магии Саурона.