Векторный поиск на объектном хранилище: теперь с MIT-лицензией и без боли

Разработчики из Opendata представили библиотеку с открытым исходным кодом, которая позволяет выполнять векторный поиск прямо на объектном хранилище. Да, вы не ослышались: теперь не нужно тянуть в проект тяжеловесную векторную базу данных — можно просто положить векторы в S3-совместимое хранилище и искать.

Как это работает и почему это круто

Библиотека использует грубую кластеризацию и Product Quantization, чтобы эффективно искать среди миллионов векторов. Всё это — под MIT-лицензией, так что можно смело использовать в коммерческих проектах без оглядки на юристов. Разработчики утверждают, что производительность сопоставима с такими монстрами, как FAISS, но при этом нет необходимости в дополнительной инфраструктуре.

Кому это пригодится

• Стартапам, которые хотят добавить семантический поиск, но не готовы платить за отдельную базу данных.
• Командам, которые уже используют объектное хранилище и хотят избежать ещё одной точки отказа.
• Всем, кто устал от того, что каждый новый сервис требует отдельного кластера и ночных деплоев.

Конечно, если у вас миллиарды векторов, возможно, специализированное решение всё ещё будет быстрее. Но для большинства задач — это отличный компромисс между простотой и производительностью.

Комментарий студии METABYTE: Мы тоже любим, когда можно обойтись без очередного «тяжёлого» сервиса. Если ваш проект требует векторного поиска, но бюджет ограничен — эта библиотека может стать тем самым IKEA-решением, которое соберётся без лишних деталей.