Căutare vectorială pe stocare obiect: acum cu licență MIT și fără durere

Dezvoltatorii de la Opendata au lansat o bibliotecă open-source care permite căutarea vectorială direct pe stocare obiect. Da, ați auzit bine: nu mai e nevoie să trageți în proiect o bază de date vectorială grea – puteți pune vectorii într-un storage compatibil S3 și căuta.

Cum funcționează și de ce e cool

Biblioteca folosește clustering grosier și Product Quantization pentru a căuta eficient printre milioane de vectori. Totul – sub licență MIT, deci poate fi folosit în proiecte comerciale fără griji. Dezvoltatorii susțin că performanța este comparabilă cu monștri precum FAISS, dar fără infrastructură suplimentară.

Cui îi este util

• Startup-urilor care vor să adauge căutare semantică, dar nu vor să plătească pentru o bază separată.
• Echipelor care deja folosesc stocare obiect și vor să evite un alt punct de defect.
• Celor care s-au săturat ca fiecare serviciu nou să necesite un cluster separat și deploy-uri nocturne.

Desigur, dacă aveți miliarde de vectori, o soluție specializată poate fi mai rapidă. Dar pentru majoritatea sarcinilor – este un compromis excelent între simplitate și performanță.

Comentariul studioului METABYTE: Și nouă ne place când putem evita încă un serviciu „greu”. Dacă proiectul vostru necesită căutare vectorială, dar bugetul e limitat – această bibliotecă poate fi soluția IKEA care se asamblează fără piese în plus.