Gemini API File Search devine multimodal: caută în imagini, audio și video

Google a decis că căutarea text în fișiere e secolul trecut și a actualizat API-ul Gemini: File Search este acum multimodal. Asta înseamnă că poți căuta nu doar text, ci și imagini, audio și video. Imaginează-ți: ai încărcat o grămadă de screenshot-uri cu bug-uri în JIRA, iar Gemini găsește exact ce ai nevoie după descriere — fără să răsfoiești manual 47 de coloane.

Cum funcționează? Încărci fișiere (imagini, audio, video) prin API, iar Gemini indexează conținutul lor, inclusiv trăsături vizuale și audio. Apoi poți întreba ceva de genul „Găsește screenshot-ul cu eroarea 500” — și modelul returnează fișierele relevante. Nu e doar OCR, ci o înțelegere completă a conținutului: recunoașterea obiectelor în imagini sau a frazelor în înregistrări audio.

Pentru developeri, se deschid o mulțime de scenarii: automatizarea căutării în bibliotecile media, analiza înregistrărilor de ședințe (nu mai trebuie să asculți ore întregi de meeting-uri pentru a găsi acea soluție), sau crearea de sisteme RAG care lucrează cu date nestructurate. Desigur, nu e totul roz: prețul pe tokeni poate fi piperat dacă decizi să indexezi video 4K.

Comentariul studioului METABYTE: Căutarea multimodală e grozavă, dar nu uita de optimizare: să încarci gigaocteți de video „pentru orice eventualitate” e o rețetă sigură pentru o factură API care depășește bugetul unui startup. Noi ajutăm la configurarea unor astfel de sisteme, astfel încât să caute rapid și să nu te ruineze.