QuestDB a făcut WINDOW JOIN paralel și vectorizat – acum chiar merită să aștepți

Echipa QuestDB a anunțat că faimosul lor WINDOW JOIN a devenit în sfârșit paralel și vectorizat. Sună a magie, dar de fapt e rezultatul nopților lungi cu instrucțiuni SIMD și multithreading.

Înainte, WINDOW JOIN funcționa ca un televizor vechi: secvențial și cu perturbări. Acum motorul împarte datele în bucăți, le procesează în paralel, iar vectorizarea permite procesarea mai multor rânduri dintr-o dată. Performanța a crescut de până la 10 ori la unele interogări.

Dezvoltatorii QuestDB susțin că acest lucru este util în special pentru serii temporale și analitică în timp real. Scenariu tipic: calculați o medie mobilă sau comparați indicatori în ferestre adiacente. Înainte era dureros, acum e doar incomod.

Apropo, au folosit SIMD (Single Instruction, Multiple Data) – adică procesorul execută o singură instrucțiune pe o mulțime de date deodată. Ca și cum ați curăța cartofi nu cu un cuțit, ci cu o mașină industrială de tocat. Doar că pentru numere.

Comentariul studioului METABYTE: Dacă analitica voastră încă merge mai încet decât încărcarea Windows 95, poate e timpul să aruncați o privire la bazele de date moderne. Sau măcar să verificați dacă nu ați uitat să puneți un index. Noi vă ajutăm cu optimizarea, fără șamanisme cu tobă.