QuestDB ускорил WINDOW JOIN: параллельно и векторизовано, но вы всё равно будете ждать индексы
QuestDB сделал WINDOW JOIN быстрее за счёт параллелизации и векторизации — теперь базы данных летают, а DBA-шники могут выдохнуть.
Команда QuestDB объявила, что их любимый WINDOW JOIN наконец-то стал параллельным и векторизованным. Звучит как магия, но на деле — результат долгих ночей с SIMD-инструкциями и мультитредингом.
Раньше WINDOW JOIN работал как бабушкин телевизор: последовательно и с помехами. Теперь же движок разбивает данные на чанки, обрабатывает их параллельно, а векторизация позволяет за раз жевать больше строк. Прирост производительности — до 10 раз на некоторых запросах.
Разработчики QuestDB утверждают, что это особенно полезно для временных рядов и аналитики в реальном времени. Типичный сценарий: вы считаете скользящее среднее или сравниваете показатели соседних окон. Раньше это было больно, теперь — просто неудобно.
Кстати, они задействовали SIMD (Single Instruction, Multiple Data) — это когда процессор делает одну команду над кучей данных сразу. Как если бы вы чистили картошку не ножом, а промышленной овощерезкой. Только для чисел.
Комментарий студии METABYTE: Если ваша аналитика до сих пор работает медленнее, чем загрузка Windows 95, возможно, пора взглянуть на современные базы данных. Или хотя бы проверить, не забыли ли вы поставить индекс. Мы поможем с оптимизацией, без шаманства с бубном.