Lakebase разогнал Postgres: в 5 раз быстрее запись без Full Page Writes

Когда постгрес начинает тормозить на записи, обычно первым делом смотрят на индексы, потом на диски, а потом — в потолок с мыслью «может, пора переезжать на что-то более NoSQL?». Но команда Databricks решила, что сдаваться рано, и придумала Lakebase — архитектуру, которая выжимает из Postgres ещё соков.

Суть фокуса: отключить Full Page Writes (FPW). Для тех, кто не в теме: FPW — это такая страховка на случай краша, когда Postgres записывает целую страницу данных вместо изменённых кусочков. Безопасно, но медленно. Lakebase переносит эту ответственность на уровень хранения (своё озеро данных), и Postgres наконец-то может дышать полной грудью. В тестах получили 5-кратный прирост производительности на записи — как если бы вы сняли с машины зимнюю резину и обнаружили, что это на самом деле болид Formula 1.

Конечно, есть нюанс: такая оптимизация подходит не всем. Если ваш сценарий — банковские транзакции, где каждый байт должен быть застрахован от сбоя, лучше не экспериментировать. Но для аналитики, логов или IoT — почему бы и нет? Особенно если у вас уже есть Data Lake, и вы не боитесь чуть больше доверять хранению.

Что это значит для разработчика?

• Если вы пишете под Postgres и страдаете от медленных INSERT — присмотритесь к Lakebase.
• Не отключайте FPW на голом Postgres без внешнего хранилища — рискуете потерять данные.
• Архитектура Lakebase — очередное напоминание, что иногда узкое место не в коде, а в настройках «по умолчанию».

Комментарий METABYTE: Мы, конечно, не предлагаем вам сломя голову отключать все защиты, но подход «перенеси ответственность на уровень хранения» нам близок. Хотите так же оптимизировать свои базы без боли? Звоните, у нас есть пара идей и лопата, чтобы копнуть глубже.