Федеративные запросы

Федеративные запросы — это возможность выполнять запросы к данным, хранящимся во внешних системах, без их предварительной загрузки (ETL) в YDB. Наиболее популярный сценарий — работа с данными в объектных хранилищах, совместимых с S3.

Как это работает

Вы можете создать во YDB внешнюю таблицу, которая ссылается на данные в S3. При выполнении запроса SELECT к такой таблице YDB инициирует параллельное чтение данных со всех вычислительных узлов. Каждый узел считывает и обрабатывает только ту часть данных, которая ему необходима.

• Поддерживаемые форматы: Parquet, CSV, JSON с различными алгоритмами сжатия.
• Оптимизация чтения: YDB использует механизмы оптимизации чтения данных из S3 (partition pruning) для Hive-размещения данных и для более сложных алгоритмов размещения.