Работа с базами данных YDB

YDB может выступать в качестве внешнего источника данных для другой базы YDB. В данном разделе рассматривается организация совместной работы двух независимых баз данных YDB в режиме обработки федеративных запросов.

Для подключения к внешней базе YDB со стороны другой базы YDB, выступающей в роли движка обработки федеративных запросов, на последней требуется выполнить следующие шаги:

1. Подготовить аутентификационные данные для доступа к удалённой базе YDB. В настоящее время в федеративных запросах к YDB доступен метод аутентификации по логину и паролю (остальные методы не поддерживаются). Пароль к внешней базе сохраняется в виде секрета:

    CREATE OBJECT ydb_datasource_user_password (TYPE SECRET) WITH (value = "<password>");
   

2. Создать внешний источник данных, описывающий стороннюю базу YDB. Параметр LOCATION содержит сетевой адрес экземпляра YDB, к которому осуществляется сетевое подключение. В DATABASE_NAME указывается имя базы данных (например, local). Для аутентификации во внешнюю базу используются значения параметров LOGIN и PASSWORD_SECRET_NAME. Включить шифрование соединений к внешней базе данных можно с помощью параметра USE_TLS="TRUE". Если шифрование включено, то в поле <port> параметра LOCATION необходимо указать порт gRPCs внешней YDB, в противном случае - порт gRPC.

   CREATE EXTERNAL DATA SOURCE ydb_datasource WITH (
       SOURCE_TYPE="Ydb",
       LOCATION="<host>:<port>",
       DATABASE_NAME="<database>",
       AUTH_METHOD="BASIC",
       LOGIN="user",
       PASSWORD_SECRET_NAME="ydb_datasource_user_password",
       USE_TLS="TRUE"
   );
   

3. Развернуть коннектор и настроить динамические узлы YDB на взаимодействие с ним. Также необходимо обеспечить сетевой доступ с динамических узлов YDB к внешнему источнику данных (по адресу, указанному в параметре LOCATION запроса CREATE EXTERNAL DATA SOURCE). В случае, если на предыдущем шаге было включено шифрование сетевых соединений к внешнему источнику, коннектор будет использовать системные корневые сертификаты (более подробно о настройке TLS можно узнать в инструкции по разворачиванию коннектора).

4. Выполнить запрос к внешнему источнику данных.

Синтаксис запросов

Для извлечения данных из таблиц внешней базы YDB используется следующая форма SQL-запроса:

SELECT * FROM ydb_datasource.`<table_name>`

где:

• ydb_datasource - идентификатор внешнего источника данных;
• <table_name> - полное имя таблицы внутри иерархии каталогов в базе данных YDB, например, table, dir1/table1 или dir1/dir2/table3.

В случае, если таблица находится на верхнем уровне иерархии (не принадлежит ни одному из каталогов), допускается не заключать имя таблицы в обратные апострофы "`":

SELECT * FROM ydb_datasource.<table_name>

Ограничения

При работе с внешними источниками данных YDB существует ряд ограничений:

1. Внешние источники доступны только для чтения данных через запросы SELECT. Запросы, модифицирующие таблицы во внешних источниках, движком обработки федеративных запросов в настоящее время не поддерживаются.

2. Система обработки федеративных запросов YDB умеет передавать исполнение некоторых частей запроса системе, выступающей в качестве источника данных. Фрагменты запроса передаются сквозь YDB непосредственно во внешнюю систему и обрабатываются внутри неё. С помощью этой оптимизации, которая носит название «пушдауна предикатов» (predicate pushdown), удаётся значительно снизить объём данных, передаваемых от источника к движку обработки федеративных запросов. Благодаря этому снижается нагрузка на сеть и экономятся вычислительные ресурсы YDB.

   Частный случай пушдауна предикатов, при котором выполняется передача фильтрующих выражений, указанных после ключевого слова WHERE, называется «пушдауном фильтров» (filter pushdown). Пушдаун фильтров возможен при использовании:

   Описание	Пример
   Фильтров вида IS NULL/IS NOT NULL	WHERE column1 IS NULL или WHERE column1 IS NOT NULL
   Логических условий OR, NOT, AND.	WHERE column IS NULL OR column2 is NOT NULL.
   Условий сравнения =, <>, <, <=, >, >= c другими колонками или константами.	WHERE column3 > column4 OR column5 <= 10.

   Поддерживаемые типы данных для пушдауна фильтров:

   Тип данных YDB
   Bool
   Int8
   Uint8
   Int16
   Uint16
   Int32
   Uint32
   Int64
   Uint64
   Float
   Double
   String
   Utf8

Поддерживаемые типы данных

При работе с таблицами, размещёнными во внешней базе YDB, пользователям доступен ограниченный набор типов данных. Все остальные типы, за исключением перечисленных ниже, не поддерживаются. Преобразование типов не производится, то есть колонки таблицы из внешней базы YDB сохраняют свой тип после вычитывания этой таблицы базой YDB, обрабатывающей федеративный запрос.