Импорт данных из PostgreSQL

Данные из PostgreSQL в YDB можно импортировать различными способами:

• С помощью pg-dump.

• С помощью импорта данных из файлов.

• С помощью утилиты ydb-importer.

pg-dump

Данные из PostgreSQL в YDB можно перенести c помощью утилит pg_dump, psql и YDB CLI. Утилиты pg_dump и psql устанавливаются вместе с PostgreSQL, YDB CLI — консольный клиент YDB, который устанавливается отдельно.

Для этого нужно:

1. Сделать дамп данных через pg_dump со следующими параметрами:

   • --inserts — для добавления данных через команду INSERT, вместо использования протокола COPY.
   • --column-inserts — для добавления данных через команду INSERT с именами колонок.
   • --rows-per-insert=1000 — для вставки данных пачками и ускорения процесса.
   • --encoding=utf_8 — YDB поддерживает строковые данные только в UTF-8.

2. Привести дамп к виду, который поддерживается YDB командой ydb tools pg-convert YDB CLI.

3. Результат загрузить в YDB в режиме postgres-совместимости.

Команда pg-convert

Команда ydb tools pg-convert считывает из файла или stdin'а дамп, полученный утилитой pg_dump, выполняет преобразования и выводит в stdout дамп, который можно отправить в PostgreSQL-совместимую прослойку YDB.

ydb tools pg-convert выполняет следующие преобразования:

• Перенос создания первичного ключа в тело команды CREATE TABLE.

• Вырезание схемы public из имен таблиц.

• Удаление секции WITH (...) в CREATE TABLE

• Комментирование неподдерживаемых конструкций (опционально):

  • SELECT pg_catalog.set_config.*
  • ALTER TABLE

Если CLI не сможет найти первичный ключ таблицы, он автоматически создаст BIGSERIAL колонку __ydb_stub_id в качестве первичного ключа.

Общий вид команды:

ydb [global options...] tools pg-convert [options...]

• global options — глобальные параметры.
• options — параметры подкоманды.

Параметры подкоманды

Пример импорта дампа в YDB

В качестве примера будут загружены данные, сгенерированные pgbench.

1. Поднять докер-контейнеры с PostgreSQL и YDB:

   docker run --name postgres_container \
       -e POSTGRES_USER=pgroot -e POSTGRES_PASSWORD=1234 \
       -e POSTGRES_DB=local \
       -p 5433:5433 -d postgres:14 -c 'port=5433'
   docker run --name ydb-postgres -d --pull always -p 5432:5432 -p 8765:8765 \
       -e POSTGRES_USER=ydbroot -e POSTGRES_PASSWORD=4321 \
       -e YDB_FEATURE_FLAGS=enable_temp_tables,enable_table_pg_types \
       -e YDB_USE_IN_MEMORY_PDISKS=true \
       ghcr.io/ydb-platform/local-ydb:latest
   

   Информация по поднимаемым docker-контейнерам:

   База данных	PostgreSQL	YDB
   Имя контейнера	postgres_container	ydb-postgres
   Адрес	postgres://pgroot:1234@localhost:5433/local	postgresql://ydbroot:4321@localhost:5432/local
   Порт	5433	5432
   Имя пользователя	pgroot	ydbroot
   Пароль	1234	4321

2. Сгенерировать данные через pgbench:

   docker exec postgres_container pgbench postgres://pgroot:1234@localhost:5433/local -i
   

3. Сделать дамп базы через pg_dump:

   docker exec postgres_container pg_dump postgres://pgroot:1234@localhost:5433/local --inserts \
       --column-inserts --encoding=utf_8 --rows-per-insert=1000 > dump.sql
   

4. Загрузить дамп базы в YDB:

   ydb tools pg-convert --ignore-unsupported -i dump.sql | psql postgresql://ydbroot:4321@localhost:5432/local
   

   Эта команда использует YDB CLI для преобразования файла dump.sql в формат, поддерживаемый YDB в режиме совместимости с PostgreSQL. Затем преобразованный файл перенаправляется в утилиту psql для загрузки данных в YDB по протоколу PostgreSQL.