--- metadata: - name: generator content: Diplodoc Platform v5.52.0 alternate: - https://ydb.tech/docs/en/devops/deployment-options/manual/initial-deployment/deployment-preparation.md - https://ydb.tech/docs/ru/devops/deployment-options/manual/initial-deployment/deployment-preparation.md - href: ru/devops/deployment-options/manual/initial-deployment/deployment-preparation.md type: text/markdown title: Markdown version - href: ../../../../llms.txt type: text/markdown title: llms.txt sourcePath: ru/core/devops/deployment-options/manual/initial-deployment/deployment-preparation.md --- > **Documentation Index:** Fetch the complete configuration index at https://ydb.tech/docs/ru/llms.txt # Подготовка к развертыванию ## Перед началом работы {#before-start} ### Требования {#requirements} Ознакомьтесь с [системными требованиями](https://ydb.tech/docs/ru/devops/concepts/system-requirements.md) и [топологией кластера](https://ydb.tech/docs/ru/concepts/topology.md). У вас должен быть SSH доступ на все сервера. Это необходимо для установки артефактов и запуска исполняемого файла YDB. Сетевая конфигурация должна разрешать TCP соединения по следующим портам (по умолчанию, могут быть изменены настройками): * 22: сервис SSH; * 2135, 2136: GRPC для клиент-кластерного взаимодействия; * 19001, 19002: Interconnect для внутрикластерного взаимодействия узлов; * 8765, 8766: HTTP интерфейс YDB Embedded UI. При размещении нескольких динамических узлов на одном сервере потребуются отдельные порты для gRPC, Interconnect и HTTP интерфейса каждого динамического узла в рамках сервера. Убедитесь в том, что системные часы на всех серверах в составе кластера синхронизированы с помощью инструментов `ntpd` или `chrony`. Желательно использовать единый источник времени для всех серверов кластера, чтобы обеспечить одинаковую обработку секунд координации (leap seconds). Если применяемый на серверах кластера тип Linux использует `syslogd` для логирования, необходимо настроить ротацию файлов лога с использованием инструмента `logrotate` или его аналогов. Сервисы YDB могут генерировать значительный объем системных логов, в особенности при повышении уровня логирования для диагностических целей, поэтому важно включить ротацию файлов системного лога для исключения ситуаций переполнения файловой системы `/var`. Выберите серверы и диски, которые будут использоваться для хранения данных: * Используйте схему отказоустойчивости `block-4-2` для развертывания кластера в одной зоне доступности (AZ), задействуя не менее 8 серверов. Данная схема позволяет переживать отказ 2 серверов. * Используйте схему отказоустойчивости `mirror-3-dc` для развертывания кластера в трех зонах доступности (AZ), задействуя не менее 9 серверов. Данная схема позволяет переживать отказ 1 AZ и 1 сервера в другой AZ. Количество задействованных серверов в каждой AZ должно быть одинаковым. {% note info %} Запускайте каждый статический узел (узел хранения данных) на отдельном сервере. Возможно совмещение статических и динамических узлов на одном сервере, а также размещение на одном сервере нескольких динамических узлов при наличии достаточных вычислительных ресурсов. {% endnote %} Подробнее о требованиях к оборудованию описано в разделе [Системные требования и рекомендации для YDB](https://ydb.tech/docs/ru/devops/concepts/system-requirements.md). ### Подготовка ключей и сертификатов TLS {#tls-certificates} Защита трафика и проверка подлинности серверных узлов YDB осуществляется с использованием протокола TLS. Перед установкой кластера необходимо спланировать состав серверов, определиться со схемой именования узлов и конкретными именами, и подготовить ключи и сертификаты TLS. Вы можете использовать существующие или сгенерировать новые сертификаты. Следующие файлы ключей и сертификатов TLS должны быть подготовлены в формате PEM: * `ca.crt` - сертификат центра регистрации (Certification Authority, CA), которым подписаны остальные сертификаты TLS (одинаковые файлы на всех узлах кластера); * `node.key` - секретные ключи TLS для каждого из узлов кластера (свой ключ на каждый сервер кластера); * `node.crt` - сертификаты TLS для каждого из узлов кластера (соответствующий ключу сертификат); * `web.pem` - конкатенация секретного ключа узла, сертификата узла и сертификата центра регистрации для работы HTTP интерфейса мониторинга (свой файл на каждый сервер кластера). Необходимые параметры формирования сертификатов определяются политикой организации. Обычно сертификаты и ключи для YDB формируются со следующими параметрами: * ключи RSA длиною 2048 или 4096 бит; * алгоритм подписи сертификатов SHA-256 с шифрованием RSA; * срок действия сертификатов узлов не менее 1 года; * срок действия сертификата центра регистрации не менее 3 лет. Необходимо, чтобы сертификат центра регистрации был помечен соответствующим образом: должен быть установлен признак CA, а также включены виды использования "Digital Signature, Non Repudiation, Key Encipherment, Certificate Sign". Для сертификатов узлов важно соответствие фактического имени хоста (или имён хостов) значениям, указанным в поле "Subject Alternative Name". Для сертификатов должны быть включены виды использования "Digital Signature, Key Encipherment" и расширенные виды использования "TLS Web Server Authentication, TLS Web Client Authentication". Необходимо, чтобы сертификаты узлов поддерживали как серверную, так и клиентскую аутентификацию (опция `extendedKeyUsage = serverAuth,clientAuth` в настройках OpenSSL). Для пакетной генерации или обновления сертификатов кластера YDB с помощью программного обеспечения OpenSSL можно воспользоваться [примером скрипта](https://github.com/ydb-platform/ydb/blob/main/ydb/deploy/tls_cert_gen/), размещённым в репозитории YDB на GitHub. Скрипт позволяет автоматически сформировать необходимые файлы ключей и сертификатов для всего набора узлов кластера за одну операцию, облегчая подготовку к установке. ## Создайте системного пользователя и группу, от имени которых будет работать YDB {#create-user} На каждом сервере, где будет запущен YDB, выполните: ```bash sudo groupadd ydb sudo useradd -m -g ydb ydb ``` Для того, чтобы сервис YDB имел доступ к блочным дискам для работы, необходимо добавить пользователя, под которым будут запущены процессы YDB, в группу `disk`: ```bash sudo usermod -aG disk ydb ``` ## Настройте лимиты файловых дескрипторов {#file-descriptors} Для корректной работы YDB, особенно при использовании [спиллинга](https://ydb.tech/docs/ru/concepts/query_execution/spilling.md) в многоузловых кластерах, рекомендуется увеличить лимит на количество одновременно открытых файловых дескрипторов. Для изменения лимита файловых дескрипторов добавьте следующие строки в файл `/etc/security/limits.conf`: ```bash ydb soft nofile 10000 ydb hard nofile 10000 ``` Где `ydb` — имя пользователя, под которым запускается `ydbd`. После изменения файла необходимо перезагрузить систему или заново залогиниться для применения новых лимитов. {% note info %} Для получения дополнительной информации о конфигурации спиллинга и его связи с файловыми дескрипторами см. раздел [«Конфигурация спиллинга»](https://ydb.tech/docs/ru/reference/configuration/table_service_config.md#file-system-requirements). {% endnote %} ## Установите программное обеспечение YDB на каждом сервере {#install-binaries} ### Скачайте и распакуйте архив с исполняемым файлом `ydbd` и необходимыми для работы YDB библиотеками {% list tabs %} - OSS ```bash mkdir ydbd-stable-linux-amd64 curl -L | tar -xz --strip-component=1 -C ydbd-stable-linux-amd64 ``` - Enterprise ```bash mkdir ydbd-stable-linux-amd64 curl -L | tar -xJ --strip-component=1 -C ydbd-stable-linux-amd64 ``` {% endlist %} где `binaries_url` — ссылка на архив нужной вам версии со страницы [загрузок](https://ydb.tech/docs/ru/downloads/index.md). В командах выше: `-xz` — для архива `.tar.gz` (OSS), `-xJ` — для `.tar.xz` (Enterprise). ### Создайте на сервере директорию ```bash sudo mkdir -p /opt/ydb ``` ### Скопируйте исполняемый файл и библиотеки в соответствующие директории ```bash sudo cp -iR ydbd-stable-linux-amd64/bin /opt/ydb/ sudo cp -iR ydbd-stable-linux-amd64/lib /opt/ydb/ ``` ### Установите владельца файлов и каталогов ```bash sudo chown -R root:bin /opt/ydb ``` ## Подготовьте и очистите диски на каждом сервере {#prepare-disks} Для эффективной работы YDB рекомендуется использовать физические (не виртуальные) диски объемом более 800 ГБ как блочные устройства. Минимальный объем диска должен быть не менее 80 ГБ, при меньшем объеме узел YDB не сможет использовать устройство. Корректная и бесперебойная работа с дисками минимального объема не гарантируется. Использовать такие диски рекомендуется исключительно в ознакомительных целях. {% note warning %} Конфигурации с дисками объемом меньше 800 ГБ или с любыми видами виртуализации системы хранения нельзя использовать для сервисов, находящихся в промышленной эксплуатации, а также для тестирования производительности системы. Мы не рекомендуем использовать для хранения данных YDB диски, которые используются другими процессами (в том числе операционной системой). {% endnote %} Получить список блочных устройств на сервере можно командой `lsblk`. Пример вывода: ```txt NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS loop0 7:0 0 63.3M 1 loop /snap/core20/1822 ... vda 252:0 0 40G 0 disk ├─vda1 252:1 0 1M 0 part └─vda2 252:2 0 40G 0 part / vdb 252:16 0 186G 0 disk └─vdb1 252:17 0 186G 0 part ``` Названия блочных устройств зависят от настроек операционной системы, заданных базовым образом или настроенных вручную. Обычно имена устройств состоят из трех частей: * фиксированный префикс, указывающий на тип устройства — например, `vd` в `vdb` (virtio), `sd` в `sda` (SATA/SCSI) или `nvme` в `nvme0n1` (NVMe); * идентификатор устройства — буква или число (`b` в `vdb`, `a` в `sda`, `0n1` в `nvme0n1`); * номер раздела — обычно число (`1` в `vdb1`). В выводе `lsblk` выше системный диск — `vda`, диск для данных YDB — `vdb`. В командах ниже используется `/dev/vdb`; на вашем сервере подставьте путь к целому диску без номера раздела (например, `/dev/sda` или `/dev/nvme0n1`). 1. Создайте разделы на выбранных дисках: {% note alert %} Следующая операция удалит все разделы на указанном диске! Убедитесь, что вы указали диск, на котором нет других данных! {% endnote %} ```bash DISK=/dev/vdb sudo parted ${DISK} mklabel gpt -s sudo parted -a optimal ${DISK} mkpart primary 0% 100% sudo parted ${DISK} name 1 ydb_disk_ssd_01 sudo partx --u ${DISK} ``` Выполните команду `ls -l /dev/disk/by-partlabel/`, чтобы убедиться что в системе появился диск с меткой `/dev/disk/by-partlabel/ydb_disk_ssd_01`. Если вы планируете использовать более одного диска на каждом сервере, укажите для каждого свою уникальную метку вместо `ydb_disk_ssd_01`. Метки дисков должны быть уникальны в рамках каждого сервера, и используются в конфигурационных файлах, как показано в последующих инструкциях. Для упрощения последующей настройки удобно использовать одинаковые метки дисков на серверах кластера, имеющих идентичную конфигурацию дисков. 2. Очистите диск встроенной в исполняемый файл `ydbd` командой: {% note warning %} После выполнения команды данные на диске сотрутся. {% endnote %} ```bash sudo LD_LIBRARY_PATH=/opt/ydb/lib /opt/ydb/bin/ydbd admin bs disk obliterate /dev/disk/by-partlabel/ydb_disk_ssd_01 ``` Проделайте данную операцию для каждого диска, который будет использоваться для хранения данных YDB. ### Пример полной команды для разметки 3-х дисков ```bash DISK=/dev/vdb sudo parted ${DISK} mklabel gpt -s sudo parted -a optimal ${DISK} mkpart primary 0% 100% sudo parted ${DISK} name 1 ydb_disk_ssd_01 sudo partx --u ${DISK} sleep 5 sudo LD_LIBRARY_PATH=/opt/ydb/lib /opt/ydb/bin/ydbd admin bs disk obliterate /dev/disk/by-partlabel/ydb_disk_ssd_01 DISK=/dev/vdc sudo parted ${DISK} mklabel gpt -s sudo parted -a optimal ${DISK} mkpart primary 0% 100% sudo parted ${DISK} name 1 ydb_disk_ssd_02 sudo partx --u ${DISK} sleep 5 sudo LD_LIBRARY_PATH=/opt/ydb/lib /opt/ydb/bin/ydbd admin bs disk obliterate /dev/disk/by-partlabel/ydb_disk_ssd_02 DISK=/dev/vdd sudo parted ${DISK} mklabel gpt -s sudo parted -a optimal ${DISK} mkpart primary 0% 100% sudo parted ${DISK} name 1 ydb_disk_ssd_03 sudo partx --u ${DISK} sleep 5 sudo LD_LIBRARY_PATH=/opt/ydb/lib /opt/ydb/bin/ydbd admin bs disk obliterate /dev/disk/by-partlabel/ydb_disk_ssd_03 ``` ### Проверьте подготовку дисков Для проверки корректной разметки дисков выполните команду на каждом сервере кластера: ```bash ls -al /dev/disk/by-partlabel/ ``` В выводе команды должны быть созданные и размеченные вами диски ```bash lrwxrwxrwx 1 root root 10 Nov 26 12:54 ydb_disk_ssd_01 -> ../../vdb1 lrwxrwxrwx 1 root root 10 Nov 26 12:54 ydb_disk_ssd_02 -> ../../vdc1 lrwxrwxrwx 1 root root 10 Nov 26 12:54 ydb_disk_ssd_03 -> ../../vdd1 ``` После выполнения подготовительных мероприятий можно переходить к развёртыванию системы. Выберите инструкцию в соответствии с вашей конфигурацией: * [Развёртывание кластера с использованием конфигурации V1](https://ydb.tech/docs/ru/devops/deployment-options/manual/initial-deployment/deployment-configuration-v1.md) * [Развёртывание кластера с использованием конфигурации V2](https://ydb.tech/docs/ru/devops/deployment-options/manual/initial-deployment/deployment-configuration-v2.md)