Hive web-viewer

Web-viewer Hive предоставляет визуальный интерфейс работы с Hive.

Попасть на страницу Web-viewer Hive можно по ссылке Developer UI из вкладки Tablets в Embedded UI. Для доступа к странице необходимо быть аутентифицированным как пользователь, входящий в список monitoring_allowed_sids в конфигурации безопасности кластера.

Главная страница

Главная страница представляет информацию о распределении и потреблении ресурсов таблетками на каждом из узлов, представленную в виде таблицы.

Перед таблицей представлена краткая информация:

• Info:
  • Tenant — тенант, за который отвечает Hive. Для Hive конкрентой базы здесь указано имя этой базы, а для корневого Hive — имя корневого домена кластера (по умолчанию /Root).
  • Nodes — количество узлов, подключённых к Hive.
  • Tablets — процентное и количественное соотношение запущенных в данный момент таблеток к существующимм всего.
  • Boot Queue — количество таблеток, которые находятся в очереди на запуск.
  • Wait Queue — количество таблеток, которые не имеют возможности подняться, поскольку ни один из узлов не подходит для их запуска.
• Totals — суммарное потребление ресурсов таблетками (cnt, cpu, mem, net).
• Variance — среднеквадратическое отклонение потребления ресурсов (cnt, cpu, mem, net) между узлами.
• Triggers — значения показателей, которые используются для принятия решения об автобалансировке. Каждый сопровождается цветовым индикатором: зелёный означает, что значение находится на приемлемом уровне; жёлтый — что оно близко к порогу; красный — что значение превысило порог, и сейчас должна быть запущена автобалансировка.
  • Counter, CPU, Memory, Network — дисбаланс в потреблении соответствующего ресурса между узлами.
  • MaxUsage — максимальное потребление ресурса на одном узле.
  • Imbalance — дисбаланс в распределении по узлам таблеток одного объекта. Применяется только для таблеток без метрик.
• Статистика о числе запусков автобалансировки. Обнуляется при рестарте Hive. Время с последнего рестарта Hive можно увидеть на вкладке Tablets в Embedded UI,

После идет таблица, где каждая строка представляет из себя один из узлов под управлением Hive и имеет следующие столбцы:

• Node — номер узла.

• Name — fqdn узла и ic—port.

• DC — датацентр, в котором расположен узел.

• Domain — тенант узла.

• Uptime — время, прошедшее с начала работы узла.

• Unknown — количество таблеток в неопределенном состоянии.

• Starting — количество таблеток в процессе подъема.

• Running — количество работающих таблеток.

• Types — распределение таблеток по их типу. С помощью нажатия на конкретный тип можно запретить запуск таблеток данного типа на конкретном узле. Нажатием на тип в заголовке таблицы можно установить такой запрет на все узлы по умолчанию.

• Usage — общее потребление ресурсов узла.

• Resources :

  • cnt — фиктивный ресурс Counter.
  • cpu — потребление ядра таблетками.
  • mem — потребление ОЗУ таблетками.
  • net — потребление полосы таблетками.

• Active — включение/отключение узла для перевоза таблеток на данный узел.

• Freeze — запрет для таблеток, запущенных на этом узле, подниматься на других узлах.

• Kick — перевоз всех таблеток разом с узла.

• Drain — плавный перевоз всех таблеток с узла — с ограниченным in-flight в отличие от Kick.

Ниже таблицы представлены дополнительные страницы:

• Bad tablets — список таблеток, имеющих проблемы или ошибки.
• Heavy tablets — список из 1000 таблеток, потребляющих наибольшее количество ресурсов.
• Waiting tablets — список таблеток без возможности подняться.
• Resources — потребление ресурсов каждой таблеткой.
• Tenants — список тенантов с указанием их локальных Hive таблеток.
• Balancer — меню для ручного запуска автобалансировки.
• Operations log — лог ручных изменений конфигураций Hive через viewer.
• Nodes — список узлов.
• Storage — список пулов групп хранения.
• Groups — список групп хранения для каждой таблетки.
• Settings — страница конфигураций Hive.
• Reassign Groups — страница перераспределения групп хранения между таблетками.
• SubActors — список запущенных в данный момент вспомогательных акторов.

Также можно посмотреть, какие таблетки используют конкретную группу, и наоборот, какие группы используются в конкретной таблетке.

Reassign Groups

При добавлении в базу данных новых групп хранения существующие таблетки продолжают писать в старые группы. Для таких ситуаций в интерфейсе предусмотрена возможность запуска перераспределения таблеток по группам хранения. При нажатии на кнопку Reassign Groups появится окно с параметрами для балансировки:

• Storage pool — пул групп хранения для балансировки.
• Storage group — если предыдущий пункт не указан, можно указать отдельно только одну группу.
• Type — тип таблеток, для которых будет производиться балансировка.
• Channels — диапазон каналов, для которых будет производиться балансировка.
• Percent — процент от общего количества каналов таблеток, которые переедут в результате балансировки.
• Inflight — количество таблеток, одновременно переезжающих на другие группы.

После указания всех параметров, следует нажать сначала "Query", который покажет количество каналов, попавших под переезд, и разблокирует кнопку "Reassign".
При нажатии которой начнется перераспределение.

Balancer

При нажатии на кнопку Balancer появится окно со следующими элементами:

• Run Balancer — ручной запуск балансировки таблеток по узлам с заданным ограничением на число перемещений таблеток.
• Rebalance ALL tablets FROM SCRATCH — перезапуск сразу всех таблеток базы. Позволяет быстро получить равномерное распределение таблеток ценой кратковременной недоступности базы. Не рекомендуется к использованию в production-окружении.
• Latest tablet moves — последние 5 перемещённых таблеток.

Settings

На странице Settings представлен список параметров конфигурации Hive, которыми можно управлять через интерфейс. Для каждого параметра указано три значения: текущее значение, значение из конфигурации YDB и значение по умолчанию. Параметры, значения которых выставлены через интерфейс, выделены полужирным шрифтом. Выставленные через интерфейс значения имеют приоритет над значениями из конфигурации YDB. Внесение изменений в настройки через интерфейс не изменяет значения в конфигурации. С описанием параметров можно ознакомиться в описании конфигурации.

Также на этой странице представлена таблица типов таблеток и видов метрик, с помощью которой можно управлять тем, какие метрики учитываются для каких типов таблеток.