Системные представления базы данных

Для получения служебной информации о состоянии базы данных можно обращаться к системным представлениям (system views). Они доступны из корня дерева базы данных и используют системный префикс пути .sys.

Партиции

Следующее системное представление хранит детализированную информацию об партициях таблиц базы данных:

• partition_stats — содержит информацию о моментальных метриках и кумулятивных счетчиках операций. К первым относятся, например, данные о нагрузке на CPU или количестве выполняемых транзакций. Ко вторым — общее количество прочитанных строк.

Предназначено, например, для выявления неравномерно нагруженных партиций или отображения размера данных в них.

Моментальные метрики (NodeId, AccessTime, CPUCores и т.д.) содержат мгновенные значения.
Кумулятивные (не моментальные) метрики (RowReads, RowUpdates, LocksAcquired и т.д.) хранят накопленные значения с момента последнего старта таблетки (StartTime), обслуживающей партицию.

Структура представления:

Примеры запросов

Топ-5 самых загруженных партиций среди всех таблиц базы данных:

SELECT
    Path,
    PartIdx,
    CPUCores
FROM `.sys/partition_stats`
ORDER BY CPUCores DESC
LIMIT 5

Список таблиц базы с размерами и нагрузкой в моменте:

SELECT
    Path,
    COUNT(*) as Partitions,
    SUM(RowCount) as Rows,
    SUM(DataSize) as Size,
    SUM(CPUCores) as CPU
FROM `.sys/partition_stats`
GROUP BY Path

Список таблиц базы с наибольшим числом сломанных блокировок:

SELECT
    Path,
    COUNT(*) as Partitions,
    SUM(LocksBroken) as TotalLocksBroken
FROM `.sys/partition_stats`
GROUP BY Path
ORDER BY TotalLocksBroken DESC

Топы запросов

Следующие системные представления хранят данные для анализа пользовательских запросов.

Наибольшее полное время выполнения запроса:

• top_queries_by_duration_one_minute — данные разбиты на минутные интервалы, содержит данные за последние 6 часов;
• top_queries_by_duration_one_hour — данные разбиты на часовые интервалы, содержит данные за последние 2 недели.

Наибольшее количество прочитанных из таблицы байт:

• top_queries_by_read_bytes_one_minute — данные разбиты на минутные интервалы, содержит данные за последние 6 часов;
• top_queries_by_read_bytes_one_hour — данные разбиты на часовые интервалы, содержит данные за последние 2 недели.

Наибольшее затраченное процессорное время:

• top_queries_by_cpu_time_one_minute — данные разбиты на минутные интервалы, содержит данные за последние 6 часов;
• top_queries_by_cpu_time_one_hour — данные разбиты на часовые интервалы, содержит данные за последние 2 недели.

Запросы с одним и тем же текстом объединяются, в выдачу попадает запрос с максимальным значением соответствующей метрики.
Каждый временной интервал (минута или час) содержит ТОП-5 запросов, выполненных в этот временной интервал.

Поля, предоставляющие информацию о затраченном процессорном времени (...CPUTime), выражены в микросекундах.

Текст запроса ограничен 10 килобайтами.

Все представления имеют одинаковую структуру:

Примеры запросов

Топ запросов по времени выполнения. Запрос выполняется к представлению .sys/top_queries_by_duration_one_minute:

PRAGMA AnsiInForEmptyOrNullableItemsCollections;
$last = (
    SELECT
        MAX(IntervalEnd)
    FROM `.sys/top_queries_by_duration_one_minute`
);
SELECT
    IntervalEnd,
    Rank,
    QueryText,
    Duration
FROM `.sys/top_queries_by_duration_one_minute`
WHERE IntervalEnd IN $last

Запросы, прочитавшие больше всего байт. Запрос выполняется к представлению .sys/top_queries_by_read_bytes_one_minute:

SELECT
    IntervalEnd,
    QueryText,
    ReadBytes,
    ReadRows,
    Partitions
FROM `.sys/top_queries_by_read_bytes_one_minute`
WHERE Rank = 1

Подробная информация о запросах

Следующее системное представление содержит подробную информацию о запросах:

• query_metrics_one_minute — данные разбиты по минутным интервалам, содержит до 256 запросов за последние 6 часов.

Каждая строка представления содержит информацию о множестве случившихся за интервал запросов с одинаковым текстом. Поля представления содержат минимальное, максимальное и суммарное значение по каждой отслеживаемой характеристике запроса. В пределах интервала запросы отсортированы по убыванию суммарного потраченного процессорного времени.

Ограничения:

• текст запроса ограничен 10 килобайтами;
• статистика может быть неполной, если база испытывает сильную нагрузку.

Структура представления:

Примеры запросов

Топ-10 запросов за последние 6 часов по общему количеству записанных строк в минутном интервале:

SELECT
    SumUpdateRows,
    Count,
    QueryText,
    IntervalEnd
FROM `.sys/query_metrics_one_minute`
ORDER BY SumUpdateRows DESC LIMIT 10

Недавние запросы, прочитавшие больше всего байт за минуту:

SELECT
    IntervalEnd,
    SumReadBytes,
    MinReadBytes,
    SumReadBytes / Count as AvgReadBytes,
    MaxReadBytes,
    QueryText
FROM `.sys/query_metrics_one_minute`
WHERE SumReadBytes > 0
ORDER BY IntervalEnd DESC, SumReadBytes DESC
LIMIT 100

История перегруженных партиций

Следующие системные представления содержат историю моментов высокой нагрузки на отдельные партиции таблиц БД:

• top_partitions_one_minute — данные разбиты на минутные интервалы, содержит историю за последние 6 часов;
• top_partitions_one_hour — данные разбиты на часовые интервалы, содержит историю за последние 2 недели.

В представления попадают партиции с пиковой нагрузкой более 70 % (CPUCores > 0,7). В пределах одного интервала партиции ранжированы по пиковому значению нагрузки.

Оба представления содержат одинаковый набор полей:

Ключами представления являются:

• IntervalEnd - момент окончания интервала;
• Rank - ранг партиции по пиковой нагрузке CPUCores в этом интервале.

Например, если в таблице есть 10 партиций, то top_partitions_one_hour для часового интервала "20.12.2024 10:00-11:00" выдаст 10 строк, отсортированных по порядку убывания CPUCores. У них будет Rank от 1 до 10 и одинаковый IntervalEnd "20.12.2024 11:00".

Примеры запросов

Следующий запрос выводит партиции с потреблением CPU более 70% в указанном интервале времени, с идентификаторами таблеток и их размерами на момент превышения. Запрос выполняется к представлению .sys/top_partitions_one_minute, которое содержит данные за последние 6 часов с разбиением по минутным интервалам:

SELECT
    IntervalEnd,
    CPUCores,
    Path,
    TabletId,
    DataSize
FROM `.sys/top_partitions_one_minute`
WHERE CPUCores > 0.7
AND IntervalEnd BETWEEN Timestamp("2000-01-01T00:00:00Z") AND Timestamp("2099-12-31T00:00:00Z")
ORDER BY IntervalEnd desc, CPUCores desc

Следующий запрос выводит партиции с потреблением CPU более 90% в указанном интервале времени, с идентификаторами таблеток и их размерами на момент превышения. Запрос выполняется к представлению .sys/top_partitions_one_hour, которое содержит данные за последние 2 недели с разбиением по часовым интервалам:

SELECT
    IntervalEnd,
    CPUCores,
    Path,
    TabletId,
    DataSize
FROM `.sys/top_partitions_one_hour`
WHERE CPUCores > 0.9
AND IntervalEnd BETWEEN Timestamp("2000-01-01T00:00:00Z") AND Timestamp("2099-12-31T00:00:00Z")
ORDER BY IntervalEnd desc, CPUCores desc

История партиций со сломанными блокировками

Следующие системные представления содержат историю моментов с ненулевым числом сломанных блокировок LocksBroken в отдельных партициях таблиц БД:

• top_partitions_by_tli_one_minute — данные разбиты на минутные интервалы, содержит историю за последние 6 часов;
• top_partitions_by_tli_one_hour — данные разбиты на часовые интервалы, содержит историю за последние 2 недели.

Представления выдают топ-10 партиций с ненулевым числом сломанных блокировок LocksBroken. В пределах одного интервала партиции ранжированы по числу сломанных блокировок LocksBroken.

Ключами представлений являются:

• IntervalEnd - момент окончания интервала;
• Rank - ранг партиции по числу сломанных блокировок LocksBroken в этом интервале.

Например, top_partitions_by_tli_one_hour для часового интервала "20.12.2024 10:00-11:00" выдаст 10 строк, отсортированных по порядку убывания LocksBroken. У них будет Rank от 1 до 10 и одинаковый IntervalEnd "20.12.2024 11:00".

Оба представления содержат одинаковый набор полей:

Примеры запросов

Следующий запрос выводит партиции в указанном интервале времени, с идентификаторами таблеток и числом сломанных блокировок. Запрос выполняется к представлению .sys/top_partitions_by_tli_one_minute:

SELECT
    IntervalEnd,
    LocksBroken,
    Path,
    TabletId
FROM `.sys/top_partitions_by_tli_one_hour`
WHERE IntervalEnd BETWEEN Timestamp("2000-01-01T00:00:00Z") AND Timestamp("2099-12-31T00:00:00Z")
ORDER BY IntervalEnd desc, LocksBroken desc

Информация о пулах ресурсов

Системное представление resource_pools содержит информацию о настройках пулов ресурсов.

Структура системного представления:

Пример

Следующий запрос выводит информацию о настройках пула ресурсов с именем default:

SELECT
    Name,
    ConcurrentQueryLimit,
    QueueSize,
    DatabaseLoadCpuThreshold,
    ResourceWeight,
    TotalCpuLimitPercentPerNode,
    QueryCpuLimitPercentPerNode,
    QueryMemoryLimitPercentPerNode
FROM `.sys/resource_pools`
WHERE Name = "default";

Информация о классификаторах пулов ресурсов

Системное представление resource_pools_classifiers содержит информацию о настройках классификаторов пулов ресурсов.

Структура системного представления:

Пример

Следующий запрос выводит информацию о настройках классификатора пула ресурсов с именем olap:

SELECT
    Name,
    Rank,
    MemberName,
    ResourcePool
FROM `.sys/resource_pools_classifiers`
WHERE Name = "olap";

Информация о пользователях, группах и их правах

Информация о пользователях

Представление auth_users содержит список внутренних пользователей YDB. В него не входят пользователи, аутентифицированные через внешние системы, такие как LDAP.

Полный доступ к этому представлению имеют администраторы. Обычные пользователи могут просматривать только свои собственные данные.

Структура таблицы:

Информация о группах

Представление auth_groups содержит список групп доступа.

Доступ к этому представлению имеют только администраторы.

Структура таблицы:

Информация о членстве в группах

Представление auth_group_members содержит информацию о членстве в группах доступа.

Доступ к этому представлению имеют только администраторы.

Структура таблицы:

Информация о правах доступа

Представления содержат список выданных прав доступа.

Включают два представления:

• auth_permissions: Явно выданные права доступа.
• auth_effective_permissions: Эффективные права доступа с учётом наследования.

Пользователь может видеть объект доступа в результатах, если у него есть разрешение ydb.granular.describe_schema для этого объекта.

Структура таблицы:

Примеры запросов

Все явно выданные права для таблицы my_table:

SELECT *
FROM `.sys/auth_permissions`
WHERE Path = "my_table"

Все эффективные права для таблицы my_table, включая унаследованные:

SELECT *
FROM `.sys/auth_effective_permissions`
WHERE Path = "my_table"

Все права, явно выданные пользователю user3:

SELECT *
FROM `.sys/auth_permissions`
WHERE Sid = "user3"

Информация о владельцах объектов доступа

Представление auth_owners отображает информацию о владельцах объектов доступа.

Пользователь может видеть объект доступа в результатах, если у него есть право ydb.granular.describe_schema для этого объекта.

Структура таблицы: