Системные представления базы данных

Для получения служебной информации о состоянии базы данных можно обращаться к системным представлениям (system views). Они доступны из корня дерева базы данных и используют системный префикс пути .sys.

Партиции

Следующее системное представление хранит детализированную информацию об партициях таблиц базы данных:

• partition_stats — содержит информацию о моментальных метриках и кумулятивных счетчиках операций. К первым относятся, например, данные о нагрузке на CPU или количестве выполняемых транзакций. Ко вторым — общее количество прочитанных строк.

Предназначено, например, для выявления неравномерно нагруженных партиций или отображения размера данных в них.

Моментальные метрики (NodeId, AccessTime, CPUCores и т.д.) содержат мгновенные значения.
Кумулятивные (не моментальные) метрики (RowReads, RowUpdates, LocksAcquired и т.д.) хранят накопленные значения с момента последнего старта таблетки (StartTime), обслуживающей партицию.

Структура представления:

Примеры запросов

Топ-5 самых загруженных партиций среди всех таблиц базы данных:

SELECT
    Path,
    PartIdx,
    CPUCores
FROM `.sys/partition_stats`
ORDER BY CPUCores DESC
LIMIT 5

Список таблиц базы с размерами и нагрузкой в моменте:

SELECT
    Path,
    COUNT(*) as Partitions,
    SUM(RowCount) as Rows,
    SUM(DataSize) as Size,
    SUM(CPUCores) as CPU
FROM `.sys/partition_stats`
GROUP BY Path

Список таблиц базы с наибольшим числом сломанных блокировок:

SELECT
    Path,
    COUNT(*) as Partitions,
    SUM(LocksBroken) as TotalLocksBroken
FROM `.sys/partition_stats`
GROUP BY Path
ORDER BY TotalLocksBroken DESC

Топы запросов

Следующие системные представления хранят данные для анализа пользовательских запросов.

Наибольшее полное время выполнения запроса:

• top_queries_by_duration_one_minute — данные разбиты на минутные интервалы, содержит данные за последние 6 часов;
• top_queries_by_duration_one_hour — данные разбиты на часовые интервалы, содержит данные за последние 2 недели.

Наибольшее количество прочитанных из таблицы байт:

• top_queries_by_read_bytes_one_minute — данные разбиты на минутные интервалы, содержит данные за последние 6 часов;
• top_queries_by_read_bytes_one_hour — данные разбиты на часовые интервалы, содержит данные за последние 2 недели.

Наибольшее затраченное процессорное время:

• top_queries_by_cpu_time_one_minute — данные разбиты на минутные интервалы, содержит данные за последние 6 часов;
• top_queries_by_cpu_time_one_hour — данные разбиты на часовые интервалы, содержит данные за последние 2 недели.

Запросы с одним и тем же текстом объединяются, в выдачу попадает запрос с максимальным значением соответствующей метрики.
Каждый временной интервал (минута или час) содержит ТОП-5 запросов, выполненных в этот временной интервал.

Поля, предоставляющие информацию о затраченном процессорном времени (...CPUTime), выражены в микросекундах.

Текст запроса ограничен 10 килобайтами.

Все представления имеют одинаковую структуру:

Примеры запросов

Топ запросов по времени выполнения. Запрос выполняется к представлению .sys/top_queries_by_duration_one_minute:

PRAGMA AnsiInForEmptyOrNullableItemsCollections;
$last = (
    SELECT
        MAX(IntervalEnd)
    FROM `.sys/top_queries_by_duration_one_minute`
);
SELECT
    IntervalEnd,
    Rank,
    QueryText,
    Duration
FROM `.sys/top_queries_by_duration_one_minute`
WHERE IntervalEnd IN $last

Запросы, прочитавшие больше всего байт. Запрос выполняется к представлению .sys/top_queries_by_read_bytes_one_minute:

SELECT
    IntervalEnd,
    QueryText,
    ReadBytes,
    ReadRows,
    Partitions
FROM `.sys/top_queries_by_read_bytes_one_minute`
WHERE Rank = 1

Подробная информация о запросах

Следующее системное представление содержит подробную информацию о запросах:

• query_metrics_one_minute — данные разбиты по минутным интервалам, содержит до 256 запросов за последние 6 часов.

Каждая строка представления содержит информацию о множестве случившихся за интервал запросов с одинаковым текстом. Поля представления содержат минимальное, максимальное и суммарное значение по каждой отслеживаемой характеристике запроса. В пределах интервала запросы отсортированы по убыванию суммарного потраченного процессорного времени.

Ограничения:

• текст запроса ограничен 10 килобайтами;
• статистика может быть неполной, если база испытывает сильную нагрузку.

Структура представления:

Примеры запросов

Топ-10 запросов за последние 6 часов по общему количеству записанных строк в минутном интервале:

SELECT
    SumUpdateRows,
    Count,
    QueryText,
    IntervalEnd
FROM `.sys/query_metrics_one_minute`
ORDER BY SumUpdateRows DESC LIMIT 10

Недавние запросы, прочитавшие больше всего байт за минуту:

SELECT
    IntervalEnd,
    SumReadBytes,
    MinReadBytes,
    SumReadBytes / Count as AvgReadBytes,
    MaxReadBytes,
    QueryText
FROM `.sys/query_metrics_one_minute`
WHERE SumReadBytes > 0
ORDER BY IntervalEnd DESC, SumReadBytes DESC
LIMIT 100

Подробная информация о запросах сессий

Следующее системное представление содержит подробную информацию о текущих сессиях и запросах, выполняющихся в них.

• .sys/query_sessions — содержит информацию о сессиях и выполняемых в них запросах.

Возможные значения поля WmState:

• NONE - Не обрабатывается.
• PENDING - Обрабатывается (в процессе классификации/маршрутизации).
• DELAYED - В очереди.
• EXITED - Передан на исполнение.

Возможные значения поля State:

• IDLE - Сессия ожидает запроса.
• EXECUTING - Выполняется запрос.

Примеры запросов

Просмотр всех активных сессий:

SELECT * FROM `.sys/query_sessions`

Топ-20 самых длительных выполняющихся запросов:

SELECT
    Query,
    SessionId,
    NodeId,
    QueryStartAt
FROM `.sys/query_sessions`
WHERE State = 'EXECUTING'
ORDER BY QueryStartAt ASC
LIMIT 20

Поиск сессий приложения с фильтрацией по пулу Workload Manager:

SELECT
    SessionId,
    Query,
    State,
    WmState,
    ClientAddress
FROM `.sys/query_sessions`
WHERE ApplicationName = 'my_analytics_app'
  AND WmPoolId = 'heavy_queries'

Кэш компиляции запросов

Следующее системное представление содержит информацию о запросах, хранящихся в кэше компиляции на всех нодах кластера:

• compile_cache_queries — содержит информацию о запросах в кэше компиляции всех нод кластера.

У каждой ноды кластера есть собственный кэш скомпилированных запросов. Этот кэш используется всеми сессиями, запущенными на данной ноде: если во время выполнения запроса его текст уже есть в кэше, дополнительная компиляция не требуется.

Системное представление compile_cache_queries позволяет получить данные о состоянии кэша на всех или выбранных нодах кластера. При выполнении запроса к этому представлению запросы отправляются на каждую ноду, если только не задано ограничение по NodeId в условии WHERE. В ответ возвращается актуальная информация о содержимом кэша для каждой ноды, а итоговая таблица объединяет полученные данные.

Структура представления:

Примеры запросов

Просмотр всех запросов в кэше компиляции:

SELECT * FROM `.sys/compile_cache_queries`

Топ-20 самых популярных запросов по количеству обращений с 3 нод:

SELECT
    Query,
    SUM(AccessCount) AS Hits
FROM `.sys/compile_cache_queries`
WHERE NodeId IN (50000, 50001, 50003)
GROUP BY Query
ORDER BY Hits DESC
LIMIT 20

Статистика активности по пользователям:

SELECT
    UserSID,
    COUNT(DISTINCT QueryId) AS Plans,
    SUM(AccessCount) AS Hits,
    AVG(CompilationDurationMs) AS AvgCompileMs
FROM `.sys/compile_cache_queries`
GROUP BY UserSID
ORDER BY Hits DESC

Поиск запросов с длительной компиляцией:

SELECT
    Query,
    NodeId,
    CompilationDurationMs,
    AccessCount
FROM `.sys/compile_cache_queries`
WHERE CompilationDurationMs > 1000
ORDER BY CompilationDurationMs DESC

История перегруженных партиций

Следующие системные представления содержат историю моментов высокой нагрузки на отдельные партиции таблиц БД:

• top_partitions_one_minute — данные разбиты на минутные интервалы, содержит историю за последние 6 часов;
• top_partitions_one_hour — данные разбиты на часовые интервалы, содержит историю за последние 2 недели.

В представления попадают партиции с пиковой нагрузкой более 70 % (CPUCores > 0,7). В пределах одного интервала партиции ранжированы по пиковому значению нагрузки.

Оба представления содержат одинаковый набор полей:

Ключами представления являются:

• IntervalEnd - момент окончания интервала;
• Rank - ранг партиции по пиковой нагрузке CPUCores в этом интервале.

Например, если в таблице есть 10 партиций, то top_partitions_one_hour для часового интервала "20.12.2024 10:00-11:00" выдаст 10 строк, отсортированных по порядку убывания CPUCores. У них будет Rank от 1 до 10 и одинаковый IntervalEnd "20.12.2024 11:00".

Примеры запросов

Следующий запрос выводит партиции с потреблением CPU более 70% в указанном интервале времени, с идентификаторами таблеток и их размерами на момент превышения. Запрос выполняется к представлению .sys/top_partitions_one_minute, которое содержит данные за последние 6 часов с разбиением по минутным интервалам:

SELECT
    IntervalEnd,
    CPUCores,
    Path,
    TabletId,
    DataSize
FROM `.sys/top_partitions_one_minute`
WHERE CPUCores > 0.7
AND IntervalEnd BETWEEN Timestamp("2000-01-01T00:00:00Z") AND Timestamp("2099-12-31T00:00:00Z")
ORDER BY IntervalEnd desc, CPUCores desc

Следующий запрос выводит партиции с потреблением CPU более 90% в указанном интервале времени, с идентификаторами таблеток и их размерами на момент превышения. Запрос выполняется к представлению .sys/top_partitions_one_hour, которое содержит данные за последние 2 недели с разбиением по часовым интервалам:

SELECT
    IntervalEnd,
    CPUCores,
    Path,
    TabletId,
    DataSize
FROM `.sys/top_partitions_one_hour`
WHERE CPUCores > 0.9
AND IntervalEnd BETWEEN Timestamp("2000-01-01T00:00:00Z") AND Timestamp("2099-12-31T00:00:00Z")
ORDER BY IntervalEnd desc, CPUCores desc

История партиций со сломанными блокировками

Следующие системные представления содержат историю моментов с ненулевым числом сломанных блокировок LocksBroken в отдельных партициях таблиц БД:

• top_partitions_by_tli_one_minute — данные разбиты на минутные интервалы, содержит историю за последние 6 часов;
• top_partitions_by_tli_one_hour — данные разбиты на часовые интервалы, содержит историю за последние 2 недели.

Представления выдают топ-10 партиций с ненулевым числом сломанных блокировок LocksBroken. В пределах одного интервала партиции ранжированы по числу сломанных блокировок LocksBroken.

Ключами представлений являются:

• IntervalEnd - момент окончания интервала;
• Rank - ранг партиции по числу сломанных блокировок LocksBroken в этом интервале.

Например, top_partitions_by_tli_one_hour для часового интервала "20.12.2024 10:00-11:00" выдаст 10 строк, отсортированных по порядку убывания LocksBroken. У них будет Rank от 1 до 10 и одинаковый IntervalEnd "20.12.2024 11:00".

Оба представления содержат одинаковый набор полей:

Примеры запросов

Следующий запрос выводит партиции в указанном интервале времени, с идентификаторами таблеток и числом сломанных блокировок. Запрос выполняется к представлению .sys/top_partitions_by_tli_one_minute:

SELECT
    IntervalEnd,
    LocksBroken,
    Path,
    TabletId
FROM `.sys/top_partitions_by_tli_one_hour`
WHERE IntervalEnd BETWEEN Timestamp("2000-01-01T00:00:00Z") AND Timestamp("2099-12-31T00:00:00Z")
ORDER BY IntervalEnd desc, LocksBroken desc

Информация о пулах ресурсов

Системное представление resource_pools содержит информацию о настройках пулов ресурсов.

Структура системного представления:

Пример

Следующий запрос выводит информацию о настройках пула ресурсов с именем default:

SELECT
    Name,
    ConcurrentQueryLimit,
    QueueSize,
    DatabaseLoadCpuThreshold,
    ResourceWeight,
    TotalCpuLimitPercentPerNode,
    QueryCpuLimitPercentPerNode,
    QueryMemoryLimitPercentPerNode
FROM `.sys/resource_pools`
WHERE Name = "default";

Информация о классификаторах пулов ресурсов

Системное представление resource_pools_classifiers содержит информацию о настройках классификаторов пулов ресурсов.

Структура системного представления:

Пример

Следующий запрос выводит информацию о настройках классификатора пула ресурсов с именем olap:

SELECT
    Name,
    Rank,
    MemberName,
    ResourcePool
FROM `.sys/resource_pools_classifiers`
WHERE Name = "olap";

Пользователи, группы и права доступа

Следующие системные представления содержат информацию о пользователях, группах доступа, членстве пользователей в группах, а также о предоставленных правах доступа группам или непосредственно пользователям.

Информация о пользователях

Представление auth_users содержит список локальных пользователей YDB. В него не входят пользователи, аутентифицированные через внешние системы, такие как LDAP.

Полный доступ к этому представлению имеют администраторы. Обычные пользователи могут просматривать только свои собственные данные.

Структура таблицы:

Информация о группах

Представление auth_groups содержит список групп доступа.

Доступ к этому представлению имеют только администраторы.

Структура таблицы:

Информация о членстве в группах

Представление auth_group_members содержит информацию о членстве в группах доступа.

Доступ к этому представлению имеют только администраторы.

Структура таблицы:

Информация о правах доступа

Представления содержат список выданных прав доступа.

Включают два представления:

• auth_permissions: Явно выданные права доступа.
• auth_effective_permissions: Эффективные права доступа с учётом наследования.

Пользователю в данном представлении отображаются только те объекты доступа, на которые у него есть право ydb.granular.describe_schema.

Структура таблицы:

Примеры запросов

Получение явно предоставленных прав на объект доступа - таблицу my_table:

SELECT *
FROM `.sys/auth_permissions`
WHERE Path = "my_table"

Получение эффективных прав на объект доступа - таблицу my_table:

SELECT *
FROM `.sys/auth_effective_permissions`
WHERE Path = "my_table"

Получение прав, предоставленных пользователю user3:

SELECT *
FROM `.sys/auth_permissions`
WHERE Sid = "user3"

Информация о владельцах объектов доступа

Представление auth_owners отображает информацию о владельцах объектов доступа.

Пользователю в данном представлении отображаются только те объекты доступа, на которые ему предоставлено право ydb.granular.describe_schema.

Структура таблицы:

Потоковые запросы

Просмотр информации о потоковых запросах

Системное представление streaming_queries содержит информацию о всех созданных потоковых запросах.

Пользователю в данном представлении отображаются только те потоковые запросы, на которые ему предоставлено право ydb.granular.describe_schema.

Структура таблицы: