Системные представления базы данных

Вы можете отправлять запросы в специальные служебные представления (system views), чтобы следить за состоянием базы данных. Эти представления доступны из корня дерева базы данных и используют системный префикс пути .sys.

Индекс поля первичного ключа соответствующего представления содержится в описаниях доступных полей далее по тексту.

Системные представления содержат:

• Детальные данные об отдельных партициях таблиц БД.
• Топы запросов по определенным характеристикам.
• Подробная информация о запросах.
• История перегруженных партиций.

Партиции

Следующее системное представление хранит детализированную информацию об отдельных партициях всех таблиц базы данных:

• partition_stats — cодержит информацию о моментальных метриках и кумулятивные счетчики операций. К первым относятся, например, данные о нагрузке на CPU или количестве выполняемых транзакций. Ко вторым — общее количество прочитанных строк.

Предназначена для выявления различных неравномерностей в нагрузке на партицию или отображения размера данных в ней.

Кумулятивные поля (RowReads, RowUpdates и т.д.) хранят накопленные значения с момента последнего старта таблетки, обслуживающей партицию.

Структура представления:

Примеры запросов

Топ-5 самых загруженных партиций среди всех таблиц базы данных:

SELECT
    Path,
    PartIdx,
    CPUCores
FROM `.sys/partition_stats`
ORDER BY CPUCores DESC
LIMIT 5

Список таблиц базы с размерами и нагрузкой в моменте:

SELECT
    Path,
    COUNT(*) as Partitions,
    SUM(RowCount) as Rows,
    SUM(DataSize) as Size,
    SUM(CPUCores) as CPU
FROM `.sys/partition_stats`
GROUP BY Path

Топы запросов

Следующие системные представления хранят данные для анализа потока пользовательских запросов:

• top_queries_by_duration_one_minute — данные разбиты на минутные интервалы, содержит топ-5 запросов с наибольшим полным временем исполнения за последние 6 часов;
• top_queries_by_duration_one_hour — данные разбиты на часовые интервалы, содержит топ-5 запросов с наибольшим полным временем исполнения за последние 2 недели;
• top_queries_by_read_bytes_one_minute — данные разбиты на минутные интервалы, содержит топ-5 запросов с наибольшим количеством прочитанных из таблицы байт за последние 6 часов;
• top_queries_by_read_bytes_one_hour — данные разбиты на часовые интервалы, содержит топ-5 запросов с наибольшим количеством прочитанных из таблицы байт за последние 2 недели;
• top_queries_by_cpu_time_one_minute — данные разбиты на минутные интервалы, содержит топ-5 запросов с наибольшим затраченным процессорным временем за последние 6 часов;
• top_queries_by_cpu_time_one_hour — данные разбиты на часовые интервалы, содержит топ-5 запросов с наибольшим затраченным процессорным временем за последние 2 недели.

Различные запуски запроса с одним и тем же текстом дедуплицируются. Топ содержит информацию о конкретном запуске с максимальным значением соответствующей характеристики запроса в пределах одного временного интервала.

Поля, предоставляющие информацию о затраченном процессорном времени (...CPUTime), выражены в микросекундах.

Текст запроса ограничен 10 килобайтами.

Все представления содержат одинаковый набор полей:

Примеры запросов

Топ запросов по времени выполнения за последнюю минуту их отправки:

PRAGMA AnsiInForEmptyOrNullableItemsCollections;
$last = (
    SELECT
        MAX(IntervalEnd)
    FROM `.sys/top_queries_by_duration_one_minute`
);
SELECT
    IntervalEnd,
    Rank,
    QueryText,
    Duration
FROM `.sys/top_queries_by_duration_one_minute`
WHERE IntervalEnd IN $last

Запросы, прочитавшие больше всего байт, в разбивке по минутам:

SELECT
    IntervalEnd,
    QueryText,
    ReadBytes,
    ReadRows,
    Partitions
FROM `.sys/top_queries_by_read_bytes_one_minute`
WHERE Rank = 1

Подробная информация о запросах

Следующее системное представление содержит подробную информацию о запросах:

• query_metrics_one_minute — данные разбиты по минутным интервалам, содержит до 256 запросов за последние 6 часов.

Каждая строка представления содержит информацию о множестве случившихся за интервал запросов с одинаковым текстом. Поля представления предоставляют минимальное, максимальное и суммарное значение по каждой отслеживаемой характеристике запроса. В пределах интервала запросы отсортированы по убыванию суммарного потраченного процессорного времени.

Ограничения:

• текст запроса ограничен 10 килобайтами;
• статистика может быть неполной, если база испытывает сильную нагрузку.

Структура представления:

Примеры запросов

Топ-10 запросов за последние 6 часов по общему количеству записанных строк в минутном интервале:

SELECT
    SumUpdateRows,
    Count,
    QueryText,
    IntervalEnd
FROM `.sys/query_metrics_one_minute`
ORDER BY SumUpdateRows DESC LIMIT 10

Недавние запросы, прочитавшие больше всего байт за минуту:

SELECT
    IntervalEnd,
    SumReadBytes,
    MinReadBytes,
    SumReadBytes / Count as AvgReadBytes,
    MaxReadBytes,
    QueryText
FROM `.sys/query_metrics_one_minute`
WHERE SumReadBytes > 0
ORDER BY IntervalEnd DESC, SumReadBytes DESC
LIMIT 100

История перегруженных партиций

Следующие системные представления содержат историю моментов высокой нагрузки на отдельные партиции таблиц БД:

• top_partitions_one_minute — данные разбиты на минутные интервалы, содержит историю за последние 6 часов;
• top_partitions_one_hour — данные разбиты на часовые интервалы, содержит историю за последние 2 недели.

В представления попадают партиции с пиковой нагрузкой более 70 % (CPUCores > 0,7). В пределах одного интервала партиции ранжированы по пиковому значению нагрузки.

Оба представления содержат одинаковый набор полей:

Примеры запросов

Следующий запрос выводит партиции с потреблением CPU более 70% в указанном интервале времени, с идентификаторами таблеток и их размерами на момент превышения. Запрос выполняется к представлению .sys/top_partitions_one_minute, которое содержит данные за последние 6 часов с разбиением по часовым интервалам:

SELECT
    IntervalEnd,
    CPUCores,
    Path,
    TabletId,
    DataSize
FROM `.sys/top_partitions_one_minute`
WHERE CPUCores > 0.7
AND IntervalEnd BETWEEN Timestamp("YYYY-MM-DDThh:mm:ss.uuuuuuZ") AND Timestamp("YYYY-MM-DDThh:mm:ss.uuuuuuZ")
ORDER BY IntervalEnd desc, CPUCores desc

• "YYYY-MM-DDTHH:MM:SS.UUUUUUZ" — время в зоне UTC 0 (YYYY — год, MM — месяц, DD — число, hh — часы, mm — минуты, ss — секунды, uuuuuu — микросекунды). Например, "2023-01-26T13:00:00.000000Z".

Следующий запрос выводит партиции с потреблением CPU более 90% в указанном интервале времени, с идентификаторами таблеток и их размерами на момент превышения. Запрос выполняется к представлению .sys/top_partitions_one_hour, которое содержит данные за последние 2 недели с разбиением по минутным интервалам:

SELECT
    IntervalEnd,
    CPUCores,
    Path,
    TabletId,
    DataSize
FROM `.sys/top_partitions_one_hour`
WHERE CPUCores > 0.9
AND IntervalEnd BETWEEN Timestamp("YYYY-MM-DDThh:mm:ss.uuuuuuZ") AND Timestamp("YYYY-MM-DDThh:mm:ss.uuuuuuZ")
ORDER BY IntervalEnd desc, CPUCores desc

• "YYYY-MM-DDTHH:MM:SS.UUUUUUZ" — время в зоне UTC 0 (YYYY — год, MM — месяц, DD — число, hh — часы, mm — минуты, ss — секунды, uuuuuu — микросекунды). Например, "2023-01-26T13:00:00.000000Z".

Информация о пулах ресурсов

Системное представление resource_pools содержит информацию о настройках пулов ресурсов.

Структура системного представления:

Пример

Следующий запрос выводит информацию о настройках пула ресурсов с именем default:

SELECT
    Name,
    ConcurrentQueryLimit,
    QueueSize,
    DatabaseLoadCpuThreshold,
    ResourceWeight,
    TotalCpuLimitPercentPerNode,
    QueryCpuLimitPercentPerNode,
    QueryMemoryLimitPercentPerNode
FROM `.sys/resource_pools`
WHERE Name = "default";

Пример выдачи:

Информация о классификаторах пулов ресурсов

Системное представление resource_pools_classifiers содержит информацию о настройках классификаторов пулов ресурсов.

Структура системного представления:

Пример

Следующий запрос выводит информацию о настройках классификатора пула ресурсов с именем olap:

SELECT
    Name,
    Rank,
    MemberName,
    ResourcePool
FROM `.sys/resource_pools_classifiers`
WHERE Name = "olap";

Пример выдачи: