Системные таблицы базы данных

Вы можете отправлять запросы в специальные служебные таблицы (system views), чтобы следить за состоянием базы данных. Эти таблицы доступны из корня дерева базы данных и используют системный префикс пути .sys.

Индекс поля первичного ключа соответствующей таблицы содержится в описаниях доступных полей далее по тексту.

Системные таблицы содержат:

• Детальные данные об отдельных партициях таблиц БД.
• Топы запросов по определенным характеристикам.
• Подробная информация о запросах.
• История перегруженных партиций.

Партиции

Следующая системная таблица хранит детализированную информацию об отдельных партициях всех таблиц базы данных:

• partition_stats — cодержит информацию о моментальных метриках и кумулятивные счетчики операций. К первым относятся, например, данные о нагрузке на CPU или количестве выполняемых транзакций. Ко вторым — общее количество прочитанных строк.

Предназначена для выявления различных неравномерностей в нагрузке на партицию или отображения размера данных в ней.

Кумулятивные поля (RowReads, RowUpdates и т.д.) хранят накопленные значения с момента последнего старта таблетки, обслуживающей партицию.

Структура таблицы:

Поле	Описание
OwnerId	Идентификатор SchemeShard, обслуживающего таблицу. Тип: Uint64. Ключ: 0.
PathId	Идентификатор пути в SchemeShard. Тип: Uint64. Ключ: 1.
PartIdx	Порядковый номер партиции. Тип: Uint64. Ключ: 2.
DataSize	Приблизительный размер партиции в байтах. Тип: Uint64.
RowCount	Приблизительное количество строк. Тип: Uint64.
IndexSize	Размер индекса партиции в таблетке. Тип: Uint64.
CPUCores	Double Моментальное значение нагрузки на партицию (доля ядра)
TabletId	Идентификатор таблетки, обслуживающей партицию. Тип: Uint64.
Path	Полный путь к таблице. Тип: Utf8.
NodeId	Идентификатор ноды, на которой в данный момент обслуживается партиция. Тип: Uint32.
StartTime	Последний момент запуска таблетки, обслуживающей партицию. Тип: Timestamp.
AccessTime	Последний момент чтения из партиции. Тип: Timestamp.
UpdateTime	Последний момент записи в партицию. Тип: Timestamp.
RowReads	Количество точечных чтений с момента старта таблетки партиции. Тип: Uint64.
RowUpdates	Количество записанных строк с момента старта. Тип: Uint64.
RowDeletes	Количество удалённых строк с момента старта. Тип: Uint64.
RangeReads	Количество чтений диапазонов строк с момента старта. Тип: Uint64.
RangeReadRows	Количество строк, прочитанных в диапазонах с момента старта. Тип: Uint64.
InFlightTxCount	Количество транзакций, находящихся в процессе исполнения. Тип: Uint64.
ImmediateTxCompleted	Количество завершившихся одношардовых транзакций с момента старта. Тип: Uint64.
CoordinatedTxCompleted	Количество завершившихся координируемых транзакций с момента старта. Тип: Uint64.
TxRejectedByOverload	Количество транзакций, отменённых по причине слишком высокой нагрузки (с момента старта). Тип: Uint64.
TxRejectedByOutOfStorage	Количество транзакций, отменённых из-за нехватки места (с момента старта). Тип: Uint64.

Примеры:

Топ-5 самых загруженных партиций среди всех таблиц базы данных:

SELECT
    Path,
    PartIdx,
    CPUCores
FROM `.sys/partition_stats`
ORDER BY CPUCores DESC
LIMIT 5

Список таблиц базы с размерами и нагрузкой в моменте:

SELECT
    Path,
    COUNT(*) as Partitions,
    SUM(RowCount) as Rows,
    SUM(DataSize) as Size,
    SUM(CPUCores) as CPU
FROM `.sys/partition_stats`
GROUP BY Path

Топы запросов

Следующие системные таблицы хранят данные для анализа потока пользовательских запросов:

• top_queries_by_duration_one_minute — данные разбиты на минутные интервалы, содержит топ-5 запросов с наибольшим полным временем исполнения за последние 6 часов;
• top_queries_by_duration_one_hour — данные разбиты на часовые интервалы, содержит топ-5 запросов с наибольшим полным временем исполнения за последние 2 недели;
• top_queries_by_read_bytes_one_minute — данные разбиты на минутные интервалы, содержит топ-5 запросов с наибольшим количеством прочитанных из таблицы байт за последние 6 часов;
• top_queries_by_read_bytes_one_hour — данные разбиты на часовые интервалы, содержит топ-5 запросов с наибольшим количеством прочитанных из таблицы байт за последние 2 недели;
• top_queries_by_cpu_time_one_minute — данные разбиты на минутные интервалы, содержит топ-5 запросов с наибольшим затраченным процессорным временем за последние 6 часов;
• top_queries_by_cpu_time_one_hour — данные разбиты на часовые интервалы, содержит топ-5 запросов с наибольшим затраченным процессорным временем за последние 2 недели.

Различные запуски запроса с одним и тем же текстом дедуплицируются. Топ содержит информацию о конкретном запуске с максимальным значением соответствующей характеристики запроса в пределах одного временного интервала.

Поля, предоставляющие информацию о затраченном процессорном времени (...CPUTime), выражены в микросекундах.

Текст запроса ограничен 4 килобайтами.

Все таблицы содержат одинаковый набор полей:

Поле	Описание
IntervalEnd	Момент закрытия минутного или часового интервала. Тип: Timestamp. Ключ: 0.
Rank	Ранг запроса в топе. Тип: Uint32. Ключ: 1.
RequestUnits	Количество затраченных RequestUnits
QueryText	Текст запроса. Тип: Utf8.
Duration	Полное время исполнения запроса. Тип: Interval.
EndTime	Момент окончания исполнения запроса. Тип: Timestamp.
Type	Тип запроса ("data", "scan", "script"). Тип: String.
ReadRows	Количество прочитанных строк. Тип: Uint64.
ReadBytes	Количество прочитанных байт. Тип: Uint64.
UpdateRows	Количество записанных строк. Тип: Uint64.
UpdateBytes	Количество записанных байт. Тип: Uint64.
DeleteRows	Количество удалённых строк. Тип: Uint64.
DeleteBytes	Количество удалённых байт. Тип: Uint64.
Partitions	Количество партиций таблиц, участвовавших в исполнении запроса. Тип: Uint64.
UserSID	Security ID пользователя. Тип: String.
ParametersSize	Размер параметров запроса в байтах. Тип: Uint64.
CompileDuration	Длительность компиляции запроса. Тип: Interval.
FromQueryCache	Использовался ли кэш подготовленных запросов. Тип: Bool.
CPUTime	Общее процессорное время, использованное для исполнения запроса (микросекунды). Тип: Uint64.
ShardCount	Количество шардов, участвующих в исполнении запроса. Тип: Uint64.
SumShardCPUTime	Общее процессорное время, затраченное в шардах. Тип: Uint64.
MinShardCPUTime	Минимальное процесорное время, затраченное в шардах. Тип: Uint64.
MaxShardCPUTime	Максимальное процессорное время, затраченное в шардах. Тип: Uint64.
ComputeNodesCount	Количество вычислительных нод, задействованных в исполнении запроса. Тип: Uint64.
SumComputeCPUTime	Общее процессорное время, затраченное в вычислительных нодах. Тип: Uint64.
MinComputeCPUTime	Минимальное процессорное время, затраченное в вычислительных нодах. Тип: Uint64.
MaxComputeCPUTime	Максимальное процессорное время, затраченное в вычислительных нодах. Тип: Uint64.
CompileCPUTime	Процессорное время, затраченное на компиляцию запроса. Тип: Uint64.
ProcessCPUTime	Процессорное время, затраченное на общую обработку запроса. Тип: Uint64.

Примеры:

Топ запросов по времени выполнения за последнюю минуту их отправки:

PRAGMA AnsiInForEmptyOrNullableItemsCollections;
$last = (
    SELECT
        MAX(IntervalEnd)
    FROM `.sys/top_queries_by_duration_one_minute`
);
SELECT
    IntervalEnd,
    Rank,
    QueryText,
    Duration
FROM `.sys/top_queries_by_duration_one_minute`
WHERE IntervalEnd IN $last

Запросы, прочитавшие больше всего байт, в разбивке по минутам:

SELECT
    IntervalEnd,
    QueryText,
    ReadBytes,
    ReadRows,
    Partitions
FROM `.sys/top_queries_by_read_bytes_one_minute`
WHERE Rank = 1

Подробная информация о запросах

Следующая системная таблица хранит подробную информацию о запросах:

• query_metrics_one_minute — данные разбиты по минутным интервалам, содержит до 256 запросов за последние 6 часов.

Каждая строка таблицы содержит информацию о множестве случившихся за интервал запросов с одинаковым текстом. Поля таблицы предоставляют минимальное, максимальное и суммарное значение по каждой отслеживаемой характеристике запроса. В пределах интервала запросы отсортированы по убыванию суммарного потраченного процессорного времени.

Ограничения:

• текст запроса ограничен 4 килобайтами;
• статистика может быть неполной, если база испытывает сильную нагрузку.

Структура таблицы:

Поле	Описание
IntervalEnd	Момент закрытия минутного интервала. Тип: Timestamp. Ключ: 0.
Rank	Ранг запроса в пределах интервала (по полю SumCPUTime). Тип: Uint32. Ключ: 1.
QueryText	Текст запроса. Тип: Utf8.
Count	Количество запусков запроса. Тип: Uint64.
SumDuration	Общая длительность запросов. Тип: Interval.
Count	Количество запусков запроса. Тип: Uint64.
SumDuration	Общая длительность запросов. Тип: Interval.
MinDuration	Минимальная длительность запроса. Тип: Interval.
MaxDuration	Максимальная длительность запроса. Тип: Interval.
SumCPUTime	Общее затраченное процессорное время. Тип: Uint64.
MinCPUTime	Минимальное затраченное процессорное время. Тип: Uint64.
MaxCPUTime	Максимальное затраченное процессорное время. Тип: Uint64.
SumReadRows	Общее количество прочитанных строк. Тип: Uint64.
MinReadRows	Минимальное количество прочитанных строк. Тип: Uint64.
MaxReadRows	Максимальное количество прочитанных строк. Тип: Uint64.
SumReadBytes	Общее количество прочитанных байт. Тип: Uint64.
MinReadBytes	Минимальное количество прочитанных байт. Тип: Uint64.
MaxReadBytes	Максимальное количество прочитанных байт. Тип: Uint64.
SumUpdateRows	Общее количество записанных строк. Тип: Uint64.
MinUpdateRows	Минимальное количество записанных строк. Тип: Uint64.
MaxUpdateRows	Максимальное количество записанных строк. Тип: Uint64.
SumUpdateBytes	Общее количество записанных байт. Тип: Uint64.
MinUpdateBytes	Минимальное количество записанных байт. Тип: Uint64.
MaxUpdateBytes	Максимальное количество записанных байт. Тип: Uint64.
SumDeleteRows	Общее количество удалённых строк. Тип: Uint64.
MinDeleteRows	Минимальное количество удалённых строк. Тип: Uint64.
MaxDeleteRows	Максимальное количество удалённых строк. Тип: Uint64.
SumRequestUnits	Общее количество использованных RequestUnits. Тип: Uint64.
MinRequestUnits	Минимальное количество использованных RequestUnits. Тип: Uint64.
MaxRequestUnits	Максимальное количество использованных RequestUnits. Тип: Uint64.

Примеры:

Топ-10 запросов за последние 6 часов по общему количеству записанных строк в минутном интервале:

SELECT
    SumUpdateRows,
    Count,
    QueryText,
    IntervalEnd
FROM `.sys/query_metrics_one_minute`
ORDER BY SumUpdateRows DESC LIMIT 10

Недавние запросы, прочитавшие больше всего байт за минуту:

SELECT
    IntervalEnd,
    SumReadBytes,
    MinReadBytes,
    SumReadBytes / Count as AvgReadBytes,
    MaxReadBytes,
    QueryText
FROM `.sys/query_metrics_one_minute`
WHERE SumReadBytes > 0
ORDER BY IntervalEnd DESC, SumReadBytes DESC
LIMIT 100

История перегруженных партиций

Следующие системные таблицы хранят историю моментов высокой нагрузки на отдельные партиции таблиц БД:

• top_partitions_one_minute — данные разбиты на минутные интервалы, содержит историю за последние 6 часов;
• top_partitions_one_hour — данные разбиты на часовые интервалы, содержит историю за последние 2 недели.

В таблицы попадают партиции с пиковой нагрузкой более 70 % (CPUCores > 0,7). В пределах одного интервала партиции ранжированы по пиковому значению нагрузки.

Обе таблицы содержат одинаковый набор полей:

Поле	Описание
IntervalEnd	Момент закрытия минутного или часового интервала. Тип: Timestamp. Ключ: 0.
Rank	Ранг партиции в пределах интервала (по CPUCores). Тип: Uint32. Ключ: 1.
TabletId	Идентификатор таблетки, обслуживающей партицию. Тип: Uint64.
Path	Полный путь к таблице. Тип: Utf8.
PeakTime	Момент пикового значения в пределах интервала. Тип: Timestamp.
CPUCores	Пиковое значение нагрузки на партицию (доля ядра). Тип: Double.
NodeId	Идентификатор ноды, на которой находилась партиция в момент пика. Тип: Uint32.
DataSize	Приблизительный размер партиции в байтах в момент пика. Тип: Uint64.
RowCount	Приблизительное количество строк в момент пика. Тип: Uint64.
IndexSize	Размер индекса партиции в таблетке в момент пика. Тип: Uint64.
InFlightTxCount	Количество транзакций, находящихся в процессе исполнения в момент пика. Тип: Uint32.