Системные таблицы базы данных

Для возможности внутренней интроспекции состояния базы данных пользователю предоставляется возможность осуществлять запросы в специальные служебные таблицы (system views). Эти таблицы доступны из корня дерева базы данных и используют системный префикс пути .sys.

В описаниях доступных полей далее по тексту колонка Ключ содержит индекс поля первичного ключа соответствующей таблицы.

В статье описаны следующие системные таблицы:

• Партиции
• Топы запросов
• Подробная информация о запросах

Партиции

• partition_stats

Системная таблица, предоставляющая детализированную информацию об отдельных партициях всех таблиц базы данных. Содержит информацию о моментальных метриках, таких как нагрузка на CPU или количество транзакций, находящихся в процессе исполнения, а также кумулятивные счётчики операций различного характера над партицией (например, общее количество прочитанных строк). Предназначена в первую очередь для выявления различных неравномерностей в нагрузке на партицию таблицы или размерах данных партиции таблицы.

Структура таблицы:

Ограничения:

• кумулятивные поля (RowReads, RowUpdates и т.д.) хранят накопленные значения с момента последнего старта таблетки, обслуживающей партицию

Примеры:

Топ-5 самых загруженных партиций среди всех таблиц базы данных

SELECT
    Path,
    PartIdx,
    CPUCores
FROM `.sys/partition_stats`
ORDER BY CPUCores DESC
LIMIT 5

Список таблиц базы с размерами и нагрузкой в моменте

SELECT
    Path,
    COUNT(*) as Partitions,
    SUM(RowCount) as Rows,
    SUM(DataSize) as Size,
    SUM(CPUCores) as CPU
FROM `.sys/partition_stats`
GROUP BY Path

Топы запросов

• top_queries_by_duration_one_minute
• top_queries_by_duration_one_hour
• top_queries_by_read_bytes_one_minute
• top_queries_by_read_bytes_one_hour
• top_queries_by_cpu_time_one_minute
• top_queries_by_cpu_time_one_hour

Группа системных таблиц для анализа потока пользовательских запросов. Таблицы позволяют видеть ограниченную по времени историю запросов, разбитую на интервалы. В пределах одного интервала времени сохраняется топ-5 запросов по определённой характеристике. В настоящее время доступны минутные и часовые интервалы, а топ может быть построен по полному времени исполнения запроса (самые медленные), по количеству прочитанных из таблицы байт (самые широкие) и по общему затраченному процессорному времени (самые тяжёлые).

Различные запуски запроса с одним и тем же текстом дедуплицируются. Топ содержит информацию о конкретном запуске с максимальным значением соответствующей характеристики запроса в пределах одного временного интервала.

Поля, предоставляющие информацию о затраченном процессорном времени (...CPUTime), выражены в микросекундах.

Структура таблиц:

Ограничения:

• текст запроса ограничен 4 килобайтами;
• таблицы с поминутными интервалами содержат историю за последние 6 часов;
• таблицы c почасовыми интервалами содержат историю за последние 2 недели

Примеры:

Топ запросов по времени выполнения за последнюю минуту, когда случались запросы

PRAGMA AnsiInForEmptyOrNullableItemsCollections;
$last = (
    SELECT
        MAX(IntervalEnd)
    FROM `.sys/top_queries_by_duration_one_minute`
);
SELECT
    IntervalEnd,
    Rank,
    QueryText,
    Duration
FROM `.sys/top_queries_by_duration_one_minute`
WHERE IntervalEnd IN $last

Запросы, прочитавшие больше всего байт, в разбивке по минутам

SELECT
    IntervalEnd,
    QueryText,
    ReadBytes,
    ReadRows,
    Partitions
FROM `.sys/top_queries_by_read_bytes_one_minute`
WHERE Rank = 1

Подробная информация о запросах

• query_metrics_one_minute

Подробная информация о запросах, разбитая по минутным интервалам. Каждая строка таблицы содержит информацию о множестве случившихся за интервал запросов с одинаковым текстом. Поля таблицы предоставляют минимальное, максимальное и суммарное значение по каждой отслеживаемой характеристике запроса. В пределах интервала запросы отсортированы по убыванию суммарного потраченного процессорного времени.

Структура таблицы:

Ограничения:

• текст запроса ограничен 4 килобайтами;
• таблица содержит историю за последние 6 часов;
• в пределах интервала представлена информация о не более чем 256 различных запросах;
• статистика может быть неполной, если база испытывает сильную нагрузку

Примеры:

Топ-10 запросов за последние 6 часов по общему количеству записанных строк в минутном интервале

SELECT
    SumUpdateRows,
    Count,
    QueryText,
    IntervalEnd
FROM `.sys/query_metrics_one_minute`
ORDER BY SumUpdateRows DESC LIMIT 10

Недавние запросы, прочитавшие больше всего байт за минуту:

SELECT
    IntervalEnd,
    SumReadBytes,
    MinReadBytes,
    SumReadBytes / Count as AvgReadBytes,
    MaxReadBytes,
    QueryText
FROM `.sys/query_metrics_one_minute`
WHERE SumReadBytes > 0
ORDER BY IntervalEnd DESC, SumReadBytes DESC
LIMIT 100

Замечания

Следует иметь в виду, что обращение к системным таблицам имеет скорее аналитический характер нагрузки, и поэтому частое обращение к ним в больших базах будет существенно расходовать системные ресурсы. Нагрузка порядка 1-2 rps вполне допустима.