Справка по метрикам

Примечание

Метрики использования ресурсов

Имя метрики
Тип, единицы измерения
Описание
Метки
resources.storage.used_bytes
IGAUGE, байты
Размер пользовательских и служебных данных, сохраненных в распределенном сетевом хранилище. К служебным данным относятся данные первичного и вторичных индексов.
resources.storage.limit_bytes
IGAUGE, байты
Ограничение на размер пользовательских и служебных данных, которые база данных может сохранить в распределенном сетевом хранилище.

Метрики GRPC API общие

Имя метрики
Тип, единицы измерения
Описание
Метки
api.grpc.request.bytes
RATE, байты
Размер запросов, которые получены базой данных в определенный период времени.
Метки:
- api_service – название сервиса gRPC API, например table или data_streams.
- method – название метода сервиса gRPC API, например ExecuteDataQuery (для сервиса table), или PutRecord, GetRecords (для сервиса data_streams).
api.grpc.request.dropped_count
RATE, штуки
Количество запросов, обработка которых была прекращена на транспортном (gRPC) уровне из-за ошибки.
Метки:
- api_service – название сервиса gRPC API, например table.
- method – название метода сервиса gRPC API, например ExecuteDataQuery.
api.grpc.request.inflight_count
IGAUGE, штуки
Количество запросов, которые одновременно обрабатываются базой данных в определенный период времени.
Метки:
- api_service – название сервиса gRPC API, например table.
- method – название метода сервиса gRPC API, например ExecuteDataQuery.
api.grpc.request.inflight_bytes
IGAUGE, байты
Размер запросов, которые одновременно обрабатываются базой данных в определенный период времени.
Метки:
- api_service – название сервиса gRPC API, например table.
- method – название метода сервиса gRPC API, например ExecuteDataQuery.
api.grpc.response.bytes
RATE, байты
Размер ответов, которые отправлены базой данный в определенный период времени.
Метки:
- api_service – название сервиса gRPC API, например table.
- method – название метода сервиса gRPC API, например ExecuteDataQuery.
api.grpc.response.count
RATE, штуки
Количество ответов, которые отправлены базой в определенный период времени.
Метки:
- api_service – название сервиса gRPC API, например table.
- method – название метода сервиса gRPC API, например ExecuteDataQuery.
- status – статус выполнения запроса, подробнее статусы описаны в разделе Обработка ошибок.
api.grpc.response.dropped_count
RATE, штуки
Количество ответов, отправка которых была прекращена на на транспортном (gRPC) уровне из-за ошибки.
Метки:
- api_service – название сервиса gRPC API, например table.
- method – название метода сервиса gRPC API, например ExecuteDataQuery.
api.grpc.response.issues
RATE, штуки
Количество ошибок определенного типа, возникших при выполнении запросов в определенный период времени.
Метки:
- issue_type – тип ошибки, единственное значение – optimistic_locks_invalidation, подробнее инвалидация блокировок описана в разделе Транзакции и запросы к YDB.

Метрики GRPC API для топиков

Имя метрики
Тип, единицы измерения
Описание
Метки
grpc.topic.stream_read.commits
RATE, штуки
Количество коммитов метода Ydb::TopicService::StreamRead.
Метки:
- topic – название топика.
- consumer – имя читателя.
grpc.topic.stream_read.bytes
RATE, штуки
Количество байт, прочитанных методом Ydb::TopicService::StreamRead.
Метки:
- topic – название топика.
- consumer – имя читателя.
grpc.topic.stream_read.messages
RATE, штуки
Количество сообщений, прочитанных методом Ydb::TopicService::StreamRead.
Метки:
- topic – название топика.
- consumer – имя читателя.
grpc.topic.stream_read.partition_session.errors
RATE, штуки
Количество ошибок при работе с партицией.
Метки:
- topic – название топика.
- consumer – имя читателя.
grpc.topic.stream_read.partition_session.started
RATE, штуки
Количество сессий, запущенных в единицу времени.
Метки:
- topic – название топика.
- consumer – имя читателя.
grpc.topic.stream_read.partition_session.stopped
RATE, штуки
Количество сессий, остановленных в единицу времени.
Метки:
- topic – название топика.
- consumer – имя читателя.
grpc.topic.stream_read.partition_session.starting_count
RATE, штуки
Количество запускаемых сессий (то есть клиенту пришла команда о запуске сессии, но клиент еще не запустил сессию).
Метки:
- topic – название топика.
- consumer – имя читателя.
grpc.topic.stream_read.partition_session.stopping_count
RATE, штуки
Количество останавливаемых сессий.
Метки:
- topic – название топика.
- consumer – имя читателя.
grpc.topic.stream_read.partition_session.count
RATE, штуки
Количество partition_session.
Метки:
- topic – название топика.
- consumer – имя читателя.
grpc.topic.stream_write.bytes
RATE, байты
Количество байт, записанных методом Ydb::TopicService::StreamWrite.
Метки:
- topic – название топика.
grpc.topic.stream_write.uncommitted_bytes
RATE, байты
Количество байт, записанных методом Ydb::TopicService::StreamWrite в рамках ещё не закомиченных транзакций.
Метки:
- topic – название топика.
grpc.topic.stream_write.errors
RATE, штуки
Количество ошибок при вызове метода Ydb::TopicService::StreamWrite.
Метки:
- topic – название топика.
grpc.topic.stream_write.messages
RATE, штуки
Количество сообщений, записанных методом Ydb::TopicService::StreamWrite.
Метки:
- topic – название топика.
grpc.topic.stream_write.uncommitted_messages
RATE, штуки
Количество сообщений, записанных методом Ydb::TopicService::StreamWrite в рамках ещё не закомиченных транзакций.
Метки:
- topic – название топика.
grpc.topic.stream_write.partition_throttled_milliseconds
HIST_RATE, штуки
Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество сообщений, ожидавших на квоте.
Метки:
- topic – название топика.
grpc.topic.stream_write.sessions_active_count
GAUGE, штуки
Количество открытых сессий записи.
Метки:
- topic – название топика.
grpc.topic.stream_write.sessions_created
RATE, штуки
Количество созданных сессий записи.
Метки:
- topic – название топика.

Метрики HTTP API

Имя метрики
Тип, единицы измерения
Описание
Метки
api.http.data_streams.request.count
RATE, штуки
Количество запросов по протоколу HTTP.
Метки:
- method – название метода сервиса HTTP API, например PutRecord, GetRecords.
- topic – название топика.
api.http.data_streams.request.bytes
RATE, байты
Суммарный размер запросов по протоколу HTTP.
Метки:
- method – название метода сервиса HTTP API, в данном случае только PutRecord.
- topic – название топика.
api.http.data_streams.response.count
RATE, штуки
Количество ответов по протоколу HTTP.
Метки:
- method – название метода сервиса HTTP API, например PutRecord, GetRecords.
- topic – название топика.
- code – код ответа HTTP.
api.http.data_streams.response.bytes
RATE, байты
Суммарный размер ответов по протоколу HTTP.
Метки:
- method – название метода сервиса HTTP API, в данном случае только GetRecords.
- topic – название топика.
api.http.data_streams.response.duration_milliseconds
HIST_RATE, штуки
Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество ответов, время выполнения которых попадает в определенный интервал.
Метки:
- method – название метода сервиса HTTP API.
- topic – название топика.
api.http.data_streams.get_records.messages
RATE, штуки
Количество сообщений, прочитанных методом GetRecords.
Метки:
- topic – название топика.
api.http.data_streams.put_record.messages
RATE, штуки
Количество сообщений, записанных методом PutRecord (всегда =1).
Метки:
- topic – название топика.
api.http.data_streams.put_records.failed_messages
RATE, штуки
Количество сообщений, отправленных методом PutRecords, которые не были записаны.
Метки:
- topic – название топика.
api.http.data_streams.put_records.successful_messages
RATE, штуки
Количество сообщений, отправленных методом PutRecords, которые были успешно записаны.
Метки:
- topic – название топика.
api.http.data_streams.put_records.total_messages
RATE, штуки
Количество сообщений, отправленных методом PutRecords.
Метки:
- topic – название топика.

Метрики Kafka API

Имя метрики
Тип, единицы измерения
Описание
Метки
api.kafka.request.count
RATE, штуки
Количество запросов по протоколу Kafka в единицу времени.
Метки:
- method – название метода сервиса Kafka API, например PRODUCE, SASL_HANDSHAKE.
api.kafka.request.bytes
RATE, байты
Суммарный размер запросов по протоколу Kafka в единицу времени.
Метки:
- method – название метода сервиса Kafka API, например PRODUCE, SASL_HANDSHAKE.
api.kafka.response.count
RATE, штуки
Количество ответов по протоколу Kafka в едининицу времени.
Метки:
- method – название метода сервиса Kafka API, например PRODUCE, SASL_HANDSHAKE.
- error_code – код ответа Kafka.
api.kafka.response.bytes
RATE, байты
Суммарный размер ответов по протоколу Kafka в единицу времени.
Метки:
- method – название метода сервиса Kafka API, например PRODUCE, SASL_HANDSHAKE.
api.kafka.response.duration_milliseconds
HIST_RATE, штуки
Гистограммный счетчик. Определяет набор интервалов в миллисекундах и для каждого из них показывает количество запросов с попадающим в этот интервал временем выполнения.
Метки:
- method – название метода сервиса Kafka API.
api.kafka.produce.failed_messages
RATE, штуки
Количество сообщений в единицу времени, отправленных методом PRODUCE, которые не были записаны.
Метки:
- topic – название топика.
api.kafka.produce.successful_messages
RATE, штуки
Количество сообщений в единицу времени, отправленных методом PRODUCE, которые были успешно записаны.
Метки:
- topic – название топика.
api.kafka.produce.total_messages
RATE, штуки
Количество сообщений в единицу времени, отправленных методом PRODUCE
Метки:
- topic – название топика.

Метрики сессий

Имя метрики
Тип, единицы измерения
Описание
Метки
table.session.active_count
IGAUGE, штуки
Количество сессий, открытых клиентами в данный момент времени.
table.session.closed_by_idle_count
RATE, штуки
Количество сессий, которые закрыты по инициативе сервера баз данных в определенный период времени из-за превышения времени, выделенного на существование неактивной сессии.

Метрики обработки транзакций

Длительность выполнения транзакции можно анализировать с помощью гистограммного счетчика. Интервалы заданы в миллисекундах. График показывает количество транзакций, длительность которых попадает в определенный интервал времени.

Имя метрики
Тип, единицы измерения
Описание
Метки
table.transaction.total_duration_milliseconds
HIST_RATE, штуки
Количество транзакций определенной длительности выполнения на сервере и клиенте. Длительность выполнения – это время выполнения транзакции от момента явного или неявного открытия транзакции до момента фиксации изменений или отката. Включает время обработки транзакции на сервере и время на клиенте между отправкой разных запросов в одной транзакции.
Метки:
- tx_kind – тип транзакции, возможные значения read_only, read_write, write_only, pure.
table.transaction.server_duration_milliseconds
HIST_RATE, штуки
Количество транзакций определенной длительности выполнения на сервере. Длительность выполнения – это время выполнения запросов в транзакции на сервере. Не включет время ожидания на клиенте между отправкой отдельных запросов в одной транзакции.
Метки:
-tx_kind – тип транзакции, возможные значения read_only, read_write, write_only, pure.
table.transaction.client_duration_milliseconds
HIST_RATE, штуки
Количество транзакций определенной длительности выполнения на клиенте. Длительность выполнения – это время ожидания на клиенте между отправкой отдельных запросов в одной транзакции. Не включает время выполнения запросов на сервере.
Метки:
- tx_kind – тип транзакции, возможные значения read_only, read_write, write_only, pure.

Метрики обработки запросов

Имя метрики
Тип, единицы измерения
Описание
Метки
table.query.request.bytes
RATE, байты
Размер текста YQL-запросов и значений параметров к запросам, которые поступили в базу данных в определенный период времени.
table.query.request.parameters_bytes
RATE, байты
Размер параметров к запросам, которые поступили в базу данных в определенный период времени.
table.query.response.bytes
RATE, байты
Размер ответов, которые отправлены базой данных в определенный период времени.
table.query.compilation.latency_milliseconds
HIST_RATE, штуки
Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество успешно выполненных запросов на компиляцию, длительность которых попадает в определенный интервал времени.
table.query.compilation.active_count
IGAUGE, штуки
Количество компиляций, которые находятся в процессе выполнения в данный момент времени.
table.query.compilation.count
RATE, штуки
Количество компиляций, которые успешно завершились в определенный период времени.
table.query.compilation.errors
RATE, штуки
Количество компиляций, которые завершились с ошибкой в определенный период времени.
table.query.compilation.cache_hits
RATE, штуки
Количество запросов в определенный период времени, для выполнения которых не потребовалось компилировать запрос, так как в кэше подготовленных запросов был созданный ранее план.
table.query.compilation.cache_misses
RATE, штуки
Количество запросов в определенный период времени, для выполнения которых потребовалось компилировать запрос.
table.query.execution.latency_milliseconds
HIST_RATE, штуки
Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество запросов, время выполнения которых попадает в определенный интервал.

Метрики партиций таблиц

Имя метрики
Тип, единицы измерения
Описание
Метки
table.datashard.row_count
GAUGE, штуки
Количество строк в таблицах базы данных.
table.datashard.size_bytes
GAUGE, байты
Размер данных в таблицах базы.
table.datashard.used_core_percents
HIST_GAUGE, %
Гистограммный счетчик. Интервалы заданы в процентах. Показывает количество партиций таблиц, которые используют вычислительные ресурсы в доле, попадающей в определенный интервал.
table.datashard.read.rows
RATE, штуки
Количество строк, которые прочитаны всеми партициями всех таблиц в базе данных в определенный период времени.
table.datashard.read.bytes
RATE, байты
Размер данных, которые прочитаны всеми партициями всех таблиц в базе в определенный период времени.
table.datashard.write.rows
RATE, штуки
Количество строк, которые записаны всеми партициями всех таблиц в базе данных в определенный период времени.
table.datashard.write.bytes
RATE, байты
Размер данных, которые записаны всеми партициями всех таблиц в базе в определенный период времени.
table.datashard.scan.rows
RATE, штуки
Количество строк, которые прочитаны через вызовы gRPC API StreamExecuteScanQuery или StreamReadTable всеми партициями всех таблиц в базе данных в определенный период времени.
table.datashard.scan.bytes
RATE, байты
Размер данных, которые прочитаны через вызов gRPC API StreamExecuteScanQuery или StreamReadTable всеми партициями всех таблиц в базе в определенный период времени.
table.datashard.bulk_upsert.rows
RATE, штуки
Количество строк, которые добавлены через вызов gRPC API BulkUpsert во все партиции всех таблиц в базе данных в определенный период времени.
table.datashard.bulk_upsert.bytes
RATE, байты
Размер данных, которые добавлены через вызов gRPC API BulkUpsert во все партиции всех таблиц в базе в определенный период времени.
table.datashard.erase.rows
RATE, штуки
Количество строк, которые удалены в базе данных в определенный период времени.
table.datashard.erase.bytes
RATE, байты
Размер данных, которые удалены в базе в определенный период времени.

Метрики использования ресурсов (только для режима Dedicated)

Имя метрики
Тип
единицы измерения
Описание
Метки
resources.cpu.used_core_percents
RATE, %
Использование CPU. Значение 100 означает, что одно из ядер использовано на 100%. Значение может быть больше 100 для конфигураций с более чем 1 ядром.
Метки:
- pool – вычислительный пул, возможные значения user, system, batch, io, ic.
resources.cpu.limit_core_percents
IGAUGE, %
Доступный базе данных CPU в процентах. Например, для БД из трех нод по 4 ядра в pool=user в каждой ноде, значение этого сенсора будет равно 1200.
Метки:
- pool – вычислительный пул, возможные значения user, system, batch, io, ic.
resources.memory.used_bytes
IGAUGE, байты
Использованная нодами базы данных оперативная память.
resources.memory.limit_bytes
IGAUGE, байты
Доступная нодам базы данных оперативная память.

Метрики обработки запросов (только для режима Dedicated)

Имя метрики
Тип
единицы измерения
Описание
Метки
table.query.compilation.cache_evictions
RATE, штуки
Количество запросов, вытесненных из кэша подготовленных запросов в определенный период времени.
table.query.compilation.cache_size_bytes
IGAUGE, байты
Размер кэша подготовленных запросов.
table.query.compilation.cached_query_count
IGAUGE, штуки
Размер кэша подготовленных запросов.

Метрики топиков

Имя метрики
Тип, единицы измерения
Описание
Метки
topic.producers_count
GAUGE, штуки
Количество уникальных источников топика.
Метки:
- topic – название топика.
topic.storage_bytes
GAUGE, байты
Размер топика в байтах.
Метки:
- topic – название топика.
topic.read.bytes
RATE, байты
Количество байт, прочитанных из топика.
Метки:
- topic – название топика.
- consumer – имя читателя.
topic.read.messages
RATE, штуки
Количество сообщений, прочитанных из топика.
Метки:
- topic – название топика.
- consumer – имя читателя.
topic.read.lag_messages
RATE, штуки
Суммарное по топику количество невычитанных данным читателем сообщений.
Метки:
- topic – название топика.
- consumer – имя читателя.
topic.read.lag_milliseconds
HIST_RATE, штуки
Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество сообщений, у которых разница между временем чтения и временем создания сообщения попадает в заданный интервал.
Метки:
- topic – название топика.
- consumer – имя читателя.
topic.write.bytes
RATE, байты
Размер записанных данных.
Метки:
- topic – название топика.
topic.write.uncommited_bytes
RATE, байты
Размер данных, записанных в рамках ещё не завершённых транзакций.
Метки:
- topic — название топика.
topic.write.uncompressed_bytes
RATE, байты
Размер разжатых записанных данных.
Метки:
- topic – название топика.
topic.write.messages
RATE, штуки
Количество записанных сообщений.
Метки:
- topic – название топика.
topic.write.uncommitted_messages
RATE, штуки
Количество сообщений, записанных в рамках ещё не завершённых транзакций.
Метки:
- topic — название топика.
topic.write.message_size_bytes
HIST_RATE, штуки
Гистограммный счетчик. Интервалы заданы в байтах. Показывает количество сообщений, размер которых соответствует границам интервала.
Метки:
- topic – название топика.
topic.write.lag_milliseconds
HIST_RATE, штуки
Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество сообщений, у которых разница между временем записи и временем создания сообщения попадает в заданный интервал.
Метки:
- topic – название топика.

Агрегированные метрики партиций топика

В следующей таблице приведены агрегированные метрики партиций для топика. Максимальные и минимальные значения считаются по всем партициям заданного топика.

Имя метрики
Тип, единицы измерения
Описание
Метки
topic.partition.init_duration_milliseconds_max
GAUGE, миллисекунды
Максимальная задержка инициализации партиции.
Метки:
- topic – название топика.
topic.partition.producers_count_max
GAUGE, штуки
Максимальное количество источников в партиции.
Метки:
- topic – название топика.
topic.partition.storage_bytes_max
GAUGE, байты
Максимальный размер партиции в байтах.
Метки:
- topic – название топика.
topic.partition.uptime_milliseconds_min
GAUGE, штуки
Минимальное время работы партиции после рестарта.
В норме во время rolling restart-а topic.partition.uptime_milliseconds_min близко к 0, после окончания rolling restart-а значение topic.partition.uptime_milliseconds_min должно увеличиваться до бесконечности.
Метки:
- topic – название топика.
topic.partition.total_count
GAUGE, штуки
Общее количество партиций в топике.
Метки:
- topic – название топика.
topic.partition.alive_count
GAUGE, штуки
Количество партиций, отправляющих свои метрики.
Метки:
- topic – название топика.
topic.partition.committed_end_to_end_lag_milliseconds_max
GAUGE, миллисекунды
Максимальная (по всем партициям) разница между текущим временем и временем создания последнего закомиченного сообщения.
Метки:
- topic – название топика.
- consumer – имя читателя.
topic.partition.committed_lag_messages_max
GAUGE, штуки
Максимальная (по всем партициям) разница между последним оффсетом партиции и закомиченным оффсетом партиции.
Метки:
- topic – название топика.
- consumer – имя читателя.
topic.partition.committed_read_lag_milliseconds_max
GAUGE, миллисекунды
Максимальная (по всем партициям) разница между текущим временем и временем записи последнего закомиченного сообщения.
Метки:
- topic – название топика.
- consumer – имя читателя.
topic.partition.end_to_end_lag_milliseconds_max
GAUGE, миллисекунды
Разница между текущим временем и минимальным временем создания среди всех вычитанных за последнюю минуту сообщений во всех партициях.
Метки:
- topic – название топика.
- consumer – имя читателя.
topic.partition.lag_messages_max
GAUGE, штуки
Максимальная разница (по всем партициям) последнего оффсета в партиции и последнего вычитанного оффсета.
Метки:
- topic – название топика.
- consumer – имя читателя.
topic.partition.read.lag_milliseconds_max
GAUGE, миллисекунды
Разница между текущим временем и минимальным временем записи среди всех вычитанных за последнюю минуту сообщений во всех партициях.
Метки:
- topic – название топика.
- consumer – имя читателя.
topic.partition.read.idle_milliseconds_max
GAUGE, миллисекунды
Максимальное время простоя (сколько времени не читали из партиции) по всем партициям.
Метки:
- topic – название топика.
- consumer – имя читателя.
topic.partition.read.lag_milliseconds_max
GAUGE, миллисекунды
Максимальная разница между временем записи и временем создания среди всех вычитанных за последнюю минуту сообщений.
Метки:
- topic – название топика.
- consumer – имя читателя.
topic.partition.write.lag_milliseconds_max
GAUGE, миллисекунды
Максимальная разница между временем записи и временем создания среди всех записанных за последнюю минуту сообщений.
Метки:
- topic – название топика.
topic.partition.write.speed_limit_bytes_per_second
GAUGE, байты в секунду
Квота на запись в байтах в секунду на одну партицию.
Метки:
- topic – название топика.
topic.partition.write.throttled_nanoseconds_max
GAUGE, наносекунды
Максимальное время троттлинга записи (ожидания на квоте) по всем партициям. В пределе если topic.partition.write.throttled_nanoseconds_maх = 10^9, то это означает, что всю секунду ожидали на квоте.
Метки:
- topic – название топика.
topic.partition.write.bytes_per_day_max
GAUGE, байты
Максимальное количество байт, записанное за последние сутки, по всем партициям.
Метки:
- topic – название топика.
topic.partition.write.bytes_per_hour_max
GAUGE, байты
Максимальное количество байт, записанное за последний час, по всем партициям.
Метки:
- topic – название топика.
topic.partition.write.bytes_per_minute_max
GAUGE, байты
Максимальное количество байт, записанное за последнюю минуту, по всем партициям.
Метки:
- topic – название топика.
topic.partition.write.idle_milliseconds_max
GAUGE, миллисекунды
Максимальное время простоя партиции на запись.
Метки:
- topic – название топика.

Метрики пулов ресурсов

Имя метрики
Тип, единицы измерения
Описание
Метки
kqp.workload_manager.CpuQuotaManager.AverageLoadPercentage
RATE, штуки
Средняя загрузка базы данных, по этой метрики работает DATABASE_LOAD_CPU_THRESHOLD.
kqp.workload_manager.InFlightLimit
GAUGE, штуки
Лимит на число одновременно работающих запросов.
kqp.workload_manager.GlobalInFly
GAUGE, штуки
Текущее число одновременно работающих запросов. Отображаются только для пулов с включенным CONCURRENT_QUERY_LIMIT или DATABASE_LOAD_CPU_THRESHOLD.
kqp.workload_manager.QueueSizeLimit
GAUGE, штуки
Размер очереди запросов, ожидающих выполнения.
kqp.workload_manager.GlobalDelayedRequests
GAUGE, штуки
Количество запросов, ожидающих в очереди на выполнение. Отображаются только для пулов с включенным CONCURRENT_QUERY_LIMIT или DATABASE_LOAD_CPU_THRESHOLD.
Предыдущая
Следующая