Справка по метрикам

Примечание

Метрики использования ресурсов

Имя метрики Тип, единицы измерения	Описание Метки
`resources.storage.used_bytes` `IGAUGE`, байты	Размер пользовательских и служебных данных, сохраненных в распределенном сетевом хранилище. К служебным данным относятся данные первичного и вторичных индексов.
`resources.storage.limit_bytes` `IGAUGE`, байты	Ограничение на размер пользовательских и служебных данных, которые база данных может сохранить в распределенном сетевом хранилище.

Метрики GRPC API общие

Имя метрики Тип, единицы измерения	Описание Метки
`api.grpc.request.bytes` `RATE`, байты	Размер запросов, которые получены базой данных в определенный период времени. Метки: - api_service – название сервиса gRPC API, например `table` или `data_streams`. - method – название метода сервиса gRPC API, например `ExecuteDataQuery` (для сервиса `table`), или `PutRecord`, `GetRecords` (для сервиса `data_streams`).
`api.grpc.request.dropped_count` `RATE`, штуки	Количество запросов, обработка которых была прекращена на транспортном (gRPC) уровне из-за ошибки. Метки: - api_service – название сервиса gRPC API, например `table`. - method – название метода сервиса gRPC API, например `ExecuteDataQuery`.
`api.grpc.request.inflight_count` `IGAUGE`, штуки	Количество запросов, которые одновременно обрабатываются базой данных в определенный период времени. Метки: - api_service – название сервиса gRPC API, например `table`. - method – название метода сервиса gRPC API, например `ExecuteDataQuery`.
`api.grpc.request.inflight_bytes` `IGAUGE`, байты	Размер запросов, которые одновременно обрабатываются базой данных в определенный период времени. Метки: - api_service – название сервиса gRPC API, например `table`. - method – название метода сервиса gRPC API, например `ExecuteDataQuery`.
`api.grpc.response.bytes` `RATE`, байты	Размер ответов, которые отправлены базой данный в определенный период времени. Метки: - api_service – название сервиса gRPC API, например `table`. - method – название метода сервиса gRPC API, например `ExecuteDataQuery`.
`api.grpc.response.count` `RATE`, штуки	Количество ответов, которые отправлены базой в определенный период времени. Метки: - api_service – название сервиса gRPC API, например `table`. - method – название метода сервиса gRPC API, например `ExecuteDataQuery`. - status – статус выполнения запроса, подробнее статусы описаны в разделе Обработка ошибок.
`api.grpc.response.dropped_count` `RATE`, штуки	Количество ответов, отправка которых была прекращена на на транспортном (gRPC) уровне из-за ошибки. Метки: - api_service – название сервиса gRPC API, например `table`. - method – название метода сервиса gRPC API, например `ExecuteDataQuery`.
`api.grpc.response.issues` `RATE`, штуки	Количество ошибок определенного типа, возникших при выполнении запросов в определенный период времени. Метки: - issue_type – тип ошибки, единственное значение – `optimistic_locks_invalidation`, подробнее инвалидация блокировок описана в разделе Транзакции и запросы к YDB.

Метрики GRPC API для топиков

Имя метрики Тип, единицы измерения	Описание Метки
`grpc.topic.stream_read.commits` `RATE`, штуки	Количество коммитов метода `Ydb::TopicService::StreamRead`. Метки: - topic – название топика. - consumer – имя читателя.
`grpc.topic.stream_read.bytes` `RATE`, штуки	Количество байт, прочитанных методом `Ydb::TopicService::StreamRead`. Метки: - topic – название топика. - consumer – имя читателя.
`grpc.topic.stream_read.messages` `RATE`, штуки	Количество сообщений, прочитанных методом `Ydb::TopicService::StreamRead`. Метки: - topic – название топика. - consumer – имя читателя.
`grpc.topic.stream_read.partition_session.errors` `RATE`, штуки	Количество ошибок при работе с партицией. Метки: - topic – название топика. - consumer – имя читателя.
`grpc.topic.stream_read.partition_session.started` `RATE`, штуки	Количество сессий, запущенных в единицу времени. Метки: - topic – название топика. - consumer – имя читателя.
`grpc.topic.stream_read.partition_session.stopped` `RATE`, штуки	Количество сессий, остановленных в единицу времени. Метки: - topic – название топика. - consumer – имя читателя.
`grpc.topic.stream_read.partition_session.starting_count` `RATE`, штуки	Количество запускаемых сессий (то есть клиенту пришла команда о запуске сессии, но клиент еще не запустил сессию). Метки: - topic – название топика. - consumer – имя читателя.
`grpc.topic.stream_read.partition_session.stopping_count` `RATE`, штуки	Количество останавливаемых сессий. Метки: - topic – название топика. - consumer – имя читателя.
`grpc.topic.stream_read.partition_session.count` `RATE`, штуки	Количество partition_session. Метки: - topic – название топика. - consumer – имя читателя.
`grpc.topic.stream_write.bytes` `RATE`, байты	Количество байт, записанных методом `Ydb::TopicService::StreamWrite`. Метки: - topic – название топика.
`grpc.topic.stream_write.uncommitted_bytes` `RATE`, байты	Количество байт, записанных методом `Ydb::TopicService::StreamWrite` в рамках ещё не закомиченных транзакций. Метки: - topic – название топика.
`grpc.topic.stream_write.errors` `RATE`, штуки	Количество ошибок при вызове метода `Ydb::TopicService::StreamWrite`. Метки: - topic – название топика.
`grpc.topic.stream_write.messages` `RATE`, штуки	Количество сообщений, записанных методом `Ydb::TopicService::StreamWrite`. Метки: - topic – название топика.
`grpc.topic.stream_write.uncommitted_messages` `RATE`, штуки	Количество сообщений, записанных методом `Ydb::TopicService::StreamWrite` в рамках ещё не закомиченных транзакций. Метки: - topic – название топика.
`grpc.topic.stream_write.partition_throttled_milliseconds` `HIST_RATE`, штуки	Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество сообщений, ожидавших на квоте. Метки: - topic – название топика.
`grpc.topic.stream_write.sessions_active_count` `GAUGE`, штуки	Количество открытых сессий записи. Метки: - topic – название топика.
`grpc.topic.stream_write.sessions_created` `RATE`, штуки	Количество созданных сессий записи. Метки: - topic – название топика.

Метрики HTTP API

Имя метрики Тип, единицы измерения	Описание Метки
`api.http.data_streams.request.count` `RATE`, штуки	Количество запросов по протоколу HTTP. Метки: - method – название метода сервиса HTTP API, например `PutRecord`, `GetRecords`. - topic – название топика.
`api.http.data_streams.request.bytes` `RATE`, байты	Суммарный размер запросов по протоколу HTTP. Метки: - method – название метода сервиса HTTP API, в данном случае только `PutRecord`. - topic – название топика.
`api.http.data_streams.response.count` `RATE`, штуки	Количество ответов по протоколу HTTP. Метки: - method – название метода сервиса HTTP API, например `PutRecord`, `GetRecords`. - topic – название топика. - code – код ответа HTTP.
`api.http.data_streams.response.bytes` `RATE`, байты	Суммарный размер ответов по протоколу HTTP. Метки: - method – название метода сервиса HTTP API, в данном случае только `GetRecords`. - topic – название топика.
`api.http.data_streams.response.duration_milliseconds` `HIST_RATE`, штуки	Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество ответов, время выполнения которых попадает в определенный интервал. Метки: - method – название метода сервиса HTTP API. - topic – название топика.
`api.http.data_streams.get_records.messages` `RATE`, штуки	Количество сообщений, прочитанных методом `GetRecords`. Метки: - topic – название топика.
`api.http.data_streams.put_record.messages` `RATE`, штуки	Количество сообщений, записанных методом `PutRecord` (всегда =1). Метки: - topic – название топика.
`api.http.data_streams.put_records.failed_messages` `RATE`, штуки	Количество сообщений, отправленных методом `PutRecords`, которые не были записаны. Метки: - topic – название топика.
`api.http.data_streams.put_records.successful_messages` `RATE`, штуки	Количество сообщений, отправленных методом `PutRecords`, которые были успешно записаны. Метки: - topic – название топика.
`api.http.data_streams.put_records.total_messages` `RATE`, штуки	Количество сообщений, отправленных методом `PutRecords`. Метки: - topic – название топика.

Метрики Kafka API

Имя метрики Тип, единицы измерения	Описание Метки
`api.kafka.request.count` `RATE`, штуки	Количество запросов по протоколу Kafka в единицу времени. Метки: - method – название метода сервиса Kafka API, например `PRODUCE`, `SASL_HANDSHAKE`.
`api.kafka.request.bytes` `RATE`, байты	Суммарный размер запросов по протоколу Kafka в единицу времени. Метки: - method – название метода сервиса Kafka API, например `PRODUCE`, `SASL_HANDSHAKE`.
`api.kafka.response.count` `RATE`, штуки	Количество ответов по протоколу Kafka в едининицу времени. Метки: - method – название метода сервиса Kafka API, например `PRODUCE`, `SASL_HANDSHAKE`. - error_code – код ответа Kafka.
`api.kafka.response.bytes` `RATE`, байты	Суммарный размер ответов по протоколу Kafka в единицу времени. Метки: - method – название метода сервиса Kafka API, например `PRODUCE`, `SASL_HANDSHAKE`.
`api.kafka.response.duration_milliseconds` `HIST_RATE`, штуки	Гистограммный счетчик. Определяет набор интервалов в миллисекундах и для каждого из них показывает количество запросов с попадающим в этот интервал временем выполнения. Метки: - method – название метода сервиса Kafka API.
`api.kafka.produce.failed_messages` `RATE`, штуки	Количество сообщений в единицу времени, отправленных методом `PRODUCE`, которые не были записаны. Метки: - topic – название топика.
`api.kafka.produce.successful_messages` `RATE`, штуки	Количество сообщений в единицу времени, отправленных методом `PRODUCE`, которые были успешно записаны. Метки: - topic – название топика.
`api.kafka.produce.total_messages` `RATE`, штуки	Количество сообщений в единицу времени, отправленных методом `PRODUCE` Метки: - topic – название топика.

Метрики сессий

Имя метрики Тип, единицы измерения	Описание Метки
`table.session.active_count` `IGAUGE`, штуки	Количество сессий, открытых клиентами в данный момент времени.
`table.session.closed_by_idle_count` `RATE`, штуки	Количество сессий, которые закрыты по инициативе сервера баз данных в определенный период времени из-за превышения времени, выделенного на существование неактивной сессии.

Метрики обработки транзакций

Длительность выполнения транзакции можно анализировать с помощью гистограммного счетчика. Интервалы заданы в миллисекундах. График показывает количество транзакций, длительность которых попадает в определенный интервал времени.

Имя метрики Тип, единицы измерения	Описание Метки
`table.transaction.total_duration_milliseconds` `HIST_RATE`, штуки	Количество транзакций определенной длительности выполнения на сервере и клиенте. Длительность выполнения – это время выполнения транзакции от момента явного или неявного открытия транзакции до момента фиксации изменений или отката. Включает время обработки транзакции на сервере и время на клиенте между отправкой разных запросов в одной транзакции. Метки: - tx_kind – тип транзакции, возможные значения `read_only`, `read_write`, `write_only`, `pure`.
`table.transaction.server_duration_milliseconds` `HIST_RATE`, штуки	Количество транзакций определенной длительности выполнения на сервере. Длительность выполнения – это время выполнения запросов в транзакции на сервере. Не включет время ожидания на клиенте между отправкой отдельных запросов в одной транзакции. Метки: -tx_kind – тип транзакции, возможные значения `read_only`, `read_write`, `write_only`, `pure`.
`table.transaction.client_duration_milliseconds` `HIST_RATE`, штуки	Количество транзакций определенной длительности выполнения на клиенте. Длительность выполнения – это время ожидания на клиенте между отправкой отдельных запросов в одной транзакции. Не включает время выполнения запросов на сервере. Метки: - tx_kind – тип транзакции, возможные значения `read_only`, `read_write`, `write_only`, `pure`.

Метрики обработки запросов

Имя метрики Тип, единицы измерения	Описание Метки
`table.query.request.bytes` `RATE`, байты	Размер текста YQL-запросов и значений параметров к запросам, которые поступили в базу данных в определенный период времени.
`table.query.request.parameters_bytes` `RATE`, байты	Размер параметров к запросам, которые поступили в базу данных в определенный период времени.
`table.query.response.bytes` `RATE`, байты	Размер ответов, которые отправлены базой данных в определенный период времени.
`table.query.compilation.latency_milliseconds` `HIST_RATE`, штуки	Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество успешно выполненных запросов на компиляцию, длительность которых попадает в определенный интервал времени.
`table.query.compilation.active_count` `IGAUGE`, штуки	Количество компиляций, которые находятся в процессе выполнения в данный момент времени.
`table.query.compilation.count` `RATE`, штуки	Количество компиляций, которые успешно завершились в определенный период времени.
`table.query.compilation.errors` `RATE`, штуки	Количество компиляций, которые завершились с ошибкой в определенный период времени.
`table.query.compilation.cache_hits` `RATE`, штуки	Количество запросов в определенный период времени, для выполнения которых не потребовалось компилировать запрос, так как в кэше подготовленных запросов был созданный ранее план.
`table.query.compilation.cache_misses` `RATE`, штуки	Количество запросов в определенный период времени, для выполнения которых потребовалось компилировать запрос.
`table.query.execution.latency_milliseconds` `HIST_RATE`, штуки	Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество запросов, время выполнения которых попадает в определенный интервал.

Метрики партиций таблиц

Имя метрики Тип, единицы измерения	Описание Метки
`table.datashard.row_count` `GAUGE`, штуки	Количество строк в таблицах базы данных.
`table.datashard.size_bytes` `GAUGE`, байты	Размер данных в таблицах базы.
`table.datashard.used_core_percents` `HIST_GAUGE`, %	Гистограммный счетчик. Интервалы заданы в процентах. Показывает количество партиций таблиц, которые используют вычислительные ресурсы в доле, попадающей в определенный интервал.
`table.datashard.read.rows` `RATE`, штуки	Количество строк, которые прочитаны всеми партициями всех таблиц в базе данных в определенный период времени.
`table.datashard.read.bytes` `RATE`, байты	Размер данных, которые прочитаны всеми партициями всех таблиц в базе в определенный период времени.
`table.datashard.write.rows` `RATE`, штуки	Количество строк, которые записаны всеми партициями всех таблиц в базе данных в определенный период времени.
`table.datashard.write.bytes` `RATE`, байты	Размер данных, которые записаны всеми партициями всех таблиц в базе в определенный период времени.
`table.datashard.scan.rows` `RATE`, штуки	Количество строк, которые прочитаны через вызовы gRPC API `StreamExecuteScanQuery` или `StreamReadTable` всеми партициями всех таблиц в базе данных в определенный период времени.
`table.datashard.scan.bytes` `RATE`, байты	Размер данных, которые прочитаны через вызов gRPC API `StreamExecuteScanQuery` или `StreamReadTable` всеми партициями всех таблиц в базе в определенный период времени.
`table.datashard.bulk_upsert.rows` `RATE`, штуки	Количество строк, которые добавлены через вызов gRPC API `BulkUpsert` во все партиции всех таблиц в базе данных в определенный период времени.
`table.datashard.bulk_upsert.bytes` `RATE`, байты	Размер данных, которые добавлены через вызов gRPC API `BulkUpsert` во все партиции всех таблиц в базе в определенный период времени.
`table.datashard.erase.rows` `RATE`, штуки	Количество строк, которые удалены в базе данных в определенный период времени.
`table.datashard.erase.bytes` `RATE`, байты	Размер данных, которые удалены в базе в определенный период времени.

Метрики использования ресурсов (только для режима Dedicated)

Имя метрики Тип единицы измерения	Описание Метки
`resources.cpu.used_core_percents` `RATE`, %	Использование CPU. Значение `100` означает, что одно из ядер использовано на 100%. Значение может быть больше `100` для конфигураций с более чем 1 ядром. Метки: - pool – вычислительный пул, возможные значения `user`, `system`, `batch`, `io`, `ic`.
`resources.cpu.limit_core_percents` `IGAUGE`, %	Доступный базе данных CPU в процентах. Например, для БД из трех нод по 4 ядра в `pool=user` в каждой ноде, значение этого сенсора будет равно `1200`. Метки: - pool – вычислительный пул, возможные значения `user`, `system`, `batch`, `io`, `ic`.
`resources.memory.used_bytes` `IGAUGE`, байты	Использованная нодами базы данных оперативная память.
`resources.memory.limit_bytes` `IGAUGE`, байты	Доступная нодам базы данных оперативная память.

Метрики обработки запросов (только для режима Dedicated)

Имя метрики Тип единицы измерения	Описание Метки
`table.query.compilation.cache_evictions` `RATE`, штуки	Количество запросов, вытесненных из кэша подготовленных запросов в определенный период времени.
`table.query.compilation.cache_size_bytes` `IGAUGE`, байты	Размер кэша подготовленных запросов.
`table.query.compilation.cached_query_count` `IGAUGE`, штуки	Размер кэша подготовленных запросов.

Метрики топиков

Имя метрики Тип, единицы измерения	Описание Метки
`topic.producers_count` `GAUGE`, штуки	Количество уникальных источников топика. Метки: - topic – название топика.
`topic.storage_bytes` `GAUGE`, байты	Размер топика в байтах. Метки: - topic – название топика.
`topic.read.bytes` `RATE`, байты	Количество байт, прочитанных из топика. Метки: - topic – название топика. - consumer – имя читателя.
`topic.read.messages` `RATE`, штуки	Количество сообщений, прочитанных из топика. Метки: - topic – название топика. - consumer – имя читателя.
`topic.read.lag_messages` `RATE`, штуки	Суммарное по топику количество невычитанных данным читателем сообщений. Метки: - topic – название топика. - consumer – имя читателя.
`topic.read.lag_milliseconds` `HIST_RATE`, штуки	Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество сообщений, у которых разница между временем чтения и временем создания сообщения попадает в заданный интервал. Метки: - topic – название топика. - consumer – имя читателя.
`topic.write.bytes` `RATE`, байты	Размер записанных данных. Метки: - topic – название топика.
`topic.write.uncompressed_bytes` `RATE`, байты	Размер разжатых записанных данных. Метки: - topic – название топика.
`topic.write.messages` `RATE`, штуки	Количество записанных сообщений. Метки: - topic – название топика.
`topic.write.message_size_bytes` `HIST_RATE`, штуки	Гистограммный счетчик. Интервалы заданы в байтах. Показывает количество сообщений, размер которых соответствует границам интервала. Метки: - topic – название топика.
`topic.write.lag_milliseconds` `HIST_RATE`, штуки	Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество сообщений, у которых разница между временем записи и временем создания сообщения попадает в заданный интервал. Метки: - topic – название топика.

Агрегированные метрики партиций топика

В следующей таблице приведены агрегированные метрики партиций для топика. Максимальные и минимальные значения считаются по всем партициям заданного топика.

Имя метрики Тип, единицы измерения	Описание Метки
`topic.partition.init_duration_milliseconds_max` `GAUGE`, миллисекунды	Максимальная задержка инициализации партиции. Метки: - topic – название топика.
`topic.partition.producers_count_max` `GAUGE`, штуки	Максимальное количество источников в партиции. Метки: - topic – название топика.
`topic.partition.storage_bytes_max` `GAUGE`, байты	Максимальный размер партиции в байтах. Метки: - topic – название топика.
`topic.partition.uptime_milliseconds_min` `GAUGE`, штуки	Минимальное время работы партиции после рестарта. В норме во время rolling restart-а `topic.partition.uptime_milliseconds_min` близко к 0, после окончания rolling restart-а значение `topic.partition.uptime_milliseconds_min` должно увеличиваться до бесконечности. Метки: - topic – название топика.
`topic.partition.total_count` `GAUGE`, штуки	Общее количество партиций в топике. Метки: - topic – название топика.
`topic.partition.alive_count` `GAUGE`, штуки	Количество партиций, отправляющих свои метрики. Метки: - topic – название топика.
`topic.partition.committed_end_to_end_lag_milliseconds_max` `GAUGE`, миллисекунды	Максимальная (по всем партициям) разница между текущим временем и временем создания последнего закомиченного сообщения. Метки: - topic – название топика. - consumer – имя читателя.
`topic.partition.committed_lag_messages_max` `GAUGE`, штуки	Максимальная (по всем партициям) разница между последним оффсетом партиции и закомиченным оффсетом партиции. Метки: - topic – название топика. - consumer – имя читателя.
`topic.partition.committed_read_lag_milliseconds_max` `GAUGE`, миллисекунды	Максимальная (по всем партициям) разница между текущим временем и временем записи последнего закомиченного сообщения. Метки: - topic – название топика. - consumer – имя читателя.
`topic.partition.end_to_end_lag_milliseconds_max` `GAUGE`, миллисекунды	Разница между текущим временем и минимальным временем создания среди всех вычитанных за последнюю минуту сообщений во всех партициях. Метки: - topic – название топика. - consumer – имя читателя.
`topic.partition.lag_messages_max` `GAUGE`, штуки	Максимальная разница (по всем партициям) последнего оффсета в партиции и последнего вычитанного оффсета. Метки: - topic – название топика. - consumer – имя читателя.
`topic.partition.read.lag_milliseconds_max` `GAUGE`, миллисекунды	Разница между текущим временем и минимальным временем записи среди всех вычитанных за последнюю минуту сообщений во всех партициях. Метки: - topic – название топика. - consumer – имя читателя.
`topic.partition.read.idle_milliseconds_max` `GAUGE`, миллисекунды	Максимальное время простоя (сколько времени не читали из партиции) по всем партициям. Метки: - topic – название топика. - consumer – имя читателя.
`topic.partition.read.lag_milliseconds_max` `GAUGE`, миллисекунды	Максимальная разница между временем записи и временем создания среди всех вычитанных за последнюю минуту сообщений. Метки: - topic – название топика. - consumer – имя читателя.
`topic.partition.write.lag_milliseconds_max` `GAUGE`, миллисекунды	Максимальная разница между временем записи и временем создания среди всех записанных за последнюю минуту сообщений. Метки: - topic – название топика.
`topic.partition.write.speed_limit_bytes_per_second` `GAUGE`, байты в секунду	Квота на запись в байтах в секунду на одну партицию. Метки: - topic – название топика.
`topic.partition.write.throttled_nanoseconds_max` `GAUGE`, наносекунды	Максимальное время троттлинга записи (ожидания на квоте) по всем партициям. В пределе если `topic.partition.write.throttled_nanoseconds_maх` = 10^9, то это означает, что всю секунду ожидали на квоте. Метки: - topic – название топика.
`topic.partition.write.bytes_per_day_max` `GAUGE`, байты	Максимальное количество байт, записанное за последние сутки, по всем партициям. Метки: - topic – название топика.
`topic.partition.write.bytes_per_hour_max` `GAUGE`, байты	Максимальное количество байт, записанное за последний час, по всем партициям. Метки: - topic – название топика.
`topic.partition.write.bytes_per_minute_max` `GAUGE`, байты	Максимальное количество байт, записанное за последнюю минуту, по всем партициям. Метки: - topic – название топика.
`topic.partition.write.idle_milliseconds_max` `GAUGE`, миллисекунды	Максимальное время простоя партиции на запись. Метки: - topic – название топика.