Справка по метрикам
- Метрики использования ресурсов
- Метрики GRPC API общие
- Метрики GRPC API для топиков
- Метрики HTTP API
- Метрики Kafka API
- Метрики сессий
- Метрики обработки транзакций
- Метрики обработки запросов
- Метрики партиций таблиц
- Метрики использования ресурсов (только для режима Dedicated)
- Метрики обработки запросов (только для режима Dedicated)
- Метрики топиков
- Агрегированные метрики партиций топика
- Метрики пулов ресурсов
Примечание
См. также Grafana дашборды для YDB.
Метрики использования ресурсов
Имя метрики Тип, единицы измерения |
Описание Метки |
---|---|
resources.storage.used_bytes IGAUGE , байты |
Размер пользовательских и служебных данных, сохраненных в распределенном сетевом хранилище. К служебным данным относятся данные первичного и вторичных индексов. |
resources.storage.limit_bytes IGAUGE , байты |
Ограничение на размер пользовательских и служебных данных, которые база данных может сохранить в распределенном сетевом хранилище. |
Метрики GRPC API общие
Имя метрики Тип, единицы измерения |
Описание Метки |
---|---|
api.grpc.request.bytes RATE , байты |
Размер запросов, которые получены базой данных в определенный период времени. Метки: - api_service – название сервиса gRPC API, например table или data_streams .- method – название метода сервиса gRPC API, например ExecuteDataQuery (для сервиса table ), или PutRecord , GetRecords (для сервиса data_streams ). |
api.grpc.request.dropped_count RATE , штуки |
Количество запросов, обработка которых была прекращена на транспортном (gRPC) уровне из-за ошибки. Метки: - api_service – название сервиса gRPC API, например table .- method – название метода сервиса gRPC API, например ExecuteDataQuery . |
api.grpc.request.inflight_count IGAUGE , штуки |
Количество запросов, которые одновременно обрабатываются базой данных в определенный период времени. Метки: - api_service – название сервиса gRPC API, например table .- method – название метода сервиса gRPC API, например ExecuteDataQuery . |
api.grpc.request.inflight_bytes IGAUGE , байты |
Размер запросов, которые одновременно обрабатываются базой данных в определенный период времени. Метки: - api_service – название сервиса gRPC API, например table .- method – название метода сервиса gRPC API, например ExecuteDataQuery . |
api.grpc.response.bytes RATE , байты |
Размер ответов, которые отправлены базой данный в определенный период времени. Метки: - api_service – название сервиса gRPC API, например table .- method – название метода сервиса gRPC API, например ExecuteDataQuery . |
api.grpc.response.count RATE , штуки |
Количество ответов, которые отправлены базой в определенный период времени. Метки: - api_service – название сервиса gRPC API, например table .- method – название метода сервиса gRPC API, например ExecuteDataQuery .- status – статус выполнения запроса, подробнее статусы описаны в разделе Обработка ошибок. |
api.grpc.response.dropped_count RATE , штуки |
Количество ответов, отправка которых была прекращена на на транспортном (gRPC) уровне из-за ошибки. Метки: - api_service – название сервиса gRPC API, например table .- method – название метода сервиса gRPC API, например ExecuteDataQuery . |
api.grpc.response.issues RATE , штуки |
Количество ошибок определенного типа, возникших при выполнении запросов в определенный период времени. Метки: - issue_type – тип ошибки, единственное значение – optimistic_locks_invalidation , подробнее инвалидация блокировок описана в разделе Транзакции и запросы к YDB. |
Метрики GRPC API для топиков
Имя метрики Тип, единицы измерения |
Описание Метки |
---|---|
grpc.topic.stream_read.commits RATE , штуки |
Количество коммитов метода Ydb::TopicService::StreamRead .Метки: - topic – название топика. - consumer – имя читателя. |
grpc.topic.stream_read.bytes RATE , штуки |
Количество байт, прочитанных методом Ydb::TopicService::StreamRead .Метки: - topic – название топика. - consumer – имя читателя. |
grpc.topic.stream_read.messages RATE , штуки |
Количество сообщений, прочитанных методом Ydb::TopicService::StreamRead .Метки: - topic – название топика. - consumer – имя читателя. |
grpc.topic.stream_read.partition_session.errors RATE , штуки |
Количество ошибок при работе с партицией. Метки: - topic – название топика. - consumer – имя читателя. |
grpc.topic.stream_read.partition_session.started RATE , штуки |
Количество сессий, запущенных в единицу времени. Метки: - topic – название топика. - consumer – имя читателя. |
grpc.topic.stream_read.partition_session.stopped RATE , штуки |
Количество сессий, остановленных в единицу времени. Метки: - topic – название топика. - consumer – имя читателя. |
grpc.topic.stream_read.partition_session.starting_count RATE , штуки |
Количество запускаемых сессий (то есть клиенту пришла команда о запуске сессии, но клиент еще не запустил сессию). Метки: - topic – название топика. - consumer – имя читателя. |
grpc.topic.stream_read.partition_session.stopping_count RATE , штуки |
Количество останавливаемых сессий. Метки: - topic – название топика. - consumer – имя читателя. |
grpc.topic.stream_read.partition_session.count RATE , штуки |
Количество partition_session. Метки: - topic – название топика. - consumer – имя читателя. |
grpc.topic.stream_write.bytes RATE , байты |
Количество байт, записанных методом Ydb::TopicService::StreamWrite .Метки: - topic – название топика. |
grpc.topic.stream_write.uncommitted_bytes RATE , байты |
Количество байт, записанных методом Ydb::TopicService::StreamWrite в рамках ещё не закомиченных транзакций.Метки: - topic – название топика. |
grpc.topic.stream_write.errors RATE , штуки |
Количество ошибок при вызове метода Ydb::TopicService::StreamWrite .Метки: - topic – название топика. |
grpc.topic.stream_write.messages RATE , штуки |
Количество сообщений, записанных методом Ydb::TopicService::StreamWrite .Метки: - topic – название топика. |
grpc.topic.stream_write.uncommitted_messages RATE , штуки |
Количество сообщений, записанных методом Ydb::TopicService::StreamWrite в рамках ещё не закомиченных транзакций.Метки: - topic – название топика. |
grpc.topic.stream_write.partition_throttled_milliseconds HIST_RATE , штуки |
Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество сообщений, ожидавших на квоте. Метки: - topic – название топика. |
grpc.topic.stream_write.sessions_active_count GAUGE , штуки |
Количество открытых сессий записи. Метки: - topic – название топика. |
grpc.topic.stream_write.sessions_created RATE , штуки |
Количество созданных сессий записи. Метки: - topic – название топика. |
Метрики HTTP API
Имя метрики Тип, единицы измерения |
Описание Метки |
---|---|
api.http.data_streams.request.count RATE , штуки |
Количество запросов по протоколу HTTP. Метки: - method – название метода сервиса HTTP API, например PutRecord , GetRecords .- topic – название топика. |
api.http.data_streams.request.bytes RATE , байты |
Суммарный размер запросов по протоколу HTTP. Метки: - method – название метода сервиса HTTP API, в данном случае только PutRecord .- topic – название топика. |
api.http.data_streams.response.count RATE , штуки |
Количество ответов по протоколу HTTP. Метки: - method – название метода сервиса HTTP API, например PutRecord , GetRecords .- topic – название топика. - code – код ответа HTTP. |
api.http.data_streams.response.bytes RATE , байты |
Суммарный размер ответов по протоколу HTTP. Метки: - method – название метода сервиса HTTP API, в данном случае только GetRecords .- topic – название топика. |
api.http.data_streams.response.duration_milliseconds HIST_RATE , штуки |
Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество ответов, время выполнения которых попадает в определенный интервал. Метки: - method – название метода сервиса HTTP API. - topic – название топика. |
api.http.data_streams.get_records.messages RATE , штуки |
Количество сообщений, прочитанных методом GetRecords .Метки: - topic – название топика. |
api.http.data_streams.put_record.messages RATE , штуки |
Количество сообщений, записанных методом PutRecord (всегда =1).Метки: - topic – название топика. |
api.http.data_streams.put_records.failed_messages RATE , штуки |
Количество сообщений, отправленных методом PutRecords , которые не были записаны.Метки: - topic – название топика. |
api.http.data_streams.put_records.successful_messages RATE , штуки |
Количество сообщений, отправленных методом PutRecords , которые были успешно записаны.Метки: - topic – название топика. |
api.http.data_streams.put_records.total_messages RATE , штуки |
Количество сообщений, отправленных методом PutRecords .Метки: - topic – название топика. |
Метрики Kafka API
Имя метрики Тип, единицы измерения |
Описание Метки |
---|---|
api.kafka.request.count RATE , штуки |
Количество запросов по протоколу Kafka в единицу времени. Метки: - method – название метода сервиса Kafka API, например PRODUCE , SASL_HANDSHAKE . |
api.kafka.request.bytes RATE , байты |
Суммарный размер запросов по протоколу Kafka в единицу времени. Метки: - method – название метода сервиса Kafka API, например PRODUCE , SASL_HANDSHAKE . |
api.kafka.response.count RATE , штуки |
Количество ответов по протоколу Kafka в едининицу времени. Метки: - method – название метода сервиса Kafka API, например PRODUCE , SASL_HANDSHAKE .- error_code – код ответа Kafka. |
api.kafka.response.bytes RATE , байты |
Суммарный размер ответов по протоколу Kafka в единицу времени. Метки: - method – название метода сервиса Kafka API, например PRODUCE , SASL_HANDSHAKE . |
api.kafka.response.duration_milliseconds HIST_RATE , штуки |
Гистограммный счетчик. Определяет набор интервалов в миллисекундах и для каждого из них показывает количество запросов с попадающим в этот интервал временем выполнения. Метки: - method – название метода сервиса Kafka API. |
api.kafka.produce.failed_messages RATE , штуки |
Количество сообщений в единицу времени, отправленных методом PRODUCE , которые не были записаны.Метки: - topic – название топика. |
api.kafka.produce.successful_messages RATE , штуки |
Количество сообщений в единицу времени, отправленных методом PRODUCE , которые были успешно записаны.Метки: - topic – название топика. |
api.kafka.produce.total_messages RATE , штуки |
Количество сообщений в единицу времени, отправленных методом PRODUCE Метки: - topic – название топика. |
Метрики сессий
Имя метрики Тип, единицы измерения |
Описание Метки |
---|---|
table.session.active_count IGAUGE , штуки |
Количество сессий, открытых клиентами в данный момент времени. |
table.session.closed_by_idle_count RATE , штуки |
Количество сессий, которые закрыты по инициативе сервера баз данных в определенный период времени из-за превышения времени, выделенного на существование неактивной сессии. |
Метрики обработки транзакций
Длительность выполнения транзакции можно анализировать с помощью гистограммного счетчика. Интервалы заданы в миллисекундах. График показывает количество транзакций, длительность которых попадает в определенный интервал времени.
Имя метрики Тип, единицы измерения |
Описание Метки |
---|---|
table.transaction.total_duration_milliseconds HIST_RATE , штуки |
Количество транзакций определенной длительности выполнения на сервере и клиенте. Длительность выполнения – это время выполнения транзакции от момента явного или неявного открытия транзакции до момента фиксации изменений или отката. Включает время обработки транзакции на сервере и время на клиенте между отправкой разных запросов в одной транзакции. Метки: - tx_kind – тип транзакции, возможные значения read_only , read_write , write_only , pure . |
table.transaction.server_duration_milliseconds HIST_RATE , штуки |
Количество транзакций определенной длительности выполнения на сервере. Длительность выполнения – это время выполнения запросов в транзакции на сервере. Не включет время ожидания на клиенте между отправкой отдельных запросов в одной транзакции. Метки: -tx_kind – тип транзакции, возможные значения read_only , read_write , write_only , pure . |
table.transaction.client_duration_milliseconds HIST_RATE , штуки |
Количество транзакций определенной длительности выполнения на клиенте. Длительность выполнения – это время ожидания на клиенте между отправкой отдельных запросов в одной транзакции. Не включает время выполнения запросов на сервере. Метки: - tx_kind – тип транзакции, возможные значения read_only , read_write , write_only , pure . |
Метрики обработки запросов
Имя метрики Тип, единицы измерения |
Описание Метки |
---|---|
table.query.request.bytes RATE , байты |
Размер текста YQL-запросов и значений параметров к запросам, которые поступили в базу данных в определенный период времени. |
table.query.request.parameters_bytes RATE , байты |
Размер параметров к запросам, которые поступили в базу данных в определенный период времени. |
table.query.response.bytes RATE , байты |
Размер ответов, которые отправлены базой данных в определенный период времени. |
table.query.compilation.latency_milliseconds HIST_RATE , штуки |
Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество успешно выполненных запросов на компиляцию, длительность которых попадает в определенный интервал времени. |
table.query.compilation.active_count IGAUGE , штуки |
Количество компиляций, которые находятся в процессе выполнения в данный момент времени. |
table.query.compilation.count RATE , штуки |
Количество компиляций, которые успешно завершились в определенный период времени. |
table.query.compilation.errors RATE , штуки |
Количество компиляций, которые завершились с ошибкой в определенный период времени. |
table.query.compilation.cache_hits RATE , штуки |
Количество запросов в определенный период времени, для выполнения которых не потребовалось компилировать запрос, так как в кэше подготовленных запросов был созданный ранее план. |
table.query.compilation.cache_misses RATE , штуки |
Количество запросов в определенный период времени, для выполнения которых потребовалось компилировать запрос. |
table.query.execution.latency_milliseconds HIST_RATE , штуки |
Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество запросов, время выполнения которых попадает в определенный интервал. |
Метрики партиций таблиц
Имя метрики Тип, единицы измерения |
Описание Метки |
---|---|
table.datashard.row_count GAUGE , штуки |
Количество строк в таблицах базы данных. |
table.datashard.size_bytes GAUGE , байты |
Размер данных в таблицах базы. |
table.datashard.used_core_percents HIST_GAUGE , % |
Гистограммный счетчик. Интервалы заданы в процентах. Показывает количество партиций таблиц, которые используют вычислительные ресурсы в доле, попадающей в определенный интервал. |
table.datashard.read.rows RATE , штуки |
Количество строк, которые прочитаны всеми партициями всех таблиц в базе данных в определенный период времени. |
table.datashard.read.bytes RATE , байты |
Размер данных, которые прочитаны всеми партициями всех таблиц в базе в определенный период времени. |
table.datashard.write.rows RATE , штуки |
Количество строк, которые записаны всеми партициями всех таблиц в базе данных в определенный период времени. |
table.datashard.write.bytes RATE , байты |
Размер данных, которые записаны всеми партициями всех таблиц в базе в определенный период времени. |
table.datashard.scan.rows RATE , штуки |
Количество строк, которые прочитаны через вызовы gRPC API StreamExecuteScanQuery или StreamReadTable всеми партициями всех таблиц в базе данных в определенный период времени. |
table.datashard.scan.bytes RATE , байты |
Размер данных, которые прочитаны через вызов gRPC API StreamExecuteScanQuery или StreamReadTable всеми партициями всех таблиц в базе в определенный период времени. |
table.datashard.bulk_upsert.rows RATE , штуки |
Количество строк, которые добавлены через вызов gRPC API BulkUpsert во все партиции всех таблиц в базе данных в определенный период времени. |
table.datashard.bulk_upsert.bytes RATE , байты |
Размер данных, которые добавлены через вызов gRPC API BulkUpsert во все партиции всех таблиц в базе в определенный период времени. |
table.datashard.erase.rows RATE , штуки |
Количество строк, которые удалены в базе данных в определенный период времени. |
table.datashard.erase.bytes RATE , байты |
Размер данных, которые удалены в базе в определенный период времени. |
Метрики использования ресурсов (только для режима Dedicated)
Имя метрики Тип единицы измерения |
Описание Метки |
---|---|
resources.cpu.used_core_percents RATE , % |
Использование CPU. Значение 100 означает, что одно из ядер использовано на 100%. Значение может быть больше 100 для конфигураций с более чем 1 ядром.Метки: - pool – вычислительный пул, возможные значения user , system , batch , io , ic . |
resources.cpu.limit_core_percents IGAUGE , % |
Доступный базе данных CPU в процентах. Например, для БД из трех нод по 4 ядра в pool=user в каждой ноде, значение этого сенсора будет равно 1200 .Метки: - pool – вычислительный пул, возможные значения user , system , batch , io , ic . |
resources.memory.used_bytes IGAUGE , байты |
Использованная нодами базы данных оперативная память. |
resources.memory.limit_bytes IGAUGE , байты |
Доступная нодам базы данных оперативная память. |
Метрики обработки запросов (только для режима Dedicated)
Имя метрики Тип единицы измерения |
Описание Метки |
---|---|
table.query.compilation.cache_evictions RATE , штуки |
Количество запросов, вытесненных из кэша подготовленных запросов в определенный период времени. |
table.query.compilation.cache_size_bytes IGAUGE , байты |
Размер кэша подготовленных запросов. |
table.query.compilation.cached_query_count IGAUGE , штуки |
Размер кэша подготовленных запросов. |
Метрики топиков
Имя метрики Тип, единицы измерения |
Описание Метки |
---|---|
topic.producers_count GAUGE , штуки |
Количество уникальных источников топика. Метки: - topic – название топика. |
topic.storage_bytes GAUGE , байты |
Размер топика в байтах. Метки: - topic – название топика. |
topic.read.bytes RATE , байты |
Количество байт, прочитанных из топика. Метки: - topic – название топика. - consumer – имя читателя. |
topic.read.messages RATE , штуки |
Количество сообщений, прочитанных из топика. Метки: - topic – название топика. - consumer – имя читателя. |
topic.read.lag_messages RATE , штуки |
Суммарное по топику количество невычитанных данным читателем сообщений. Метки: - topic – название топика. - consumer – имя читателя. |
topic.read.lag_milliseconds HIST_RATE , штуки |
Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество сообщений, у которых разница между временем чтения и временем создания сообщения попадает в заданный интервал. Метки: - topic – название топика. - consumer – имя читателя. |
topic.write.bytes RATE , байты |
Размер записанных данных. Метки: - topic – название топика. |
topic.write.uncommited_bytes RATE , байты |
Размер данных, записанных в рамках ещё не завершённых транзакций. Метки: - topic — название топика. |
topic.write.uncompressed_bytes RATE , байты |
Размер разжатых записанных данных. Метки: - topic – название топика. |
topic.write.messages RATE , штуки |
Количество записанных сообщений. Метки: - topic – название топика. |
topic.write.uncommitted_messages RATE , штуки |
Количество сообщений, записанных в рамках ещё не завершённых транзакций. Метки: - topic — название топика. |
topic.write.message_size_bytes HIST_RATE , штуки |
Гистограммный счетчик. Интервалы заданы в байтах. Показывает количество сообщений, размер которых соответствует границам интервала. Метки: - topic – название топика. |
topic.write.lag_milliseconds HIST_RATE , штуки |
Гистограммный счетчик. Интервалы заданы в миллисекундах. Показывает количество сообщений, у которых разница между временем записи и временем создания сообщения попадает в заданный интервал. Метки: - topic – название топика. |
Агрегированные метрики партиций топика
В следующей таблице приведены агрегированные метрики партиций для топика. Максимальные и минимальные значения считаются по всем партициям заданного топика.
Имя метрики Тип, единицы измерения |
Описание Метки |
---|---|
topic.partition.init_duration_milliseconds_max GAUGE , миллисекунды |
Максимальная задержка инициализации партиции. Метки: - topic – название топика. |
topic.partition.producers_count_max GAUGE , штуки |
Максимальное количество источников в партиции. Метки: - topic – название топика. |
topic.partition.storage_bytes_max GAUGE , байты |
Максимальный размер партиции в байтах. Метки: - topic – название топика. |
topic.partition.uptime_milliseconds_min GAUGE , штуки |
Минимальное время работы партиции после рестарта. В норме во время rolling restart-а topic.partition.uptime_milliseconds_min близко к 0, после окончания rolling restart-а значение topic.partition.uptime_milliseconds_min должно увеличиваться до бесконечности.Метки: - topic – название топика. |
topic.partition.total_count GAUGE , штуки |
Общее количество партиций в топике. Метки: - topic – название топика. |
topic.partition.alive_count GAUGE , штуки |
Количество партиций, отправляющих свои метрики. Метки: - topic – название топика. |
topic.partition.committed_end_to_end_lag_milliseconds_max GAUGE , миллисекунды |
Максимальная (по всем партициям) разница между текущим временем и временем создания последнего закомиченного сообщения. Метки: - topic – название топика. - consumer – имя читателя. |
topic.partition.committed_lag_messages_max GAUGE , штуки |
Максимальная (по всем партициям) разница между последним оффсетом партиции и закомиченным оффсетом партиции. Метки: - topic – название топика. - consumer – имя читателя. |
topic.partition.committed_read_lag_milliseconds_max GAUGE , миллисекунды |
Максимальная (по всем партициям) разница между текущим временем и временем записи последнего закомиченного сообщения. Метки: - topic – название топика. - consumer – имя читателя. |
topic.partition.end_to_end_lag_milliseconds_max GAUGE , миллисекунды |
Разница между текущим временем и минимальным временем создания среди всех вычитанных за последнюю минуту сообщений во всех партициях. Метки: - topic – название топика. - consumer – имя читателя. |
topic.partition.lag_messages_max GAUGE , штуки |
Максимальная разница (по всем партициям) последнего оффсета в партиции и последнего вычитанного оффсета. Метки: - topic – название топика. - consumer – имя читателя. |
topic.partition.read.lag_milliseconds_max GAUGE , миллисекунды |
Разница между текущим временем и минимальным временем записи среди всех вычитанных за последнюю минуту сообщений во всех партициях. Метки: - topic – название топика. - consumer – имя читателя. |
topic.partition.read.idle_milliseconds_max GAUGE , миллисекунды |
Максимальное время простоя (сколько времени не читали из партиции) по всем партициям. Метки: - topic – название топика. - consumer – имя читателя. |
topic.partition.read.lag_milliseconds_max GAUGE , миллисекунды |
Максимальная разница между временем записи и временем создания среди всех вычитанных за последнюю минуту сообщений. Метки: - topic – название топика. - consumer – имя читателя. |
topic.partition.write.lag_milliseconds_max GAUGE , миллисекунды |
Максимальная разница между временем записи и временем создания среди всех записанных за последнюю минуту сообщений. Метки: - topic – название топика. |
topic.partition.write.speed_limit_bytes_per_second GAUGE , байты в секунду |
Квота на запись в байтах в секунду на одну партицию. Метки: - topic – название топика. |
topic.partition.write.throttled_nanoseconds_max GAUGE , наносекунды |
Максимальное время троттлинга записи (ожидания на квоте) по всем партициям. В пределе если topic.partition.write.throttled_nanoseconds_maх = 10^9, то это означает, что всю секунду ожидали на квоте.Метки: - topic – название топика. |
topic.partition.write.bytes_per_day_max GAUGE , байты |
Максимальное количество байт, записанное за последние сутки, по всем партициям. Метки: - topic – название топика. |
topic.partition.write.bytes_per_hour_max GAUGE , байты |
Максимальное количество байт, записанное за последний час, по всем партициям. Метки: - topic – название топика. |
topic.partition.write.bytes_per_minute_max GAUGE , байты |
Максимальное количество байт, записанное за последнюю минуту, по всем партициям. Метки: - topic – название топика. |
topic.partition.write.idle_milliseconds_max GAUGE , миллисекунды |
Максимальное время простоя партиции на запись. Метки: - topic – название топика. |
Метрики пулов ресурсов
Имя метрики Тип, единицы измерения |
Описание Метки |
---|---|
kqp.workload_manager.CpuQuotaManager.AverageLoadPercentage RATE , штуки |
Средняя загрузка базы данных, по этой метрики работает DATABASE_LOAD_CPU_THRESHOLD . |
kqp.workload_manager.InFlightLimit GAUGE , штуки |
Лимит на число одновременно работающих запросов. |
kqp.workload_manager.GlobalInFly GAUGE , штуки |
Текущее число одновременно работающих запросов. Отображаются только для пулов с включенным CONCURRENT_QUERY_LIMIT или DATABASE_LOAD_CPU_THRESHOLD . |
kqp.workload_manager.QueueSizeLimit GAUGE , штуки |
Размер очереди запросов, ожидающих выполнения. |
kqp.workload_manager.GlobalDelayedRequests GAUGE , штуки |
Количество запросов, ожидающих в очереди на выполнение. Отображаются только для пулов с включенным CONCURRENT_QUERY_LIMIT или DATABASE_LOAD_CPU_THRESHOLD . |