Fulltext нагрузка

Позволяет тестировать производительность полнотекстового поиска YDB на документных наборах данных. Поддерживает как реальные датасеты (например, MS MARCO), так и синтетически сгенерированный текст при помощи цепи Маркова.

Марковская модель считает, что каждое следующее слово зависит от одного или нескольких предыдущих. Количество предыдущих слов, на основании которых определяется следующее, называется порядком модели. Сначала мы используем обычный генератор случайных чисел с равномерным распределением, чтобы определить длину текста, который будем генерировать. Далее при помощи марковской модели генерируем слово за словом, пока не наберём нужное количество слов. Такое построение данных необходимо, чтобы текст был похож на какой-то реальный человеческий текст, а не представлял собой просто беспорядочный набор букв. Марковская модель может использоваться для:

• генерации текстов документов, которые хранятся в базе данных;
• генерации поисковых запросов (select);
• генерации запросов на запись (upsert).

Структура команды

ydb [global options...] workload fulltext [options...] <subcommand>

Подкоманды:

fulltext            YDB fulltext workload
├─ init               Инициализация таблиц для нагрузки
├─ import             Загрузка данных и построение полнотекстового индекса
│   ├─ files            Импорт данных из файлов
│   └─ generator        Генерация случайного текста с помощью модели цепи Маркова
├─ run                Запуск нагрузки
│   ├─ select           Поиск документов с помощью полнотекстовых запросов
│   └─ upsert           Вставка или обновление документов в таблице
├─ clean              Удаление таблиц, созданных для нагрузочного тестирования
└─ model              Построение модели цепи Маркова из текстового датасета

Общие параметры команд

Все команды поддерживают следующий параметр:

Инициализация нагрузки

Создайте таблицы для нагрузочного тестирования:

ydb workload fulltext init

Доступные параметры

Загрузка данных

После инициализации загрузите данные в таблицы и постройте полнотекстовый индекс. Доступны две подкоманды: files — для импорта из готового датасета, и generator — для генерации синтетических данных.

После завершения импорта автоматически строится полнотекстовый индекс с именем index по столбцу text.

Импорт из файлов

Импорт документов из файлов (CSV, TSV или Parquet, возможно в сжатом формате gzip). Датасет должен содержать столбцы id и text. Для хранения колонки id внутри таблицы используется тип Uint64, для хранения колонки text используется тип String.

Пример запуска:

ydb workload fulltext import files

Доступные параметры

Общие параметры команды import

Генерация синтетических данных

Генерация случайного текста с помощью модели цепи Маркова и загрузка его в таблицу. Перед использованием необходимо построить модель или загрузить готовую.

• Чтобы загрузить уже готовую модель:

  wget https://storage.yandexcloud.net/ydb-public/markov_dict.tsv.gz
  

• Сделать свою модель из данных wikipedia:

  from datasets import load_dataset
  
  ds = load_dataset(
     "rumbleFTW/wikipedia-20220301-en-raw",
     split="train[:1000000]",
     streaming=False,
     )
  ds.to_csv('wikipedia_sample.csv.gz', compression='gzip', index=False)
  

Марковская модель считает что каждое следующее слово зависит от одного или нескольких предыдущих, количество предыдущих слов на основании которого определяется следующее, называется порядком модели. Сначала мы используем обычный случайный генератор с равномерным распределением, чтобы определить длину текста в диапазоне от --min-sentence-len до --max-sentence-len, который будем генерировать далее при помощью марковской модели слово за словом, пока не наберем нужное количество слов. Такое построение данных необходимо чтобы текст был похож на какой то реальный человеческий текст, а не был просто беспорядочным набором букв.

ydb workload fulltext import generator

Доступные параметры

При генерации текста параметры --min-sentence-len и --max-sentence-len используются для того чтобы случайно сгенерировать целевую длину текста, для генерации используется равномерное распределение.

Общие параметры команды import

Запуск нагрузки

Запустите нагрузочное тестирование в одном из двух режимов: select (полнотекстовый поиск) или upsert (вставка новых документов).

Нагрузочное тестирование поисковых запросов

Выполняет полнотекстовые поисковые запросы к индексированной таблице. Запросы могут генерироваться при помощи цепи Маркова или считываться из заранее загруженной таблицы запросов.

ydb workload fulltext run select --model markov_dict.tsv.gz

Доступные параметры

Общие параметры для всех видов нагрузки

Нагрузочное тестирование на запись

Непрерывно вставляет новые документы в таблицу, генерируя текст с помощью модели цепи Маркова.

ydb workload fulltext run upsert --model markov_dict.tsv.gz

Доступные параметры

Общие параметры для всех видов нагрузки

Построение модели цепи Маркова

Перед использованием генератора или режимов run upsert / run select с генерируемыми запросами необходимо построить модель цепи Маркова из текстового датасета. Модель фиксирует вероятности переходов между словами и используется для генерации реалистичного текста.

ydb workload fulltext model --input wikipedia_sample.csv.gz --output markov_dict.tsv.gz --order 3

Доступные параметры

Параметр --order задаёт количество предыдущих слов, на основании которых принимается решение о том, какое слово выбрать следующим. Обычно этот параметр принимает значения от 1 до 5: меньшие значения приводят к более случайным текстам, а большие — к большему сходству с исходным текстом. Размер марковской модели растёт экспоненциально с ростом значения --order.

Очистка данных

Удаление таблиц, созданных для нагрузочного тестирования

ydb workload fulltext clean

Примеры использования

Пример с генерируемым датасетом

1. Скачать либо обучить Марковскую модель:

   • Скачать модель из S3:

     wget https://storage.yandexcloud.net/ydb-public/markov_dict.tsv.gz
     

   • Обучение модели на данных с Wikipedia:

     from datasets import load_dataset
     
     ds = load_dataset(
        "rumbleFTW/wikipedia-20220301-en-raw",
        split="train[:1000000]",
        streaming=False,
        )
     ds.to_csv('wikipedia_sample.csv.gz', compression='gzip', index=False)
     

     ydb workload fulltext model --input wikipedia_sample.csv.gz --output markov_dict.tsv.gz --order 3
     

2. Инициализируйте таблицы для нагрузочного тестирования:

   ydb workload fulltext init
   

3. Генерация и загрузка в БД синтетических документов:

   ydb workload fulltext import generator --model markov_dict.tsv.gz
   

4. Запуск нагрузки на поиск:

   ydb workload fulltext run select --model markov_dict.tsv.gz
   

   Пример вывода:

   Window      Txs Txs/Sec Retries Errors  p50(ms) p95(ms) p99(ms) pMax(ms)
   1            23 23      0       0       242     407     453     453
   2            18 18      0       1       611     807     915     915
   3             6 6       0       7       161     991     991     991
   4            35 35      0       0       173     803     923     923
   5            59 59      0       1       135     647     759     803
   6            26 26      0       0       257     335     339     339
   7            15 15      0       1       651     963     975     975
   8            11 11      0       1       871     943     963     963
   9            18 18      0       6       190     967     999     999
   10           31 31      0       1       433     755     995     995
   
   Total       Txs Txs/Sec Retries Errors  p50(ms) p95(ms) p99(ms) pMax(ms)
   10          242 24.2    0       18      259     915     991     999
   

   Описание колонок:

   • Window – Порядковый номер временного окна (например, каждая секунда или фиксированный интервал).
   • Txs – Количество успешно выполненных транзакций в данном окне (или общее количество по всем окнам в нижней секции).
   • Txs/Sec – Количество транзакций в секунду для данного окна (или среднее значение для итоговой строки).
   • Retries – Количество автоматических повторных попыток из-за временных ошибок (например, конфликтов или троттлинга).
   • Errors – Количество неисправимых ошибок.
   • p50(ms) – Медианная (50-й перцентиль) задержка выполнения транзакции в миллисекундах.
   • p95(ms) – Задержка на уровне 95-го перцентиля (миллисекунды).
   • p99(ms) – Задержка на уровне 99-го перцентиля (миллисекунды).
   • pMax(ms) – Максимальная наблюдаемая задержка в пределах окна (или глобальный максимум для итоговой строки).

5. Запуск нагрузки на запись:

   ydb workload fulltext run upsert --model markov_dict.tsv.gz
   

   Пример вывода:

   Window      Txs Txs/Sec Retries Errors  p50(ms) p95(ms) p99(ms) pMax(ms)
   1           255 255     0       0       31      34      117     123
   2           279 279     0       0       32      37      42      45
   3           282 282     0       0       31      35      37      40
   4           277 277     0       0       32      37      39      42
   5           281 281     0       0       32      38      40      42
   6           278 278     0       0       32      39      41      43
   7           279 279     0       0       32      38      39      43
   8           275 275     0       0       33      39      42      46
   9           282 282     0       0       32      37      39      40
   10          293 293     0       0       31      37      39      41
   
   Total       Txs Txs/Sec Retries Errors  p50(ms) p95(ms) p99(ms) pMax(ms)
   

6. Удаление таблиц, созданных для нагрузочного тестирования:

   ydb workload fulltext clean
   

Пример с датасетом MS MARCO

1. Скачайте пакет данных (содержит documents.tsv.gz, queries.tsv.gz, markov_dict.tsv.gz и query_relevances.tsv.gz):

   wget https://storage.yandexcloud.net/ydb-public/quality-bundle.tar
   tar -xf quality-bundle.tar
   

2. Инициализируйте таблицы для нагрузочного тестирования:

   ydb workload fulltext init
   

3. Импортируйте документы из датасета:

   ydb workload fulltext import files
   

4. Запуск нагрузки на поиск:

   ydb workload fulltext run select --quality
   

   Пример вывода:

   Search quality measurement...
   Search quality measurement completed for 100 queries in 1 seconds.
   nDCG@10:  0.270
   Errors:   0
   Window      Txs Txs/Sec Retries Errors  p50(ms) p95(ms) p99(ms) pMax(ms)
   1            23 23      0       0       242     407     453     453
   2            18 18      0       1       611     807     915     915
   3             6 6       0       7       161     991     991     991
   4            35 35      0       0       173     803     923     923
   5            59 59      0       1       135     647     759     803
   6            26 26      0       0       257     335     339     339
   7            15 15      0       1       651     963     975     975
   8            11 11      0       1       871     943     963     963
   9            18 18      0       6       190     967     999     999
   10           31 31      0       1       433     755     995     995
   
   Total       Txs Txs/Sec Retries Errors  p50(ms) p95(ms) p99(ms) pMax(ms)
   10          242 24.2    0       18      259     915     991     999
   

5. Запуск нагрузки на запись:

   ydb workload fulltext run upsert
   

   Пример вывода:

   Window      Txs Txs/Sec Retries Errors  p50(ms) p95(ms) p99(ms) pMax(ms)
   1           255 255     0       0       31      34      117     123
   2           279 279     0       0       32      37      42      45
   3           282 282     0       0       31      35      37      40
   4           277 277     0       0       32      37      39      42
   5           281 281     0       0       32      38      40      42
   6           278 278     0       0       32      39      41      43
   7           279 279     0       0       32      38      39      43
   8           275 275     0       0       33      39      42      46
   9           282 282     0       0       32      37      39      40
   10          293 293     0       0       31      37      39      41
   
   Total       Txs Txs/Sec Retries Errors  p50(ms) p95(ms) p99(ms) pMax(ms)
   10         2781 278.1   0       0       32      38      41      123
   Window      Txs Txs/Sec Retries Errors  p50(ms) p95(ms) p99(ms) pMax(ms)
   1           255 255     0       0       31      34      117     123
   2           279 279     0       0       32      37      42      45
   3           282 282     0       0       31      35      37      40
   4           277 277     0       0       32      37      39      42
   5           281 281     0       0       32      38      40      42
   6           278 278     0       0       32      39      41      43
   7           279 279     0       0       32      38      39      43
   8           275 275     0       0       33      39      42      46
   9           282 282     0       0       32      37      39      40
   10          293 293     0       0       31      37      39      41
   
   Total       Txs Txs/Sec Retries Errors  p50(ms) p95(ms) p99(ms) pMax(ms)
   10         2781 278.1   0       0       32      38      41      123
   

6. Удаление таблиц, созданных для нагрузочного тестирования:

   ydb workload fulltext clean