Видеозаписи 2019

YDB: распределенные запросы в облаках

Database internals

Сергей Пучин (Руководитель группы) рассказал про применяемую модель транзакций и уровни изоляции, особенности SQL-диалекта Yandex Query Language (YQL), параметризацию и подготовку запросов, многошаговые транзакции и механизм оптимистичных блокировок. Также в докладе затронуты общие вопросы эффективного выполнения запросов в распределенных базах данных и рассмотрены основные факторы, влияющие на производительность запросов, и стандартные практики при работе с YDB.

В докладе разобраны сценарии использования YDB под высокими нагрузками внутри Яндекса:

Турбо-страницы. YDB используется для хранения метаданных.
Яндекс.Коллекции. YDB используется для хранения истории о рекомендациях пользователям.
Яндекс Облако. YDB является основным хранилищем метаданных для системных сервисов и сервисов управления пользовательскими данными: Yandex Object Store, Yandex Message Queue.

Слайды

Распределенные транзакции в YDB

Database internals

В докладе рассмотрен алгоритм планирования транзакций, лежащий в основе транзакционной системы YDB. Сделан разбор сущностей, участвующих в транзакциях. На примере распространенной задачи рассмотрена реализация транзакций с применением двухфазного коммита и детерминистических транзакций.

Из доклада вы узнаете:

Что такое таблетки и как они устроены.
Как реализован ACID механизм.
Какие есть уровни изоляции.
Как работают распределенные транзакции.

Слайды

YDB — как мы обеспечиваем отказоустойчивость

Database internals

YDB – горизонтально масштабируемая геораспределенная отказоустойчивая СУБД, выдерживающая отказ дисков, серверов, стоек и дата-центров без нарушения консистентности. Для обеспечения отказоустойчивости применяется собственный алгоритм достижения распределенного консенсуса, а также ряд технических решений, которые детально рассмотрены в докладе.

Владислав Кузнецов (Старший разработчик) рассказал о том, как YDB хранит данные с избыточностью и как YDB решает задачу распределенного консенсуса.

Слайды

Распределенные транзакции в YDB

Database internals

В докладе рассмотрен алгоритм планирования транзакций, на котором основана транзакционная система YDB. Вы узнаете, какие сущности участвуют в транзакциях, кто устанавливает глобальный порядок транзакций и как достигается атомарность транзакций, надежность и изоляция высокого уровня.

На примере общей проблемы показана реализация транзакций с использованием двухфазного коммита и детерминированных транзакций.

Слайды

YDB — эффективная альтернатива традиционным noSQL-решениям

Overview

Андрей Фомичев (Руководитель YDB) рассказал, как и зачем была создана YDB, чем она отличается от других БД и для каких задач она лучше всего подходит.

В докладе подробно разобраны следующие свойства YDB:

Автоматический split/merge шардов.
Автоматическое восстановление после сбоев за время обнаружения отказа.
Синхронная репликация данных, в том числе в геораспределенной конфигурации данных.
Механизм serializable-транзакций между записями базы данных.

Слайды

YDB at Scale: опыт применения в высоконагруженных сервисах Яндекса

Use cases

Представители Auto.ru, Яндекс.Репетитора, Алисы и Condé Nast рассказали, почему они выбрали YDB и как эта СУБД помогает развивать их продукты.

Вы узнаете:

Как YDB хранит гигабайты данных умных устройств.
Почему разработчики Алисы выбрали YDB для хранения логов.
Какие преимущества есть у YDB перед Cassandra и MongoDB.

Слайды

YDB — как выжать 10K IOPS из HDD и вставить в таблицу 50K записей на одном ядре

Use cases

Из доклада вы узнаете об успешном использовании YDB в качестве бэкэнда для распределенной трассировки Jaeger от представителей Auto.ru и Яндекс.Недвижимости, а также об архитектуре распределенного сетевого хранилища в YDB.

Слайды

YDB: Distributed SQL база данных Яндекса

Database internals

Сергей Пучин (Руководитель группы) рассказал об основных моментах, связанных с выполнением распределенных запросов в YDB:

Модель транзакций и уровни изоляции.
Особенности SQL-диалекта Yandex Query Language (YQL).
Многошаговые транзакции и механизм оптимистичных блокировок.
Эффективное выполнение запросов к распределенным БД в целом.
Основные факторы, влияющие на производительность запросов.
Стандартные практики работы с YDB, в том числе инструменты для разработчика.

Доклад будет интересен тем, кто хочет глубже погрузиться в процессы работы YDB и узнать как клиентские приложения взаимодействуют с YDB, и как работает система распределенных транзакций YDB.

Слайды