Видеозаписи 2025
- YDB — это просто! Администрирование YDB | СУБД Яндекса
- YDB – архитектура, принципы работы СУБД и результаты тестирования
- Подкаст Руцентра: Александр Зотов (СУБД Яндекса)
- Стоимостный оптимизатор в YDB — как, зачем и почему?
- YDB Topics — корпоративный брокер сообщений от Яндекса
- Как Яндекс разработал алгоритм для стоимостного оптимизатора в YDB
- YDB (СУБД Яндекса) для задач интеграции данных и бизнес-аналитики
- Внутреннее устройство аналитической СУБД Яндекса — YDB DWH
- Новые возможности YDB (СУБД Яндекса) для аналитических систем
- Основы векторного и полнотекстового поиска
YDB — это просто! Администрирование YDB | СУБД Яндекса
На вебинаре представлены практические рекомендации по развёртыванию и администрированию универсальной распределённой СУБД YDB, разработанной Яндексом для высоконагруженных систем. Участникам показывается, как быстро развернуть YDB на собственном оборудовании, эффективно управлять крупными кластерами, а также выполнять обновление без простоев и потери доступности базы данных. В рамках вебинара разбираются основные сценарии административной работы с YDB, что помогает подготовиться к прохождению курса «Администратор YDB».
Вебинар будет полезен дата-инженерам, администраторам инфраструктуры и всем, кто хочет научиться развёртывать и поддерживать YDB.
YDB – архитектура, принципы работы СУБД и результаты тестирования
Вебинар, проведённый компанией «ФОРС Дистрибуция» — одним из крупнейших сервисных центров в России, специализирующимся на адаптации ИТ-инфраструктуры под новые реалии рынка, был посвящён внедрению, эксплуатации и развитию системы YDB. На вебинаре рассказали:
- об архитектурных особенностях YDB, её масштабируемости и отказоустойчивости;
- о современных подходах к мониторингу и диагностике состояния кластера YDB;
- о нюансах разработки приложений под YDB;
- о практиках и инструментах миграции данных в YDB;
- о методах тестирования горизонтальной масштабируемости YDB;
- о планах на будущие исследования и развитие системы.
Вебинар будет полезен ИТ-директорам, архитекторам, администраторам и инженерам, поддерживающим или внедряющим современные отечественные решения для хранения и обработки данных в условиях смены технологических платформ.
Подкаст Руцентра: Александр Зотов (СУБД Яндекса)
Данный выпуск подкаста посвящен обсуждению развития карьеры в IT-сфере и особенностям работы в области СУБД на примере опыта Александра Зотова, директора по развитию бизнеса СУБД Яндекса (YDB).
В этом выпуске обсуждаются особенности принятия управленческих решений в технологической отрасли и стратегический выбор между стабильностью и инновационным развитием. Особое внимание уделяется практическим аспектам работы с СУБД, роли искусственного интеллекта в обработке данных и текущим вызовам развития IT-индустрии.
Материал представляет собой экспертное мнение специалиста с практическим опытом работы в крупной технологической компании и будет полезен как начинающим специалистам, так и опытным профессионалам, интересующимся развитием карьеры в технологической сфере и особенностями работы с современными СУБД.
Стоимостный оптимизатор в YDB — как, зачем и почему?
Данный доклад посвящен развитию стоимостного оптимизатора в распределенной СУБД YDB. Павел Велихов (Руководитель команды оптимизатора запросов) рассматривает эволюция системы от классической OLTP-архитектуры к гибридной HTAP-платформе с поддержкой колоночной аналитики. Подробно анализируется архитектура оптимизатора, включающая энумератор планов, механизм динамического программирования с алгоритмом DPhyp, систему оценки кардинальности и работу с гиперграфом запроса.
Особое внимание уделяется сравнению реализации с аналогичными решениями в других современных распределенных СУБД: CockroachDB, TiDB, Yugabyte и Trino. Представлены результаты бенчмарков, демонстрирующие эффективность оптимизатора, а также обсуждаются основные вызовы, возникшие в процессе разработки.
YDB Topics — корпоративный брокер сообщений от Яндекса
YDB Topics — совместимый с Apache Kafka корпоративный брокер сообщений, являющийся частью СУБД Яндекса YDB. На вебинаре Алексей Николаевский (Руководитель команды разработки стриминговых систем YDB) рассказал, как YDB Topics можно использовать для удобной разработки, быстрой миграции, безопасного администрирования и повышения отказоустойчивости микросервисной архитектуры.
Рассматриваются архитектурные решения, позволяющие совместить в YDB поддержку транзакционных, аналитических и потоковых нагрузок в рамках единой системы, а также преимущества такого подхода для корпоративных пользователей. Рассказывается, как благодаря поддержке распределённых ACID-транзакций между таблицами и топиками отпадает необходимость использования outbox-паттерна, что снижает сложность и затраты при интеграции микросервисов. Особое внимание уделяется гарантиям exactly-once при записи сообщений в ingest-сценариях, что позволяет эффективно бороться с дублями данных. Рассматриваются внутренние механизмы автоматического масштабирования YDB Topics, обеспечивающие быстрый ввод новых серверов и балансировку нагрузки без простоев. Также объясняется, почему для критичных бизнес-процессов важна полная доступность на запись (выше 99,99%), и каким образом YDB Topics этого достигает. В завершение приводятся возможности, важные для корпораций: совместимость с Apache Kafka, поддержка управления квотами и доступом, развитая ролевая модель, аудитные логи и сертификация.
Вебинар полезен разработчикам микросервисов, инженерам и архитекторам данных.
Как Яндекс разработал алгоритм для стоимостного оптимизатора в YDB
Для поддержки эффективных аналитических запросов в СУБД Яндекса реализован механизм стоимостной оптимизации — алгоритм выбора оптимального плана выполнения запроса. При этом такая задача является NP-трудной — для её решения необходимо перебрать все варианты выполнения запроса, и время работы системы увеличивается экспоненциально.
На вебинаре рассматривается архитектура и реализация стоимостного оптимизатора в YDB, начиная от используемых теоретических основ до практического применения в производственных нагрузках. Подробно объясняется, как современные алгоритмы и методы динамического программирования, применённые в оптимизаторе запросов, позволяют системе эффективно обрабатывать сложные SQL-запросы с большим числом JOIN-операций. Отдельное внимание уделяется тому, как реализованный оптимизатор обеспечивает высокую производительность СУБД, а также тому, за счёт каких технологических решений удаётся перебрать до 150 JOIN-операций за секунду.
Вебинар полезен тем, кто интересуется алгоритмами оптимизации, разработкой баз данных, динамическим программированием, — архитекторами и инженерам баз данных, разработчикам прикладного ПО и специалистам по системной интеграции.
YDB (СУБД Яндекса) для задач интеграции данных и бизнес-аналитики
На очередном вебинаре про аналитические возможности YDB детально рассматривается инструментарий для бизнес-аналитики и интеграции данных:
- федеративные запросы в СУБД и S3-совместимые хранилища данных;
- ETL и ELT-интеграции с Apache NiFi и Apache Airflow;
- обработка данных с помощью Apache Spark;
- анализ данных в Jupyter;
- инструменты визуализации: Grafana, DataLens, Apache Superset.
Вебинар будет полезен бизнес-аналитикам, архитекторам данных и специалистам, работающим с хранилищами данных.
Внутреннее устройство аналитической СУБД Яндекса — YDB DWH
На вебинаре по глубокому погружению в архитектуру аналитических компонентов YDB (СУБД Яндекса) детально разобрали внутреннее устройство ключевых механизмов, отвечающих за эффективную обработку аналитических запросов:
- архитектура хранения данных в колоночных шардах YDB DWH и механизмы распределения данных в кластере;
- принципы работы и отличительные особенности стоимостного оптимизатора запросов YDB DWH;
- внутреннее устройство модуля управления нагрузкой (Workload manager) и его влияние на производительность базы данных.
Вебинар полезен разработчикам систем хранения данных, инженерам по оптимизации производительности и архитекторам распределённых систем, желающим глубже понять принципы работы современных СУБД.
Новые возможности YDB (СУБД Яндекса) для аналитических систем
На вебинаре рассказали о новой возможности YDB (СУБД Яндекса) — выполнению сложных аналитических запросов. Теперь СУБД Яндекса позволяет не только разрабатывать транзакционные приложения, но и строить аналитические системы в контуре заказчика — корпоративные хранилища данных. На мероприятии рассказали, как реализовали поддержку одновременно OLAP- и OLTP-нагрузок, добились производительности аналитических запросов в ресурсоёмких бизнес-критичных сценариях, а также поговорили про отличия YDB DWH от PostgreSQL, MongoDB, ClickHouse и Greenplum.
Вебинар будет полезен архитекторам и инженерам баз данных, SRE-инженерам, разработчикам прикладного ПО и специалистам по системной интеграции.
Основы векторного и полнотекстового поиска
Структура векторного поиска в YDB значительно преобразилась от простого векторного до продвинутого индекса. Про историю и технические особенности этого пути рассказал Александр Зевайкин, руководитель группы разработки строковых таблиц.
В общих чертах покрыты теоретические и практические аспекты поиска информации в больших текстовых коллекциях:
- индексирование и обработка текстов, построение инвертированных индексов, лексический анализ, нормализация, стемминг;
- модели поиска: векторная модель, булева модель, вероятностные модели;
- актуальность и оценка поиска: метрики качества (precision, recall и др.), принципы тестирования поисковых систем.
Доклад будет полезен специалистам по анализу данных, ML-инженерам, разработчикам баз данных и разработчикам бэкенда.