SQL для продвинутых специалистов (группа №2, для сотрудников ПАО "Ростелеком")

Организационное собрание

Организаторы: Светлана Пичкуренко, Елена Сырцова, Ольга Токмакова, Азат Якупов

ЗАНЯТИЕ №1

Введение в курс работы с БД. Демонстрация установки среды разработки

Краткое содержание

Типы Баз Данных. Актуальность Баз Данных. Импортозамещение. Большие данные и большие хранилища данных (Озера).

Преподаватель:

Якупов Азат Шавкатович

Самостоятельная работа

Просмотр видеозанятия №1, выполнение домашнего задания — лабораторной работы №1, изучение преридера к занятию №2

Домашняя работа

ЗАНЯТИЕ №2

CI/CD для баз данных. Версионирование данных. Flyway инструмент.

Краткое содержание

Что такое CI/CD? Canary and Blue/Green deployment. Детали настройки flyway.

Преподаватель:

Якупов Азат Шавкатович

Самостоятельная работа

Просмотр видеозанятия №2, выполнение домашнего задания — лабораторной работы №2, изучение преридера к занятию №3

Домашняя работа

ЗАНЯТИЕ №3

Нагрузочные тестирования баз данных. pg_bench инструмент.

Краткое содержание

TPC-C. TPC-H. Для чего нужно тестирование. Метрики тестирования (TPS / latency). Квартили метрик.

Преподаватель:

Якупов Азат Шавкатович

Самостоятельная работа

Просмотр видеозанятия №3, выполнение домашнего задания — лабораторной работы №3, изучение преридера к занятию №4

Домашняя работа

ЗАНЯТИЕ №4

Стандарты и виды тестирования. Схемы базы данных и tablespaces. Настройка кластера для SSL. Типы таблиц. Стандартная таблица (Heap Table). Page

Краткое содержание

Логическое и физическое разделения данных. Бизнес примеры работы с tablespaces. Импорт данных в БД. Структура PAGE. Экспорт данных из БД.

Преподаватель:

Якупов Азат Шавкатович

Самостоятельная работа

Просмотр видеозанятия №4, выполнение домашнего задания — лабораторной работы №4, изучение преридера к занятию №5

Домашняя работа

ЗАНЯТИЕ №5

Политики работы с данными в Heap Table. Fillfactor. Оптимизация

Краткое содержание

TOAST таблицы и их оптимизация.

Преподаватель:

Якупов Азат Шавкатович

Самостоятельная работа

Просмотр видеозанятия №5, выполнение домашнего задания — лабораторной работы №5, изучение преридера к занятию №6

Домашняя работа

ЗАНЯТИЕ №6

Журналируемые / нежурналируемые таблицы. Журнал Базы Данных

Краткое содержание

Примеры работы журнала базы данных. Ускорение сбора данных.

Преподаватель:

Якупов Азат Шавкатович

Самостоятельная работа

Просмотр видеозанятия №6, выполнение домашнего задания — лабораторной работы №6, изучение преридера к занятию №7

Домашняя работа

ЗАНЯТИЕ №7

Временные / постоянные таблицы. Кластеризованные таблицы

Краткое содержание

Бизнес примеры использования временных таблиц. Подводные камни временных таблиц.

Преподаватель:

Якупов Азат Шавкатович

Самостоятельная работа

Просмотр видеозанятия №7, выполнение домашнего задания — лабораторной работы №7, изучение преридера к занятию №8

Домашняя работа

ЗАНЯТИЕ №8

Внешние таблицы. Партицированные таблицы Наследуемые таблицы. Виртуальные таблицы и правила (database rules). Передача данных

Краткое содержание

Выгрузка данных в XLS из Базы Данных. Соединение с разными гетерогенными источниками данных. ANSI SPARK архитектура. Объекто-ориентированные базы данных (ООБД).

Преподаватель:

Якупов Азат Шавкатович

Самостоятельная работа

Просмотр видеозанятия №8, выполнение домашнего задания — лабораторной работы №8

Домашняя работа

ЗАНЯТИЕ №9

Разбор и обсуждение домашних заданий (лабораторных работ №1-6) со слушателями

Краткое содержание

Типичные ошибки выполнения домашних лабораторных работ. Технические и технологические способы устранения проблем.

Преподаватель:

Якупов Азат Шавкатович

Самостоятельная работа

Подготовка к промежуточной аттестации №1

Домашняя работа

Занятие №10

Промежуточная аттестация №1.

Преподаватель: Якупов Азат Шавкатович

Самостоятельная работа

Просмотр видеоматериалов занятий 1-10. Работа над ошибками в домашних заданиях. Изучение преридера к занятию №11.

Домашняя работа

ЗАНЯТИЕ №11

Как работают INSERT / UPDATE / DELETE внутри базы данных. Непредсказуемый рост таблицы Околобазные процессы. VACUUM. autovacuum. Полезный инструментарий для администрирования Базы Данных. Column Tetris или как упаковать таблицу оптимально

Краткое содержание

Мертвые записи и как с ними бороться.

Преподаватель:

Якупов Азат Шавкатович

Самостоятельная работа

Просмотр видеозанятия №11, изучение преридера к занятию №12

Домашняя работа

ЗАНЯТИЕ №12

Динамический SQL и триггеры (event, table, insteadof). Prepared statement. Deffered triggers. Использование триггеров

Краткое содержание

Prepared Statements. Тригеры: создание и применение. Тригеры в рекурсивных структурах. Бизнес кейсы использования разных видов триггеров.

Преподаватель:

Якупов Азат Шавкатович

Самостоятельная работа

Просмотр видеозанятия №12, выполнение домашнего задания — лабораторной работы №9, изучение преридера к занятию №13

Домашняя работа

ЗАНЯТИЕ №13

OLTP. SQL запросы. Работа со множествами, все виды JOINS (включая LATERAL JOIN). Оператор MERGE. Вложенные запросы

Краткое содержание

Простые вложенные запросы. Ключевое слово EXISTS. Запросы, возвращающие несколько столбцов. Подзапросы в конструкции FROM. Подзапросы в конструкции INSERT. Дополнительная функция COALESCE. Декартово множество.

Преподаватель:

Якупов Азат Шавкатович

Самостоятельная работа

Просмотр видеозанятия №13, выполнение домашнего задания — лабораторной работы №10, изучение преридера к занятию №14

Домашняя работа

ЗАНЯТИЕ №14

OLAP. Оконные и аналитические функции, работа с массивами в SQL (IN,ANY,ALL). User defined aggregators. Вложенные подзапросы, регулярные выражения

Краткое содержание

IN, ANY, ALL. Регулярные выражения REGEXP. OVER, LAG, LEAD. Оконная функция RANK. Оконная функция row_number.

Преподаватель:

Якупов Азат Шавкатович

Самостоятельная работа

Просмотр видеозанятия №14, выполнение домашнего задания, изучение преридера к занятию №15

Домашняя работа

ЗАНЯТИЕ №15

Оптимизация. BTree индексы (simple, included, multicolumn). Hash индекс. BRIN индекс

Краткое содержание

Точные и неточные индексы. Оптимизация запросов. Классы операторов для индексов.

Преподаватель:

Якупов Азат Шавкатович

Самостоятельная работа

Просмотр видеозанятия №15, выполнение домашнего задания, изучение преридера к занятию №16

Домашняя работа

ЗАНЯТИЕ №16

Оптимизация. Статистика базы данных. Продвинутая статистика базы данных. Генетическая оптимизация. JIT оптимизация. Параллельные запросы Оптимизация. Полнотекстовый поиск. GIN / GIST индексы. Bloom фильтры

Краткое содержание

EXPLAIN / ANALYZE. Гистограммы данных. Триграммные индексы. Оптимизация полнотекстового поиска. Классы операторов для индексов.

Преподаватель:

Якупов Азат Шавкатович

Самостоятельная работа

Просмотр видеозанятия №16, выполнение домашнего задания

Домашняя работа

ЗАНЯТИЕ №17

Промежуточная аттестация №2. Разбор и обсуждение домашних заданий №7-10 со слушателями

Краткое содержание

Типичные ошибки выполнения домашних лабораторных работ. Технические и технологические способы устранения проблем. Промежуточная аттестация №2.

Преподаватель:

Якупов Азат Шавкатович

Самостоятельная работа

Просмотр видеозанятия №17, подготовка к итоговой аттестации, изучение преридера к занятию №18

Домашняя работа

ЗАНЯТИЕ №18

Транзакции и блокировки. Уровни изоляций. Взаимоблокировки. Точки сохранения (savepoints) Функции и процедуры. Политики настройки функций. Оптимизация функций. Анонимные блоки Вспомогательные функции Системные функции Базовые циклы и кейсы

Краткое содержание

Блокировка таблиц. Блокировка строк и диапазона строк. Виды аномалий и виды уровней изоляции. MVCC vs 2PL алгоритмы в базах данных. Базовые циклы и выражения. Использование переменных. Использование функций пользователя. Использование хранимых процедур. Переменные в хранимых процедурах. Использование курсоров, принципы работы. Exception блоки. Functions features ( cost, parallel). Категории волатильности функций.

Преподаватель:

Якупов Азат Шавкатович

Самостоятельная работа

Просмотр видеозанятия №18, подготовка к итоговой аттестации, изучение преридера к занятию №19

Домашняя работа

ЗАНЯТИЕ №19

Структуры памяти базы данных. Виды сканирования запросов Репликация. Логическая и физическая. Высоконагруженные и высокодоступные системы и кластера баз данных. Облачные Базы Данных

Краткое содержание

Структура shared_buffers. Структура work_mem. Структура maitenance_work_mem. Горячая / холодная / теплая база данных. Checkpoint. Сканирование TID. Сканирование SeqScan. Сканирование Index Scan. Сканирование Index Only Scan. Сканирование Nested Loop Scan. Сканирование Merge Join. Сканирование Hash Join. История репликации. Типы репликации. Триггерная репликация. Функции работы с репликацией. Репликационные слоты. PITR (point in tine recovery). БД AWS / Azure / Yandex Clouds. Разбор бизнес кейсов в работе с репликацией.

Преподаватель:

Якупов Азат Шавкатович

Подготовка к итоговой аттестации

Подготовка проекта. Подготовка к защите проекта

Самостоятельная работа

ЗАНЯТИЕ № 20. Итоговая аттестация

Защита проекта (проект состоит из подзадач по пройденным темам)