Сравните нормализованную и денормализованную модели хранения для аналитической нагрузки: какой архитектурный компромисс возникает при отказе от части связей между сущностями?
Денормализация ускоряет аналитические чтения, потому что заранее переносит часть работы по объединению сущностей в этап подготовки данных. Цена этого решения — дублирование атрибутов, больший объём хранения и необходимость поддерживать согласованность копий при изменениях.
Нормализация обычно лучше защищает целостность и уменьшает избыточность, а денормализация лучше соответствует запросам, которые часто читают связанные данные большими объёмами. Выбор зависит от преобладающей нагрузки, требований к свежести и допустимой сложности обновления.
Нормализованные модели формировались как способ уменьшить дублирование данных и предотвратить аномалии вставки, изменения и удаления. Если атрибут хранится в одном месте, его изменение не требует поиска и обновления множества копий.
Для аналитики важна другая характеристика: данные часто читаются широкими наборами, а сложные объединения таблиц выполняются регулярно. Поэтому появились модели, в которых факты и часто используемые измерения заранее организованы так, чтобы типовые отчёты требовали меньше объединений, например звёздная схема.
Предположим, аналитический отчёт регулярно показывает продажи вместе с регионом клиента, категорией товара и параметрами магазина. В нормализованной модели эти сведения находятся в отдельных таблицах, поэтому запросу приходится выполнять несколько объединений.
При большом объёме данных это может увеличить количество обрабатываемых страниц, усложнить план выполнения и повысить нагрузку на вычислительные ресурсы. Если же скопировать атрибуты в таблицу фактов или заранее построить широкую витрину, чтение станет проще, но изменение исходного атрибута потребует обновления зависимых данных.
Ошибочная денормализация может привести к тому, что один и тот же регион или категория будут представлены разными значениями в разных строках. Тогда отчёты станут быстрыми, но логически недостоверными.
В нормализованной модели сущность хранится преимущественно в одном месте, а связи между сущностями задаются ключами. Запрос восстанавливает нужное представление через объединения. Основные преимущества — меньшая избыточность, более понятные правила обновления и сильная защита целостности.
В денормализованной модели часто используемые атрибуты копируются ближе к данным фактов либо заранее вычисляются в отдельной витрине. Аналитический запрос читает меньше таблиц и выполняет меньше объединений, поэтому сокращаются накладные расходы на сопоставление строк и обращение к разным структурам хранения.
Однако денормализация не устраняет стоимость обработки, а переносит её. Вместо объединения во время чтения система должна выполнять объединение, копирование и проверку согласованности во время загрузки или обновления витрины.
Ключевой вопрос — что означает изменение атрибута. Если регион клиента изменился, нужно определить, должны ли исторические продажи показываться с новым регионом или сохранять прежний. Для этого применяют, например, версионность измерений: текущая запись обновляется отдельно, а исторические факты связываются с версией, действовавшей на момент операции.
Денормализация особенно оправдана, когда набор запросов стабилен, чтения значительно преобладают над изменениями, а задержка обновления витрины приемлема. Она менее привлекательна при частых изменениях схемы, высокой требовательности к немедленной согласованности или большом числе непредсказуемых аналитических срезов.
На практике часто используют гибрид: транзакционные данные держат более нормализованными, а для аналитики создают управляемые витрины. При этом источник истины остаётся один, а правила построения и обновления производных данных должны быть явно определены.
Компания строит отчёт по заказам, который ежедневно сканирует сотни миллионов строк и для каждой продажи показывает название товара, категорию, регион клиента и канал привлечения. Нормализованная схема экономит место и упрощает исправление справочников, но отчёт выполняет несколько тяжёлых объединений и нестабильно укладывается в заданное время.
Рассматривались два варианта. Полностью оставить нормализованную модель было проще с точки зрения целостности, но это не устраняло стоимость повторяющихся объединений. Полностью скопировать все справочники в каждую строку фактов ускорило бы чтение, однако резко увеличило объём данных и сделало исправление атрибутов рискованным.
Выбрали отдельную аналитическую витрину со стабильным набором измерений и явным правилом историчности. В ней продажи связываются не просто с текущим товаром или клиентом, а с версиями измерений, действовавшими на момент продажи. Витрина обновляется пакетно после загрузки источника, а контрольные проверки выявляют неизвестные ключи и расхождения количества строк.
В результате типовой отчёт читает меньше структур и выполняется предсказуемее, но данные в витрине обновляются с согласованной задержкой. Этот компромисс приемлем, потому что отчётность не требует отражать каждое изменение справочника мгновенно, а правила исторического отображения определены заранее.
1. Всегда ли денормализация ускоряет запрос?
Нет. Если широкая витрина содержит много редко используемых столбцов, запрос может читать существенно больше данных, чем при обращении к узким нормализованным таблицам. Кроме того, оптимизатор или система хранения может эффективно выполнять объединения, поэтому нужно оценивать фактические планы, объёмы чтения и профиль запросов, а не считать отсутствие объединений безусловным преимуществом.
2. Как сохранить историческую корректность при изменении справочника?
Нужно заранее выбрать семантику: исторические факты используют текущее значение атрибута или значение, действовавшее в момент факта. Для второго варианта обычно хранят версии измерения с периодом действия или отдельным версионным ключом. Без такого решения денормализованная витрина может незаметно переписать смысл старых отчётов после изменения текущего справочника.
3. Где должен находиться источник истины при наличии денормализованной витрины?
Производная витрина не должна становиться неуправляемым вторым источником истины. Исходная система или канонический слой должны определять значения, а витрина — воспроизводимо строиться по зафиксированным правилам. Иначе ручные исправления в витрине, повторная обработка и восстановление после сбоя могут привести к различающимся результатам в разных отчётах.