Концептуальное логическое и физическое моделирование данных

30.01.2019

Автор: Виктор Рудь


Модель данных - это совокупность метаданных и их связей (более точно - мета-связей). Дадим простейший пример. Перед нам текст, описывающий бизнес-ситуацию: клиент по имени Петров оплатил счет и получил чек за три ручки и два карандаша в торговой точке (канцелярский бутик) внутри магазина "ГУМ"; основанием для покупки явилось воздействие рекламной компании, проводимой по радио. Что мы можем выделить из этого текста в качестве концептуальной модели данных? 

  • Объекты: Клиент. Счет. Оплата. Покупка. Чек. Товар. Кампания. Точка продаж. Рекламный канал.
  • Отношения объектов: Клиент совершает Покупку. Клиент совершает Оплату. Клиент получает Товар. Чек отражает Оплату. Оплата соответствует Счету. Покупка совершена в Точке продаж. На Покупку повлияла Кампания. Кампания проводилась в рекламном Канале. Кампания таргетировала определенный Тип Клиентов.

Так рождается концептуальная модель, задающая тон всему последующему процессу проектирования информационной системы.

Существует три уровня (уровня абстрактности-детальности) в моделировании данных (их можно считать минимально рекомендованными стадиями проектирования операций над данными):

  • Концептуальный -► концептуальная модель
  • Логический -► логическая модель
  • Физический -► физическая модель


Концептуальный уровень моделирования

Назначение моделей концептуального уровня или зачем это нужно? На концептуальном уровне моделирования (максимально абстрактном с точки зрения реализации в информационных системах) мы выясняем и определяем основные понятия предметной области и их взаимосвязь. Иногда также используют термин «построение онтологиии предметной области». Концепт. модель задаёт границы приложения, отражая своим содержанием не столько то, чем мы будем заниматься, сколько то, чем мы заниматься не будем.

Базовый элемент концептуальной модели: бизнес-сущность или бизнес-объект. Более точно - бизнес-класс, то есть классифицированный пользователями определенный класс объектов реальности.

Примеры бизнес-сущностей:

  • клиент (как вариант, клиент-ФЛ, клиент-ЮЛ),
  • продукт (как вариант, товар, услуга),
  • сделка (как вариант, заказ),
  • контракт.

Концептуальная модель бизнеса (модель размышления или онтологическая картинка бизнеса), как правило, представлена в документах класса ГЛОССАРИЙ. Это может быть как местная wiki, так и разрозненные главы типа «Глоссарий» в различных документах компании. Качество таких глоссариев не высокое, для автоматизации и тем более цифровизации они не годятся, но безусловно словарь или тезаурус - это первый артефакт, с изучения которого должен начать аналитик. Цель аналитика - построить настоящую концепт-модель из концептуальных объектов данных, где объект данных - это контейнер с атрибутами, имеющий как четкие семантически границы, так и выделенные свойства-атрибуты. Собственно атрибуты-свойства и есть лучший способ определения концептуального объекта. Если вы не можете выделить атрибуты (ну естественно речь идет о мета-атрибутах), то такой концепт не важен для автоматизации или цифровизации, хотя может быть важен для понимания полной онтологической картины предметной области. Схематически (графически) наиболее удобным способом представления концептуальной модели является диаграмма типа «диаграмма классов». Изображение каждого класса на схеме содержит:

  • имя класса (знак у Ф.Готлоба)
  • описание класса (определение сущности или семантики классов в виде 1-2-3-10 предложений).
  • мета-атрибуты класса (или свойства-характеристики класса). С точки зрения ИТ, атрибуты являются табличным способом определения функции соотнесения объектов реальности со знаком класса (см. концентроид Рудда).
  • связи класса - ассоциации, композиции, специализации - отношения класса к другим классам.

Например, концепт АВТОМОБИЛЬ может быть задан так: любой предмет реальности, у которого можно указать наличие и свойства таких его компонентов, как двигатель, колеса, кабина для пассажира. Под такое определение может попасть и кран, и грузовик, и трактор.  И это вам решать, имеет ли место быть концептуальная ошибка или нет.  

Концептуализация вещей и предметов является относительно простой задачей. Концептуализация явлений сложнее. Концептуализация ментально-когнитивных явлений наиболее сложна. Дайте концептуальное определение и мета-атрибуты для таких явлений, как ПРОБЛЕМА, ПРЕТЕНЗИЯ, ИНИЦИАТИВА, ИДЕЯ. Легко? Потренируйтесь также в определении того, что есть ТРЕБОВАНИЕ, ОГРАНИЧЕНИЕ, ПРИНЦИП, ИНТЕРЕС, ФУНКЦИЯ, ПРОЦЕССНЫЙ ШАГ.

Бизнес-сущности имеют связи друг с другом. Связи при именовании полезно «окрашивать» именами действий или отношений из предметной области, например, клиент заключает сделку, заказ состоит из товаров. Наилучшая нотация для концептуального уровня — подборка элементов из слоя Business и Motivation методологии Archimate. В данной нотации рекомендуется использоваться объект Meaning, а также бизнес-сущности могут быть привязаны к ряду других элементов (например, value или capability), что улучшает их окрашивание или лучше структурирует (делает более наглядной) моделируемую предметную область.


Фокус моделирования:

  • понятийная/смысловая модель, выработка глоссария
  • разработка онтологии домена (онтики)
  • создание/проработка представления о понятии/явлении, как об информационном объекте (см. концентроид Рудда)
  • выделение ключевых атрибутов, характеризующих ту или иную бизнес-сущность

Сложные концептуальные модели, содержащие десятки бизнес-сущностей, разбиваются на домены. Домен — группировка «родственных» сущностей, образующих модель отдельного фрагмента моделируемой предметной области. Иногда концептуальная модель становится существенной частью логической модели. Это бывает в следующих случаях:

  • при создании BI-систем
  • при создании модели данных интеграционной платформы.

В отдельных случаях приходится поддерживать концептуальную модель двух видов:

  • текущую концепт.модель, являющуюся мостиком между логическими моделями данных конкретных приложений.
  • текущую концепт.модель, отражающую текущее понимание нами онтологии предметной области. Эта модель может меняться почти каждый день.

Для дизайна и управления концептуальной моделью данных может быть использована российская СиММА - система многослойного моделирования архитектуры.


Логический уровень моделирования

Логическая модель является уточнением и детализацией концептуальной модели. Но это лишь с одной стороны (со стороны концептуального моделирования).  С противоположной стороны (со стороны реализации) на построение логической модели влияет:

  • тип планируемой СУБД, которая будет воплощать модель или выбранный framework (как правило, объектно-ориентированный)
  • класс проектируемой системы: операционная (транзакционная) или аналитическая (BI)
  • исторически сложившияся трактовка предметной области вендором системы

Назначение моделей логического уровня или зачем это нужно? Логический уровень моделирования — это уровень логики организации данных, то есть какие данные и как сгруппированы и связаны друг с другом. Концептуальный уровень больше заботится о смысловой нагрузке, выраженной в связях, логический заботится о скрупулезном учете фактических (реальных) связей, предусмотренных программистом между объектами системы (ссылки объектов друг на друга, отношения объектов). Концептуальный уровень оперирует бизнес-сущностями, логический — сущностями будущей или фактически имеющейся информационной системы (например, базы данных). В компаниях с большой историей логический уровень задан фактически развернутыми системами конкретных вендоров. На вопрос "зачем нужен логический уровень?" можно было бы ответить так: "это тот набор мыслей, с которым вы садитесь что-то программировать, его не может не быть". 

Примечание: логический - не означает выделенный с точки зрения здравого смысла и причинно-следственных рассуждений. Логический - значит формализованный по законам формальной (!) логики выбранного способа представления данных: таблично-реляционного или объектно-ориентированного, или сетевого, векторного, графового и т.д.  Причины неудач в процессной автоматизации связаны с тем, что 9 из 10 аналитиков и программистов не в состоянии формализовать на логическом уровне такое сложное явление как "процесс", потому что никогда не слышали об алгебре процессов. А, как известно, без формализации нет и автоматизации. 

Важное замечание №1. В простейших случаях концептуальные объекты (бизнес-сущности) совпадают с объектами логического уровня. В таких случаях фаза концептуального моделирования может совсем не требоваться или совпадать с фазой построения логической модели.

Важное замечание №2. Очень часто молодые системные аналитики пытаются построить сложную логическую модель и проваливают работу, не подозревая о необходимости фазы концептуального моделирования, которая должна выполняться с участием бизнес-аналитиков и самого бизнеса. В настоящее время — время диджитал — концептуализация и цифровизация должны рассматриваться как синонимы. Ну и конечно же не стоит забывать про DDD: чем строже соответствие логической и концептуальной моделей (вплоть до совпадения), тем лучше для качества проекта.

Тип объектов логического уровня соответствует типам объектов избранной СУБД или фреймворка. Для реляционных баз данных - это кортеш из атрибутов одной таблицы. Для объектно-ориентированных баз данных и фреймворков — это собственно "объекты". Объекты логического уровня (их часто называют ENTITY, сущности) - это то, чем оперирует информационная система (база данных или сервер приложений) или программист [в ходе написания кода]. К сущностям логического уровня подвязываются методы работы с этими сущностями. То есть в зависимости от того, какая именно физическая реализация концепт-модели будет выбрана, сущности логического уровня получат опеределенные степени сводобы-несвободы. 

Базовый элемент логической модели: сущность (в ООП — класс).

Для проектирования реляционных баз данных используется нотация ERD. Рамками этой нотации фактически и задаётся логический уровень моделирования. Однако для систем, имеющих на верхнем уровне объектную модель, логический уровень описывается диаграммной классов (из нотации UML). Детализирующие (вспомогательные) и часто используемые диаграммы логического уровня моделирования — это диаграммы состояний.

Примеры сущностей (классов):

  • клиент -► party + customer + customer_profile + person
  • продукт -► продукт + предложение продукта + price plan
  • заказ -► order, order_item, delivery_spec

Фокус моделирования:

  • выделение элементарных сущностей, элементарных логических единиц (классов), имеющих самостоятельный смысл в моделируемой предметной области.
  • детальное (точное) уточнение (установка) взаимосвязей между сущностями
  • перечисление всех (!) значимых для бизнеса атрибутов сущности
  • разделение атрибутов на простые атрибуты и перечисления (будущие справочники)
  • выделение сущностей не столько как контейнеров для атрибутов, сколько как объектов поведения.

Немаловажное влияние на сущности логического уровня и их взаимосвязи оказывает тип проектируемой системы. Если проектируемая система относится к BI-классу, то следует понимать назначение BI-системы, ожидаемые от нее витрины, срезы, аналитики, метод моделирования времени (динамики изменения данных) и т.п.

Если в ходе проектирования разрабатывается логическая модель не одной, а нескольких систем, что часто имеет место быть в крупных компаниях, внедряющих пятую, десятую или сто двадцатую систему, то при разработке логической модели указывают к какой системе принадлежит (или будет принадлежать) та или иная сущность. Распределение сущностей по различным информационным системам даёт возможность грубо наметить (спрогнозировать) будущие информационные потоки (и точки интеграции) между системами.

Важное замечание. При разработке новой информационной системы, являющейся частью комплекса унаследованных систем, часто приходится использовать как проектирование сверху вниз (от концептуального уровня к физическому), так и обратное — снизу вверх: от уже существующих физических моделей к логической и далее мапирование в концептуальную. Это на порядок или даже на 2 порядка усложняет проектирование даже если нужно создать/автоматизировать один сквозной процесс, протекающий через ряд информационных систем.

Иногда при проработке логического уровня возникают сущности, которые трудно подвязать к бизнес-сущностям концептуального уровня и тогда возникает вопрос: нужно ли на концептуальном уровне завести новую бизнес-сущность? Ответ таков:

  • с одной стороны, не стоит перегружать концептуальный уровень.
  • с другой стороны, если на концептуальном уровне появляется новая сущность, она должна быть отражена в глоссарии, как принципиально новое понятие, существенно отличное от других понятий данной предметной области.
  • не ленитесь использоваться для организации сущностей отношения наследования-специализации.

Каждый вендор информационной системы имеет логическую модель своей системы даже если он и не раскрывает ее своим клиентам. При интеграции нескольких систем приходится сначала увязывать их логические модели на концептуальном уровне моделирования, а лишь потом строить связи между логическими моделями разных систем. Например, в системе автоматизации продаж клиент может быть представлен как PARTY, в ERP-системе той же компании как КОНТРАГЕНТ, а системе биллинга той же компании, как АБОНЕНТ.

Физический уровень моделирования

Физический уровень — это уровень таблиц для реляционных моделей данных.

Базовый элемент физической модели: таблица.

Примеры таблиц:

  • клиент -► table_1
  • продукт -► table_2
  • сделка -► table_3

Не исключается, что одна таблица физического уровня может участвовать в моделировании сразу нескольких логических сущностей.

Фокус моделирования:

  • Выделение отдельных таблиц, в том числе как результат нормализации данных.
  • Выделение таблиц-справочников.
  • Определение ключей.
  • Разделение атрибутов на простые атрибуты и перечисления (будущие справочники)

В простейших случаях логические объекты (сущности) совпадают с объектами физического уровня. Это характерно для самых простых баз данных реляционного типа.



Список статей