Если рассматривать данные как актив, у них должен существовать свой жизненный цикл. Организация, которая относится к своим данным, как к активу, должна определить, как она будет управлять своими данными. Политика по управлению данными будет включать в себя, помимо прочего, – требования к управлению данными. Как часть этих требований – способы и порядок использования данных, обеспечение качества данных, применяемые методы защиты данных, проработка архитектуры данных в рамках организации.
В целом, жизненный цикл данных по своим составляющим можно сопоставить с жизненным циклом продукта. В его составе можно выделить следующие основные этапы:
- Процессы/системы, порождающие данные или получающие их извне;
- Перемещение данных, их преобразование и хранение;
- Процессы, отвечающие за ликвидацию данных;
- В процессе использования данных, может происходить их изменение/улучшение или агрегация
Так как жизненный цикл данных в рамках компании может быть достаточно сложен для восприятия, важной частью процесса управления данными является также понимание происхождения данных.
Data Lineage или Происхождение данных – это отображение пути, который данные проходят от места, где они первоначально появляются до точки, где они потребляются конечными пользователями. Также, для этого понятия еще может использоваться термин цепочка данных (data chain).
Фиксация происхождения данных включает в себя также все преобразования, которые происходят с данными “по пути” до финальной точки.
Data Lineage позволяет компаниям:
- отслеживать ошибки в процессах обработки и передачи данных;
- внедрять изменения в процессы со сниженным риском;
- проводить миграцию систем с большей уверенностью;
Потребителям данных Data Lineage дает уверенность, что данные, которыми они пользуются происходят из доверенного источника, были корректно преобразованы и хранятся в системе, из которой возможно их потреблять. Происхождение данных имеет большое значение при принятии стратегических решений, опирающихся на данные.