摘要:CWM为公共元数据模型,通过CWM的模型使用可以定义出相应的元数据标准,满足数据仓库和商业智能系统的元数据管理平台。完成诸如血缘分析、关系分析、影响分析来满足对数据仓库管理的需求。
关键词:CWM;元数据;模型;数据仓库;商业智能;血缘关系
中图分类号:TP391 文献标识码:A 文章编号:1009-3044(2014)02-0254-05
1 元数据概述
元数据即关于数据的数据。元数据不仅仅是描述数据类型、数据描述等表面信息,还描述了数据上下文的信息,包含数据所在领域中数据管理员更关注的信息。元数据是描述数据结构、数据来源、应用方法及上下过程的数据,元数据按其用途划分可分为四类:项目元数据、操作元数据、技术元数据、业务元数据、
这四种元数据(技术元数据、业务元数据、项目元数据和操作元数据)的具体描述如下:
1)技术元数据:技术元数据是描述BI系统中技术领域相关的概念,主要包括数据结构,数据来源、数据存储和技术数据的方方面面。
2)业务元数据:业务元数据是描述BI系统中业务领域相关的概念,主要包括业务术语、信息分类、行业规则、指标定义等。
3)项目元数据:项目元数据是描述BI系统中项目知识领域相关的概念,主要包括项目描述、项目的文档、项目的明细,项目成员信息等等。
4)操作元数据:操作元数据是描述BI系统中操作知识领域相关的概念,包含ETL的操作信息、前段展现的数据处理环节,操作元数据主要指对数据动态过程的描述信息。
如上图所示,在整个BI系统中元数据管理的范畴是极其广泛的,从底层到应用层都有其用武之地。我们首先看BI系统的数据来源,就可以包含源系统信息中的库表信息,接口信息,维度信息等。再到数据采集层,元数据需要清楚的记录DW的映射关系,ETL程序信息,数据转换清洗的规则等。再到我们自己的数据存储和管理层(数据仓库),元数据需要清除的描述DW数据的物理结构、数据字典、数据安全级别、客户信息、资源目录等详细信息。到应用服务层,元数据则包含数据分析模型、KPI关键业务指标等。最后到门户管理和用户层,元数据包含安全认证、访问控制等信息。
由上可见,元数据用于支持分析系统的技术活动、管理活动和业务活动,其应用覆盖数据分析系统技术、管理和业务等各个方面。
2 元数据管理规范CWM介绍
2.1CWM概念
3 元数据模型设计
元数据模型是数据分析系统元数据管理模块建设的基础,用于规范元数据库内部对象、关系、规则和操作等多方面的内容,其主要包括四个层面:基础层、获取层、数据层和访问层。此外,可以根据不同的场景进行达到元数据包的可配置性。
元数据模型需满足以下要求:
1)开放性。元数据模型以CWM作为基础模型,能够与其他各类IT系统进行互操作;
2)适用性。元数据模型支持在CWM基础上进行扩展,从而描述数据分析系统自身特有的内容;
3)标准性。面向为了元数据互通的需要,以CWM为基础建立数据分析系统核心元模型,形成关键元数据对象的统一元数据标准。
3.1元数据模型与CWM的关系
元数据管理模块体系结构主要有以下四层:
1)元数据获取层
元数据获取层位于整个体系架构的最底层,元数据获取层抽象概括了元数据获取的各种途径。业务和管理元数据通常以手工方式获取,技术元数据覆盖数据源系统以及经营分析系统数据的整个生命周期,要求以自动方式获取,如数据字典和数据模型等。
2)元数据存储层
存储层定义了元数据存储所遵循的元模型,规范从获取层得到的各类元数据的属性要求和存储格式要求,包括业务元数据、技术元数据和管理元数据。核心元数据模型对数据仓库中统计分析等关键数据对象进行模型定义和规范。
3)元数据功能层
元数据功能层为前端元数据应用提供了基本的功能支撑,主要包括基本功能、分析功能、质量管理、服务接口和权限管理五个部分。其中,元数据基本功能包括元数据维护、元数据的查询、变更情况管理、维度统计分析和使用情况统计;元数据分析功能包括数据血缘分析、影响分析、数据地图展现、要素关联性分析、差异性分析、主机拓朴分析和指标一致性分析;元数据质量管理包括一致性检查、关系健全性检查和元数据属性检查;元数据服务接口包括数据封装元数据服务接口和数据地图访问服务接口。
4)元数据应用层
在元数据管理模块功能层的支持下,元数据应用层通过调用功能层的功能,对元数据管理的实际问题提供应用解决方案,主要包括指标库管理、业务术语自助学习、维表库管理、接口管理、数据分析系统元数据互通、辅助应用优化、辅助安全管理、基于元数据的开发管理和数据质量管理等。
3.4元数据分析例子简述
1)图形血统分析
图形血统分析是通过图形化的方式展现数据的来龙去脉,血统分析可以使我们更好的知道数据流转的流程和数据形成的过程。方便用户进行数据回朔和信任倒查,即满足下面两点:
1)查看数据从哪里来,即数据的加工过程,了解数据的来龙去脉,如某个指标是否来自详单数据。
2)增加用户对数据的信任度,更好地使用数据,如KPI指标
2)图形影响分析
形影分析即当用户希望对某个元数据进行修改和维护时能清晰的了解其对数据仓库及应用程序的影响。有助于进行执行前的评估和确认工作,即实现以下两种价值:
1)预览元数据对全局的影响,有助于执行变更前充分评估论文代写www.400qikan.com,及与相关人员事前沟通。
2)如接口文件、库表、Tcl程序、报表、指标等对其他数据或程序的影响。
3)图形映射分析
图形映射分析主要应用于数据抽取、转换、加载中的数据内部映射关系的体现。体现具体的加工过程,方便用户了解整个加工过程的细节。进一步增强ETL和报表数据的信任度和回朔性。
1)映射分析:查看ETL程序内部的映射关系,了解数据加工过程的细节
2)帮助技术人员了解数据处理过程涉及到哪些对象、数据转换是否正确
3)帮助业务人员了解数据如何来的细节,进一步增强对经ETL处理而来的指标、报表数据的信任度
4 总结
本文通过元数据管理规范CWM的元数据模型引用,结合现实业务系统的需求对元数据管理平台进行元数据范围的扩展和组织,实现元数据管理平台从技术探索到应用实现的建设过程。证明以CWM的元数据模型实现的元数据管理系统不仅在业务使用上得到广泛的提高,更在数据平台、BI系统中的交互更加的顺畅、便捷。同时我们也可以看到在元数据管理领域的需求更新很快,该文为元数据的探索奠定了技术基础。
参考文献:
[1] 余宇莹.基于CWM的企业元数据集成研究[D].长沙:国防科技大学,2006.
[2] 陈燕琦.国内电信行业元数据管理平台建设中的项目范围管理[D]. 北京:北京邮电大学,2011.
[3] 孙立君.浅谈数据仓库中的元数据管理技术[D].中国烟草学会2009年年会论文集,2009.
相关专题: 《电脑知识与技术》相关期刊
推荐期刊: