主数据和元数据、数据标准、数据质量有什么关系
企业数据治理涉及的工作很广,包括数据标准、数据质量、数据安全、数据共享机制、元数据管理、主数据管理等。主数据作为企业的黄金数据,对于企业信息化管理具有重要意义。本文将对主数据的概念及主数据与数据治理体系中的几个核心部分的关系和大家做一个探讨。
(资料图)
1、什么是主数据
主数据就是企业中多个信息系统共享和使用的数据。例如:ERP系统中有“客户主数据”,“项目主数据”和“供应商主数据”。主数据通常是公司的关键资产之一。
为了更全面地回答“什么是主数据?”,我们先看一下在企业中常见的6种数据类型:
非结构化数据:可在电子邮件、白皮书、杂志文章、企业内部网站门户、产品规格设计文件、营销资料和PDF文件中找到的数据。交易数据:具有历史意义或其他系统需要分析的业务事件。通常与系统交易有关的数据,例如销售、交货、发票、故障单、索赔等。交易数据是使用主数据实体的单位级别的交易。与主数据不同,事务本质上是特定的时间和瞬时数据。元数据:关于其他数据的数据。它可以存储在正式的存储库中或以各种其他形式存在,例如XML文档、报告定义、数据库中的列描述、日志文件、连接和配置文件。层级数据:存储其他数据之间关系的数据。它可以作为财务系统的一部分存储,也可以作为对现实世界关系的描述单独存储,例如组织结构或产品BOM。层级数据有时被视为超级主数据域,因为它对于理解和发现主数据之间的关系至关重要。参考数据:一种特殊类型的主数据,用于对其他数据进行分类或用于将数据与企业范围以外的信息相关联。可以在主数据或交易数据对象之间共享参考数据,例如国家/地区、货币、时区、付款条件等。主数据:企业内部的核心数据,描述开展业务所围绕的对象。它通常不经常更改,并且可以包含经营业务所需的参考数据。主数据本质上不是事务性的,但它确实描述了事务。常见的主数据类型有:供应商主数据、客户主数据、物料主数据、价格主数据、科目主数据、组织主数据、人员主数据等。根据企业业务类型不同,还会有产品主数据、项目主数据等细分。图:主数据与企业数据关系
2、主数据与元数据的关系
元数据(meta-data)是描述企业数据的相关数据,指在IT系统建设过程中所产生的有关数据定义、目标定义、转换规则等相关的关键数据,包括对数据的业务、结构、定义、存储、安全等各方面对数据的描述。
元数据可以说是企业的数据地图,它直接反映了企业中有什么样的数据,数据是如何存放的,例如,数据结构是什么样子,数据与业务之间的关系是怎么样,数据与数据之间的关系是怎么样,数据有什么样的安全需求,数据有什么样的存储需求。
比如上图中地市表的数据模型,地市表这个实体的数据模型如何进行定义正是元数据所关心的范畴。而在数据模型设计的“城市表”中填写了相应的城市数据,例如,北京、上海、广州、南宁等等。这些在城市表中填充的数据,正是组织中国地理协会的主数据,因为这些数据是中国地理协会这个组织的关键业务实体,它为组织的业务开展提供关联环境,而且它可能在企业业务开展过程中被反复引用。针对这些核心关键数据,组织和企业无论从数据的质量、一致性、可用性、管理规范等方面都应该有着最严格的数据要求。
主数据跟元数据的关系,举个例子的话就是一本书,主数据就是书里边的正文,实际有用的数据,元数据就是书的目录,是索引,方便你找到主数据的。
3、主数据与数据标准的关系
没有规矩不成方圆,数据标准是数据治理或整体数据化建设的核心。在主数据管理体系中,主数据模型、主数据管理规范、主数据共享技术规范都可以看作数据标准。我们希望将所有数据生产线路上的规范都统一纳入数据标准管理体系。
同时,数据生产过程中的每个环节都需要数据标准的支撑。
数据按照数据层级划分,如下表所示。
数据按照数据生产过程划分,如下表所示。
4、主数据与数据质量的关系
很多失败的数据应用,第一理由都归集为数据质量问题导致最后的交付结果数据不准确,以致业务部门最终无法采纳。那么,什么样的问题才算作数据质量问题呢?当数据中很多字段存在大量的空数据时,这是由于数据质量存在问题,还是由于数据模型设计得不合理?
主数据管理最核心的价值在于提升基础数据的整体数据质量,保证数据的及时性和准确性。
5、主数据与数据安全的关系
主数据是企业的黄金数据,其数据价值不言而喻,所以如何保证主数据的使用安全是我们必须关注的内容。主数据应当完整纳入数据安全管理体系,从数据存储安排、防止窃取和泄露等诸多方面予以全方位的保障。
6、主数据与数据仓库的关系
主数据管理系统与数据仓库系统是相辅相成的两个系统,但二者绝不是重复的,也不是互斥的。它们有很多共同之处:
首先二者对企业都具有相同的价值,可以减少数据冗余和不一致性、提升对数据的洞察力,二者都是跨部门的集中式系统;
其次二者都依赖很多相同的技术手段,都会涉及到 ETL 技术、都需要元数据管理、都强调数据质量;
第三就是二者建设手段类似,都需要数据治理的规范作为指导、都需要不同系统、不同部门的协作、需要统一的安全策略。
但是,主数据管理系统和数据仓库 / 决策支持系统二者之间也存在很多不同:
处理类型不同:主数据管理 (MDM) 系统是偏交易型的系统,它为各个业务系统提供联机交易服务,系统的服务对象是呼叫中心、B2C、CRM 等业务系统;而数据仓库是属于分析型的系统,面向的是分析型的应用,是在大量历史交易数据的基础上进行多维分析,系统的使用对象是各层领导和业务分析、市场销售预测人员等;实时性不同:与传统的数据仓库方案的批量 ETL 方式不同,主数据管理系统在数据初始加载阶段要使用 ETL,但在后续运行中要大量依赖实时整合的方式来进行主数据的集成和同步;数据量不同:数据仓库存储的是大量的历史数据和各个维度的汇总数据,可能会是海量的,而 MDM 存储的仅仅是客户和产品等信息。虽然主数据管理系统和数据仓库系统异同共存,但是二者却有着紧密的联系,并且可以互为促进、互为补充。举例而言,数据仓库系统的分析结果可以作为衍生数据输入到 MDM 系统,从而使 MDM 系统能够更好地为操作型 CRM 系统服务。
推荐阅读
运动型轿车是什么 运动型轿车与普通车有何区别?
运动型轿车凭借着外观酷炫,动力性能强的特点,深受国内众多消费者的喜爱。特别是在年轻消费者心目中,运动型轿车基本上是购车的首选。但是 【详细】
汽油清洗剂是什么 汽油清洗剂加在汽油里是干嘛的?
最近有很多车主反映加油的时候总是建议用汽油清洁剂。但是,大部分人还是不太了解,还有就是一部分人纳闷汽油清洗剂加在汽油里是干嘛的?汽 【详细】
中国最便宜的汽车是哪个 最便宜的汽车汇总
现在汽车已经成为了大家最常见的交通代步工具了。但是,依然还是有很多的家庭非常的需要代步工具,却买不起特别贵的汽车。所以今天,我们就 【详细】
伊莱克斯冰箱质量怎么样 伊莱克斯冰箱质量好不好?
伊莱克斯冰箱质量怎么样:在2018年全球500强企业中,伊莱克斯排名第162位,在2020年全球2000强企业中,伊莱克斯排名第1965位,可见伊莱克斯 【详细】
劳动保护用品是什么 劳动保护用品有哪些?
劳动保护用品有哪些?劳动防护用品分为特殊劳动防护用品和一般劳动防护用品,一般劳动防护用品是指未列入目录的一般劳动防护用品。以下产品 【详细】
相关新闻
- 动态:苹果在iOS 16.3 Beta 2中调整“SOS紧急联络”功能触发方式
- 离谱!小米员工吐槽Redmi新机支持双SIM卡+TF卡
- 环球热头条丨B站增发新股约4.1亿美元,用于回购可转债
- 环球热门:relax什么意思(“神经紧绷”英语怎么说?一个英语单词搞定,so easy)
- 世界快看点丨藕粉的作用(冬吃莲藕补中益气健脾胃)
- 中国人得过诺贝尔奖的是谁 中国人得过诺贝尔奖的有几人?
- 玛雅文明是什么 玛雅文明算一个高度发达的文明吗?
- 环球信息:如何在国内正常使用TikTok?
- 女闺蜜是什么意思(女生喜欢你的几大表现 你遇到过几个?)
- 快资讯丨shift键(Excel 中 Shift键的奇妙玩法,你知道几个?)
- 斐纳TOMEFON使用状况 斐纳TOMEFON吸尘器好不好用?
- 国产手机排名前十 国产手机排名前汇总
- 环球观点:至今还没有阳的人,他们天赋异禀,还是另有隐情?研究结果来了
- 新动态:iPhone 15 太炸了,标准版有大提升
- 全球即时看!vivo拒绝高价低配:骁龙870+144Hz屏,12GB+256GB跌至1769元
- 实现高并发秒杀的七种方式
- 全球看热讯:3D渲染引擎 HOOPS Visualize 2023全新发布-增加对顶点着色器支持
- 世界看热讯:「升级」Hubstudio多账号安全管理浏览器之扩展中心上线啦!
- 汽车早报 - 消息称蔚来布局百万元级别电动车 广汽称将继续为讴歌中国客户提供售后服务
- 今头条!车轮上的2022∣新能源与汽车出口带动:全国乘用车零售量同比增长1.9%