数据治理是一项系统工程,需要从战略、架构、流程、技术和人员等多方面进行考虑。本文六大最佳实践为组织实施有效的数据治理提供了重要的指导,结合DAMA理论框架理解和应用,通过实际零售行业案例的分析,可以更直观地了解数据治理如何在企业中落地并产生价值。数据治理正在成为一项关键的战略举措。以下是如何确保关键数据资产可靠、安全且可供您的业务使用。
来源:iStock
为什么良好的数据治理如此重要?想想如果没有它,结果会怎样:数据质量差、难以使用、缺乏完整性、易受网络安全威胁、不一致,而且业务用户并不总是能够获得。
换句话说,从商业角度来看,如果没有数据治理,数据就几乎没有意义。
根据提供该领域最佳实践和指导的组织数据治理研究所的定义,“数据治理是针对信息相关流程的决策权和责任制,按照商定的模型执行,该模型描述了谁可以在何时、在什么情况下、使用什么方法对哪些信息采取哪些行动。”【数据治理是一个规范信息相关流程的系统,通过明确的决策权和责任制,以及一套经组织共识并执行的模型,来指导和控制谁在何时、何种情况下,以何种方式使用何种信息,从而确保信息使用的合规性、有效性和安全性。】
众多企业正在进行的数字化转型使得强大的数据治理对于企业来说变得更加重要,因为企业的成功很大程度上取决于数据的可靠性、安全性以及在正确的时间提供给正确的人。
毫不奇怪,对数据治理产品和服务的需求正在上升。研究公司Markets and Markets估计,全球数据治理市场将从2020年的21亿美元增长到2025年的57亿美元,预测期内的复合年增长率(CAGR)为22%。
报告称,数据量的快速增长、监管和合规要求的提高以及业务协作的增加等因素预计将推动市场的增长。报告称,随着世界各地政府机构出台一系列数据隐私法规,确保组织内的数据得到适当存储、使用和丢弃变得比以往任何时候都更加重要。
该公司表示,影响数据治理需求增长的另一个因素是软件开发中DevOps 的采用率不断提高。该公司指出,DevOps 的采用与数据治理计划的实施之间存在很强的相关性。
通过遵循一些最佳实践,组织可以创建有效的数据治理计划。
一、识别关键数据元素并将数据视为战略资源
并非所有数据对组织都具有同等重要性,良好的数据治理的一部分是了解数据基础设施的哪些方面对业务最为关键。
新泽西州司法部首席信息官Jack McCarthy 表示:“纵观整个领域,你会发现这些关键元素涉及数十到数百个系统和应用程序。这些关键数据元素存在于整个系统的多个报告中。通过首先识别这些关键元素,你可以追溯到它们的来源并确定适用的政策和程序。”
从更基础的层面上讲,组织需要了解信息对企业成功的重要性。这有助于创建一种支持强大数据治理的文化,包括在组织的最高层。
宾夕法尼亚印第安纳大学首席信息官比尔巴林特(Bill Balint) 表示:“我的经验是,数据治理的有效性源于企业愿意并能够将数据作为关键战略资产。”
巴林特说:“将原始数据转化为可以产生积极成果的信息不能被视为事后才想到的事情。”
二、为整个数据生命周期制定政策和程序
数据并非存在于某个时间点。数据由某个来源创建,然后经过清理、更新、存储、分析、传输、备份、删除等。生命周期的每个步骤都有潜在的接触点,要在各个阶段妥善管理数据,就需要为每个阶段制定政策和程序。
McCarthy说:“确定谁是所有者,以及哪个系统或人员可以在数据的整个生命周期内更改数据。”他补充说,这样,组织就可以提供审计跟踪和其他数据检查点,以确保对数据元素有完整而透彻的理解。
一个很好的例子就是新泽西州司法部门正在考虑对取消该州保释制度的刑事司法改革进行风险评估。
“当我们试图收集数据并确定自动化评估工具评分所需的关键要素时,我们继续深入研究逮捕程序的数据生命周期,”麦卡锡说。“我们发现,在向法院提交逮捕令时,必要的数据并不存在。数据来源早在执法部门完成指纹检查以识别被告时就已存在。通过追溯数据的来源,我们能够与内部和外部合作伙伴发布指令和政策,以确保我们正在构建的系统的关键要素可供我们以及其他下游合作伙伴使用。”
三、让业务用户参与治理过程
业务用户通常是良好数据治理的最大受益者,因为良好的数据治理使他们能够获得高质量、可用的数据,帮助他们更好地完成工作。如果有必要,他们应该参与治理过程。
包装公司Alpha Packaging 的技术高级副总裁兼首席信息官 Bryan Phillips 表示:“我喜欢与数据所有者或他们的第一副手组成一个用户组。然后,我喜欢给他们一定程度的预算控制权,让他们决定正在进行的工作和优先顺序。”
菲利普斯说,这往往会促进各部门之间的合作,促进知识共享,甚至可以创造一些友好的竞争。“你希望这个团队分享成就感。如果数据治理做得不好,就会被视为负面因素,”他补充道。
菲利普斯说,数据所有者往往是最适合对数据进行分类的人。“没有人比他们更了解数据,”他说。“利用这个群体来识别问题所在”并解决它们。
四、不要忽视主数据管理
治理应包括管理主数据,即为所有业务交易提供背景的业务数据。有效的主数据管理可以提高数据的一致性和准确性。
“必须 [高度] 重视主数据的标准化和/或交叉引用,”菲利普斯说。“这往往是最容易被忽视的领域。没有它,数据就会变得孤立,无法将跨域数据关联起来。让主数据组负责这项工作”并与业务用户密切合作非常重要。”
菲利普斯说,理想情况下,负责主数据管理的团队应该是跨多个部门的业务职能,而不是 IT 的一部分。
五、了解信息的价值
数据治理几乎是一个误称,因为它不一定反映从信息中收集到的见解的真正价值。
医疗咨询公司Impact Advisors 的高级顾问兼虚拟 CIO Marc Johnson 表示:“信息是为组织创造价值的数据的关联。”这包括财务记录、患者记录、员工记录等。
“治理需要的不仅仅是数据分类,”约翰逊说。“它需要信息分类。信息分类表明了对组织的价值以及丢失、被盗或被毁坏后的后续影响。”他举了一个例子,一名员工将信息从公司账户通过电子邮件发送到私人账户。
“我们已采取数据丢失防护措施,以阻止受保护的电子健康信息泄露,”约翰逊说。“如果我们不采取措施对信息(而不仅仅是数据)进行分类,我们就会阻止一份琐碎的任务清单。如果我们没有进行额外的尽职调查,这可能会导致我们的系统内出现数以万计的误报,从而导致警报疲劳、网络流量过大以及安全运营中心出现不必要的高度警报状态。”
数据治理需要详细的尽职调查,以了解谁有权访问哪些信息,以及这些信息对组织、其客户、员工、合作伙伴和其他人有多大价值。
约翰逊说:“如果一个组织在数据治理过程中没有深入研究,他们就有可能对其业务基础——信息的保护、可用性和恢复进行过度设计甚至设计不足。”
六、不要过度限制数据使用
鉴于信息资源的竞争价值以及重大的安全和隐私风险,IT高管可能倾向于严格限制数据的分发和使用方式。这可能会使治理在组织中看起来更像是一种消极的做法,而不是积极的做法——并最终阻碍创新。
保险提供商全球公共机构员工保险(WAEPA) 的首席信息官 Brandon Jones 表示,严格的限制“会限制价值创造并抑制商业价值”。“这会导致用户对企业技术的不满和采用率低下。”
Jones表示,WAEPA 已经建立了一个综合的集成平台,该平台将来自不同来源的数据汇总到一个平台中,并根据业务利益相关者的需求利用多种可视化功能。目标之一是提高数据的可访问性、准确性和完整性,以支持更自信的决策。
“组织领导者必须不断发展以满足业务需求,为了做到这一点,每个利益相关者都需要能够做出贡献”,琼斯说。他们还需要轻松安全地访问与他们正在从事的工作相关的信息。
琼斯说:“治理的目的是确保正确的问题得到解答,以及如何利用数据为解决这些问题的决策提供信息。”
【睿观:数据治理六大最佳实践深度解读并结合DAMA-DMBOK(数据管理知识体系)中的数据治理框架进行分析,最后提供一个完整的实操案例。
(一)数据治理六大最佳实践解读
1.识别关键数据元素并将数据视为战略资源: 这强调了数据资产的重要性,以及识别核心数据的重要性。这与DAMA模型中的“数据战略”和“数据架构”领域密切相关。数据战略定义了组织如何利用数据来实现业务目标,而数据架构则定义了数据的组织方式和结构。识别关键数据元素是构建有效数据架构的基础,也是制定有效数据战略的前提。
2.为整个数据生命周期制定政策和程序: 这涵盖了数据从创建、存储、使用到销毁的整个过程的管理。这与DAMA模型中的“数据生命周期管理”领域直接对应。该领域关注数据的整个生命周期,确保数据在每个阶段都得到适当的管理和控制。制定政策和程序是规范数据生命周期各阶段操作的关键,例如数据质量规则、数据安全策略、数据保留策略等。
3.让业务用户参与治理过程: 这强调了业务部门在数据治理中的重要作用。这与DAMA模型中的“数据治理”领域本身密切相关。有效的治理需要跨部门的协作和沟通,业务用户作为数据的直接使用者和受益者,应积极参与到数据治理的规则制定、执行和监督中。
4.不要忽视主数据管理: 主数据是组织核心业务实体的数据,例如客户、产品、供应商等。有效的主数据管理能够提高数据的一致性和准确性,减少数据冗余和冲突。这与DAMA模型中的“主数据管理”领域直接相关。该领域关注如何定义、维护和使用主数据,以确保其质量和一致性。
5.了解信息的价值: 这强调了数据不仅仅是原始数据,更重要的是数据背后的信息和洞察。这与DAMA模型中的“数据质量”和“数据利用”领域相关。高质量的数据是产生有价值信息的基础,而数据利用则关注如何将信息转化为业务价值。理解信息的价值有助于更好地制定数据治理策略,例如确定哪些数据需要重点保护,哪些数据可以用于分析和决策。
6.不要过度限制数据使用: 这强调了在确保数据安全和合规的前提下,也要充分利用数据的价值,避免过度限制导致创新受阻。这与DAMA模型中的“数据安全”和“数据访问”领域相关。数据安全关注如何保护数据免受未经授权的访问、修改和破坏,而数据访问则关注如何根据业务需要提供适当的数据访问权限。在两者之间取得平衡是有效数据治理的关键。
(二)DAMA-DMBOK 数据治理框架与六大实践的结合
DAMA-DMBOK将数据治理定义为“对数据资产的管理行使权威和控制(规划、监控和执行)”。其核心是建立一个框架,定义角色、责任、流程和标准,以确保数据得到有效管理。上述六大实践可以很好地融入到DAMA的数据治理框架中:
·数据治理原则: 六大实践都体现了数据治理的原则,例如问责制、透明度、一致性、完整性、可用性和安全性。
·数据治理框架组件:
o组织结构: 业务用户参与治理过程体现了组织结构的重要性,需要明确各方的角色和责任。
o政策和标准: 为数据生命周期制定政策和程序是建立标准的重要组成部分。
o流程: 主数据管理需要建立清晰的流程来维护数据质量和一致性。
o技术: 识别关键数据元素需要技术工具的支持,例如数据发现和分类工具。
·数据治理领域: 上述分析已经说明了六大实践与DAMA各数据管理领域的关联。
(三)实操案例:某零售企业客户数据治理
某零售企业面临客户数据分散在不同系统(CRM、POS、电商平台)的问题,导致客户画像不完整,营销活动效果不佳。该企业决定实施客户数据治理项目。
1.识别关键数据元素: 确定客户ID、姓名、联系方式、购买记录、偏好等为关键数据元素。
2.制定数据生命周期政策: 制定数据采集、清洗、整合、存储、使用和销毁的政策和流程,例如数据质量规则、数据保留期限等。
3.成立数据治理委员会: 由业务部门(市场部、销售部、客户服务部)和IT部门的代表组成,共同参与数据治理决策。
4.实施主数据管理: 建立客户主数据管理系统,对客户信息进行标准化和整合,确保唯一性和一致性。
5.建立数据价值评估体系: 评估客户数据对不同业务场景的价值,例如精准营销、客户分析、个性化推荐等。
6.建立数据访问控制机制: 根据业务需要和数据敏感程度,设置不同的数据访问权限,确保数据安全和合规。
通过实施上述措施,该企业成功整合了客户数据,建立了完整的客户画像,提升了营销活动的精准度和效果,并提高了客户满意度。】