数据架构师负责可视化并设计组织的企业数据管理框架，与企业战略和业务架构保持一致。美国劳工统计局表示，2022年美国有149300个数据架构师职位，预计从2022年到2032年，数据架构师的数量将增长8%。

图源：JEFF SHELDON（图片上传者，可以译为用户JEFF SHELDON，或者JEFF SHELDON） / UNSPLASH

一、数据架构师角色

数据架构师是资深的睿智人士，他们将业务需求转化为技术需求，并定义数据标准和原则，通常支持数据或数字转换。数据架构师负责可视化和设计组织的企业数据管理框架。该框架描述了用于规划、指定、启用、创建、获取、维护、使用、归档、检索、控制和清除数据的流程。

援引自DAMA International（国际数据管理协会，成立于1988年，是一个全球性数据管理和业务专业志愿人士组成的非营利协会，在世界范围内拥有40 多个分会，7500 余数据管理专业人士会员。多年致力于数据管理的研究、实践及相关知识体系的建设，旨在世界范围内推广并促进数据管理领域的概念和最佳实践，在数据管理领域累积了极为深厚的知识沉淀和丰富经验。DAMA最重要的内容是知识体系和专业认证，其权威性体现在三个方面:(1) EDW年会议题。全称是Enterprise Data World 即:企业数据世界。年会体现了DAMA组织的精英群体特征和活跃度，也是DAMA International的年会，每年4月召开，如今已经召开20多届，是国际上最权威也是参与人数最多的数据领域的盛会。(2)知识体系DAMA-DMBOK。包含数据治理、架构、数据仓库等十余项职能，目前最新的版本为DM-BOK 2.0版本，涵盖了大数据管理、数据管理成熟度等章节。(3)专业资格认证考试CDMP。CDMP/Certified Data Management Professional，数据管理专业认证是由DAMA国际于2004推出，是一项涵盖学历教育、工作经验和专业知识考试在内的综合资格认证，也是目前全球唯一数据管理方面权威性认证。）的Data Management Body of Knowledge（DAMA的数据管理知识体系，,中文版为《DAMA数据管理知识体系指南（第2版）》，第二版英文版在2017年出版。《DAMA数据管理知识体系指南（第2版）》一书中文版由机械工业出版社在国内出版，已于2020年上市。全书由国际数据管理协会中国分会多名志愿 会员共同翻译完成。是国际数据管理协会（DAMA）对过去30多年数据管理领域知识和实践的一个总结，由会员们花了多年时间和业界专家反复讨论撰写而成。它是市场上唯一综合了数据管理方方面面的一部权威性著作，成为数据治理的标准工具书。从数据治理、数据架构、数据质量、数据安全、主数据管理、参考数据管理、元数据管理、商务智能和数据参考管理、数据建模设计、数据存储和操作、数据集成和互操作、文档和内容管理、大数据、数据管理人员的道德要求等方面介绍了数据管理的知识体系，对于数据治理的落地意义重大。），数据架构师还应当“提供一套标准的公共业务词汇表，表达战略需求，概述满足这些需求的高级系统集成设计，并与企业战略和相关业务架构保持一致”。

数据架构师通常是数据科学团队的一员，负责领导数据系统项目。他们经常向数据基础设施和数据科学负责人报告。

二、数据架构师职责

依照Panoply（是一家总部位于美国的公司，提供基于云的数据仓库即服务/DWaaS产品。Panoply 的核心卖点是它的可扩展性和高性能。Panoply 采用分布式架构，可以支持 PB 级数据存储和分析。此外，Panoply 还提供实时数据流处理和实时数据同步功能，可以帮助用户实现数据的实时分析和应用。）的解释，典型的数据架构师职责包括：

• 将业务需求转化为技术规范，包括数据流、集成、转换、数据库和数据仓库。

• 定义数据体系结构框架、标准和原则，包括建模、元数据、安全性、参考数据，如产品代码和客户类别，以及主数据，如客户、供应商、材料和员工。

• 定义参考体系结构，这是其他人可以遵循创建和改进数据系统的模式。

• 定义数据流，即组织的哪些部分生成数据，哪些部分需要数据才能发挥作用，如何管理数据流，以及数据在过渡中如何变化。

• 与多个部门、利益相关者、合作伙伴和外部供应商进行协作和协调。

三、什么是不同类型的数据架构师？

数据体系结构是一个复杂而多样的领域，不同的组织和行业在数据架构师方面有独特的需求。数据架构师Armando Vázquez（阿尔曼多·巴斯克斯）确定了八种数据常见的数据架构师的类型：

• 企业数据架构师：这些数据架构师负责监督组织的整体数据体系结构，定义数据体系结构策略，设计和实现体系结构。

• 解决方案数据架构师：这些人员针对特定的业务需求设计和实现数据解决方案，包括数据仓库、数据集市和数据湖。

• 应用程序数据架构师：应用程序数据架构师为特定的软件应用程序设计和实现数据模型。

• 信息/数据治理架构师：建立并实施数据治理政策和程序。

• 分析/数据科学架构师：这些数据架构师设计和实施数据架构，支持高级分析和数据科学应用，包括机器学习和人工智能。

• 云数据架构师：云数据架构师为AWS（Amazon Web Services，亚马逊云计算服务，是亚马逊提供的是全球最全面、应用最广泛的云平台，从全球数据中心提供超过 200 项功能齐全的服务。）、Azure（Microsoft Azure是微软基于云计算的操作系统，主要目标是为开发者提供一个平台，帮助开发可运行在云服务器、数据中心、Web和PC上的应用程序。云计算的开发者能使用微软全球数据中心的储存、计算能力和网络基础服务。）和Google Cloud Platform（谷歌云平台，是谷歌所提供的一套公有云计算服务。该平台包括一系列在 Google 硬件上运行的用于计算、存储和应用程序开发的托管服务。软件开发人员、云管理员和其他企业 IT 专业人员可以通过公共互联网或专用网络连接访问 Google Cloud Platform 服务。为计算、存储、网络、大数据、机器学习和物联网/IoT以及云管理、安全和开发人员工具提供服务。）设计并实现数据架构。

• 数据安全架构师：数据安全架构师与安全团队和IT团队紧密合作，设计数据安全体系结构。

• 大数据架构师：大数据架构师设计并实现了支持大量数据的存储、处理和分析的数据架构。

四、数据架构师VS.数据工程师

数据架构师和数据工程师的角色是密切相关的。在某些方面，数据架构师是高级数据工程师。数据架构师和数据工程师协同工作，以可视化和构建企业数据管理框架。数据架构师负责可视化，数据工程师随后构建的完整框架的“蓝图”。根据Dataversity（是一家为商业和IT专业人士提供数据使用和管理教育资源的公司。团队致力于为全球从业者、专家和开发人员社区提供高质量的内容，他们参与并受益于面对面的会议、免费在线活动、现场网络研讨会、白皮书、在线培训、每日新闻、文章和博客等。）的介绍，数据架构师在一个可供数据科学家、数据工程师或数据分析师使用的框架中可视化、设计和准备数据。数据工程师协助数据架构师构建数据搜索和检索的工作框架。

五、数据架构师VS.数据科学家

根据Dataversity的解释，数据架构师和数据科学家的角色是相关的，但数据架构师专注于将业务需求转化为技术需求，定义数据标准和原则，并构建供数据科学家使用的模型开发框架。数据科学家是将计算机科学、数学和统计学应用于构建模型的专家。

六、如何成为一名数据架构师

数据架构师是一个不断发展的角色，目前还没有针对数据架构师的行业标准认证或培训计划。通常，数据架构师在工作中学习数据工程师、数据科学家或解决方案架构师，并凭借多年的数据设计、数据管理和数据存储工作经验逐步成为数据架构师。

七、数据架构师应当具备那些素质

大多数数据架构师都拥有信息技术、计算机科学、计算机工程或相关领域的学位。根据Dataversity的解释，优秀的数据架构师对云、数据库以及这些数据库所使用的应用和程序有扎实的理解。他们了解数据建模，包括概念化和数据库优化，并表现出愿意不断学习。

八、数据架构师有能力：

• 设计实现预期业务模型的数据处理模型

• 开发表达关键数据实体及其关系的图表

• 生成构建所设计的系统所需的组件的列表

• 清晰、简单、有效地沟通

九、数据架构师的日常职责是什么？

• 根据内置内容，数据架构师的日常职责包括：

• 使用ER/Studio等数据建模工具来可视化和设计数据体系结构

• 使用Python等编程语言对数据体系结构应用程序进行代码、测试和故障排除

• 记录数据管道过程或对元数据和引用数据案例的查询

• 与数据分析人员和数据库管理员进行沟通，以实施过程并确定基础设施需求

十、数据架构师技能

数据架构师需要精通数学和计算机科学、数据管理技能以及分析和呈现统计信息的能力。

Bob Lambert（鲍勃·兰伯特）是Anthem（于在美国成立，Anthem品牌隶属于Anthem公司。创立于1944年，是美国第二大健康保险公司。）的分析交付主管，CapTech Consulting（是美国一家全国性的技术咨询公司，提供全套服务。为公司设计、实施和集成IT系统。）的前总监，他提及重要的数据架构师技能包括：

系统开发的基础：数据架构师必须了解系统开发的生命周期、项目管理方法、需求、设计和测试技术。

数据建模和设计：Lambert（兰伯特）表示，这是数据架构师的核心技能，也是数据架构师职位描述中最需要具备的技能，他指出，这通常包括SQL（Structured Query Language，数据库语言。是具有数据操纵和数据定义等多种功能的数据库语言，这种语言具有交互性特点，能为用户提供极大的便利，数据库管理系统应充分利用SQL语言提高计算机应用系统的工作质量与效率。SQL语言不仅能独立应用于终端，还可以作为子语言为其他程序设计提供有效助力，该程序应用中，SQL可与其他程序语言一起优化程序功能，进而为用户提供更多更全面的信息。）开发和数据库管理。

成熟和新兴的数据技术：数据架构师需要理解成熟的数据管理和报告技术，并对柱状数据库和NoSQL databases（NoSQL数据库，是非关系型数据存储的广义定义，它不同于符合ACID理论的关系型数据库，数据存储不需要固定的表结构，通常也不存在连接操作。NoSQL数据库不使用传统的关系数据库模型，而是使用如键值存储数据库、列存储数据库、文档型数据库、图形数据库等方式存储数据模型。）、预测分析、数据可视化和非结构化数据有一些知识。

人际沟通和悟性：数据架构师需要人际交往技能。Lambert（兰伯特）说，他们必须是口齿善辩、有说服力和优秀的销售人员，他们必须构思并向他人描绘大数据的图景。

十一、数据架构师认证

虽然没有针对数据架构师的行业标准认证，但有一些认证可能有助于数据架构师的职业生涯。除了其组织使用的主要数据平台上的认证外，以下认证也很受欢迎：

lCertified Data Management Professional/CDMP（认证数据管理专家）

lArcitura Certified Big Data Architect（Arcitura认证大数据架构师）

lIBM Certified Solution Architect – Cloud Pak for Data v4.x（IBM认证解决方案架构师–Cloud Pak for Data v4.x）

lSalesforce Certified Data Architect（Salesforce认证数据架构师）

lTOGAF 9 Certification Program（TOGAF 9认证计划）等

十二、数据架构师工资

根据PayScale（是一家位于美国西雅图的薪水调查公司，2002年1月成立于美国西雅图，现时总部也是位于西雅图。尤以发布美国大学毕业生的薪水排行闻名。成立于2002年，发展至今，已拥有世界上最大，最完善的雇员薪酬数据库。）的薪酬分析，数据架构师的年薪中位数为131027美元，包括奖金和利润分成在内的总薪酬从每年83000美元到172000美元不等。

根据PayScale的数据，以下是与数据架构和每个职位的平均工资相关的其他一些流行职位：

BI架构师：83K美元-149K美元

数据工程师：68K美元-135K美元

数据仓库架构师：78K美元至154K美元

数据库架构师：83K-172K美元

信息架构师：71K-164K美元

解决方案架构师：80K至170K美元

十三、数据架构师工作

最近在Indeed.com（是一个招聘信息垂直搜索引擎，2004年成立于美国，聚合国内外数百家招聘网站、报纸、求职机构等资源，提供精确的一站式职位搜索。求职者无需单独访问各个招聘资源，只需要登陆便可以浏览所有职位。）上搜索数据架构师职位时，显示了一系列行业的职位，包括咨询、金融服务、医疗保健、高等教育、酒店、物流、制药、零售和技术。

数据架构师的工作描述示例显示了关键的职责领域，例如：创建DataOps（数据研发运营一体化。是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，通过对数据相关人员、工具和流程的重新组织，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。）和BI转型路线图，开发和维持数据战略，实施和优化物理数据库设计，以及设计和实施数据迁移和集成流程。

公司正在寻找具备计算机科学、信息科学、工程或同等领域的学士学位的员工，硕士学位者优先。大多数人都希望有8到15年的相关工作经验。他们需要积极性高、经验丰富的创新者，具有出色的人际交往技能、强大的协作能力以及有效的口头和书面沟通能力。

十四、数据架构师是否有需求？

数据架构师需求旺盛。美国劳工统计局表示，2022年美国有149300个数据架构师职位，预计从2022年到2032年，数据架构师的数量将增长8%。这比美国所有其他职业的平均水平都快。在拥有1000名或1000名以上员工的组织中，对数据架构师的需求尤其高。

作者：Thor Olavsrud（托尔·奥拉夫斯鲁德）