数据架构之数据网格架构模式

发布时间：2025-11-05 15:30:58 来源：创站工坊 作者：IT科技

企业数据网格正在成为一种独特且引人注目的数据式方式来管理企业内的数据。它将“产品思维”引入企业数据管理，架构据网同时在企业中实现更高水平的格架构模敏捷性和数据治理。它创造了一种“自助服务”能力，数据式具有近乎实时的架构据网数据同步，从而为实时数字企业奠定了基础。格架构模

但是数据式，唉，架构据网没有单一的格架构模产品可以为您带来数据网格。相反，数据式企业的架构据网数据网格由许多常用组件组成(请参阅下一节数据网格架构回顾)。

但成功的格架构模关键是了解这些组件如何相互作用。在本文中，数据式我将使用架构模式来描述这些交互。架构据网

企业数据网格由许多组件组成(更多详细信息可在此处、格架构模此处和此处获得)。数据产品是数据网格中的主要构建块，包含使用企业的数据网格在整个组织中同步的运营、分析和/或参与数据。API 用于访问数据产品中的数据。免费信息发布网为了支持联合治理，每个数据产品都包含一个记录数据更改的审计日志和一个它管理的数据目录。

一个企业的数据网格有很多数据产品。数据产品订阅彼此的数据，这样当一个数据产品更改其数据时，此更改会使用更改数据捕获和事件流主干传达给其他数据产品。

最后，企业数据目录(所有数据产品目录和数据更改的同步聚合)用于使任何用户或开发人员轻松查找、使用和管理整个企业的任何数据，同时也为理解提供了基础整个企业的数据沿袭。

我们将在本文中描述以下架构模式：

如今，很难在服务和应用程序边界之间安全、可靠和一致地交付数据。有两种方法可以应对这一挑战。首先，可以使用“两阶段提交”(2PC) 等协议跨多个数据库同步更新数据，但这种方法通常复杂且成本高，并且通常保留用于保持多个数据源同步绝对关键的情况.

第二种方法是立即更新主数据库，同时在将来更新辅助数据库(但不在事务范围内)。当更新主数据库和辅助数据库之间的时间跨度超过预期时，就会出现问题。

变更数据捕获 (CDC) 是服务器租用企业数据网格用来应对这一挑战的基础组件。CDC 通过在数据库的事务日志中捕获和发布条目来工作，但最重要的是，它在原始事务之外不显眼地执行此操作。这意味着 CDC 透明地捕获操作(或分析)数据的变化，而不会影响原始应用程序或事务流。

(注意：这里有更多详细信息供那些寻找有关 CDC 如何在企业中工作的详细信息的人使用)

但是 CDC 对捕获的“事件”做了什么。在 Enterprise Data Mesh 中，它将事件发布到 Event Streaming Backbone(下一个模式)，以便在整个企业中分发。

Event Streaming Backbone 在企业数据网格中分发事件。事件通常来自应用程序、API，在我们的例子中，也来自 CDC。然而，特别重要的是，任何已发布的事件都可以被任何其他订阅实体安全、可靠且近乎实时地使用。

Event Streaming Backbone 中有几个核心托管实体：

他们说，数据是新的黄金和采矿，它将带来巨大的洞察力和财富。但在当今的大多数企业中，数据散布在组织中的许多组中。销售拥有客户数据，分销拥有供应链，财务拥有交易和账户。

不幸的是，这使得查找数据变得非常困难，而且一旦找到，就更难以将它们整合在一起以做出全面的业务决策。结果是：决策缓慢、代价高昂且不知情。

数据产品目录 (DPC) 包含有关数据产品的数据(“元数据”)的信息。DPC 提供的信息使任何授权人员或应用程序都可以轻松地在企业数据网格中查找、查看和使用数据产品。DPC 提供了几个好处：

企业数据产品目录 (EDPC) 是一个从所有本地数据产品目录 (DPC) 聚合元数据的存储库。企业数据目录用于存储有关在企业数据网格中维护的所有数据的信息和统计数据(元数据)，从而可以轻松查找、查看、使用和管理数据：

了解数据的沿袭——定义为数据经历的变化的汇总列表——对于治理和监管目的至关重要。为什么这很重要?考虑今天的一个常见情况：人工智能/机器学习的出现现在是企业必备的能力。数据科学家使用复杂的模型来支持和做出关键的业务决策。

然而，在许多企业中，尤其是医疗保健和金融企业，这些模型的实际可行性取决于满足监管机构对可重复性和可追溯性要求的能力(更多信息可在此处和此处获得)。不幸的是，大多数企业没有能力以审计人员或监管机构要求的方式跟踪数据沿袭。

企业数据网格的不可变变更/审计日志通过在企业数据网格中保留历史数据更改以供未来审计和治理之用，从而满足了这一需求。本地数据 产品更改/审核日志会在数据发生任何数据更改时自动更新。然后将这些日志传播到企业数据产品目录 (EDPC)，以便整合企业中数据更改的历史记录。

换句话说，EDPC 包含企业数据网格中所有元素的数据沿袭。EDPC 使用此数据提供元数据的可搜索索引——其中明确包括对每个数据产品的不可变更改/审计日志的引用——允许轻松找到和确认数据沿袭。

企业数据网格正在成为实时数字企业的基础推动者。架构模式提供了一种既定的方式来描述数据网格交互。虽然没有现成的可用工具，但构建您自己的组织数据网格的第一步是了解启用数据网格的基础模式。

希望本文为您提供必要的洞察力来启动您自己的企业数据网格!

相关文章