譯者 | 布加迪

　　數據網格正迅速成為數據領域的一種重要架構模式。我們IT人士有這樣一種習慣：創造流行語，然后緊跟潮流。然而，數據網格并不是僅僅是流行詞，原因是它有望徹底改變我們處理和查看數據的方式。這將對數據是關鍵要素的所有領域都會有影響。

　　當前數據級別的報告單

　　在我們將數據提升到下一個級別之前，簡要介紹一下當前數據級別的進度或報告單。下圖顯示了數據在如今的 IT系統中通常是如何處理的。

　　圖1. 來自諸系統的數據流入DWH或數據湖

　　如上所示，來自諸多事務/運營和外部系統的數據將通過ETL作業網絡流入數據倉庫。在最終消費者可以聚集/匯總和使用這些數據之前，將完成許多活動，比如清理和轉換等。

　　幾十年來，這種方法一直屢試不爽。但在當今數據無處不在的世界，這種方法卻遇到了瓶頸?，F代數據湖方面也是如此。事實上，在大多數情況下，數據湖的情況更糟。

　　大數據/物聯網和數據流出現后，大多數組織不知道如何處理數據。雖然它們知道數據是新的石油，但不知道如何提煉和使用這種油。它們甚至對想要使用這些數據來處理的分析用例沒有太多想法。也許數據湖這個流行語使它們隨波逐流。由于別人都在搞數據湖，所以越來越多的人開始仿而效之。

　　前面說過，數據湖方面的情況更糟。主要原因是，就數據倉庫而言，大多數組織仍采用某種治理和策略。但是就數據湖而言，在大多數情況下，所有類型的數據（結構化/日志/流數據等）都只是被轉儲到某種廉價存儲系統中，其想法是將來會有相應的用例，能夠得益于正在開挖的這個新油田。但愿望并不總是成真。

　　報告單中一些有待改進的方面

　　•隨著數據集中起來，加上數據無處不在，數據的數量和速度變得如此龐大，因此集中式系統無力處理。

　　•數據工程師/數據倉庫團隊對運營數據、領域和復雜性了解不多。

　　•如何在這種系統中處理變更方面沒有太多的靈活性可言。

　　應用程序層如何提升到下一個級別？

　　在過去幾年，領域驅動設計和微服務確實改變了應用程序層的處理方式。一個龐大的單體應用系統被轉換成特定領域的功能或微服務。這讓領域團隊得以專注于各自針對特定領域的功能。他們對各自領域了如指掌，更不用說我們在這類環境中看到的敏捷性了（當然，還有出色的工具和流程，比如CI/CD、DevOps和容器等）。

　　圖2使用領域驅動設計將單體應用程序轉換成微服務

　　如果只看上面兩張圖，會發現我們在應用程序層和數據層采取了完全相反的方法。在應用程序層，我們只是將單體應用程序分解成多個較小的單元，而在數據庫層，我們將來自各個領域的數據放入到一個龐大的單體單元中。

　　這時候數據網格有了用武之地。不妨快速了解一下這個數據網格到底是什么。

　　數據網格架構將定義、創建、管理和共享數據產品的自主權賦予業務領域。所以基本上，每個業務領域都將擁有自己的數據。它們可以使用API等手段與消費者共享，但它們管理數據的整個生命周期。

　　1）由于沒有一個龐大的集中式單體應用程序，單個數據產品可以更好地擴展（分布式擴展）。

　　2）每個領域團隊擁有并管理其數據和產品（聯合數據治理）。

　　3）每個產品團隊比任何集中式團隊更了解其數據和領域。

　　4）更好的敏捷性。

　　一點建議

　　如開篇所述，不要輕信流行語。數據網格到底是流行語還是非常適合？只有評估后才能做出決定。我發現許多人做錯了SOA，做錯了P2P，甚至做錯了REST和微服務，當然還做錯了數據湖。明智的決定的前提，是要看看它是否適合自己。

　　原文標題：Data Mesh — Graduating Your Data to Next Level，作者：Rohit Dhall

　　鏈接：https://dzone.com/articles/datamesh-graduating-your-data-to-next-level