1

數(shù)據(jù)運(yùn)營(yíng)到底是什么？

（資料圖）

隨著全球數(shù)字化轉(zhuǎn)型快速發(fā)展，在云計(jì)算、物聯(lián)網(wǎng)、5G、邊緣計(jì)算、元宇宙等新技術(shù)的推動(dòng)下，數(shù)據(jù)爆炸時(shí)代已經(jīng)到來。 IDC Global DataSphere顯示，2021年全球數(shù)據(jù)總量將達(dá)到84.5ZB，預(yù)計(jì)到2026年全球結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)總量將達(dá)到221.2ZB。

另外，《數(shù)字化轉(zhuǎn)型架構(gòu)：方法論和云原生實(shí)踐》書中還提到，云原生應(yīng)用平臺(tái)的發(fā)展會(huì)經(jīng)歷DevOps-DataOps-AIOps的演進(jìn)路徑?？梢?，云原生浪潮下，企業(yè)也需要越來越多的數(shù)據(jù)。然而，當(dāng)面臨數(shù)據(jù)量巨大、數(shù)據(jù)類型多樣、數(shù)據(jù)快速增長(zhǎng)的困境時(shí)，也對(duì)企業(yè)對(duì)數(shù)據(jù)的掌控能力提出了更高的要求。海量數(shù)據(jù)如果不能合理有序地組織和管理，不僅無法產(chǎn)生數(shù)據(jù)價(jià)值，反而會(huì)給企業(yè)造成巨大的負(fù)擔(dān)。某種程度上，它也會(huì)是一場(chǎng)“數(shù)據(jù)災(zāi)難”，這也是DataOps一直以來成為熱門話題的原因。在開源SREWorks項(xiàng)目的數(shù)據(jù)構(gòu)建過程中，我們一直在思考：DataOps到底是在做什么？

在討論DataOps 之前，我們先來看看DevOps。 DevOps是一種軟件交付管理思想，追求敏捷、標(biāo)準(zhǔn)化、跨團(tuán)隊(duì)的軟件開發(fā)協(xié)作狀態(tài)，努力將軟件開發(fā)模式從小作坊演變成標(biāo)準(zhǔn)生產(chǎn)線。 DevOps在一定程度上為DataOps的發(fā)展奠定了基礎(chǔ)。因此，DevOps是我們?cè)谟懻揇ataOps時(shí)無法回避的一個(gè)重要話題。

DataOps本身也屬于敏捷開發(fā)的范疇。與DevOps類似，能夠以較短的開發(fā)迭代周期快速滿足各自的需求。同時(shí)，DataOps還需要大量標(biāo)準(zhǔn)化的數(shù)據(jù)工具或組件，依賴團(tuán)隊(duì)之間的協(xié)作進(jìn)行數(shù)據(jù)開發(fā)和分析。與DevOps不同，DataOps主要關(guān)注數(shù)據(jù)流。因此，通過基于數(shù)據(jù)的方法或方法論來推動(dòng)企業(yè)運(yùn)營(yíng)水平的提升，可以屬于DataOps的范疇。

DataOps 生命周期（來源The Rise of DataOps: TrueDataOps 的治理和敏捷性）

DataOps 是數(shù)據(jù)操作化的縮寫。 DataOps不僅指數(shù)據(jù)技術(shù)的工具和平臺(tái)，更重要的是一套數(shù)據(jù)全生命周期管理的方法論和思路。以數(shù)據(jù)驅(qū)動(dòng)為基礎(chǔ)，通過一系列面向流程的工具和平臺(tái)，將DataOps思想付諸于工程實(shí)踐，可以收集各系統(tǒng)的相關(guān)數(shù)據(jù)，打破數(shù)據(jù)孤島，統(tǒng)一構(gòu)建高效、標(biāo)準(zhǔn)化的數(shù)據(jù)模型和數(shù)據(jù)系統(tǒng)，深入挖掘數(shù)據(jù)價(jià)值。

DataOps的方法論和思想主要供分析和數(shù)據(jù)團(tuán)隊(duì)使用，旨在簡(jiǎn)化數(shù)據(jù)使用、降低數(shù)據(jù)分析門檻、提高數(shù)據(jù)分析質(zhì)量、縮短數(shù)據(jù)分析周期。也就是說，數(shù)據(jù)作為大數(shù)據(jù)時(shí)代的“新能源”，需要平臺(tái)能力圍繞“數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)治理和數(shù)據(jù)服務(wù)”實(shí)現(xiàn)系統(tǒng)化的數(shù)據(jù)管理。過程。更進(jìn)一步，基于數(shù)據(jù)驅(qū)動(dòng)思維，進(jìn)行數(shù)據(jù)分析和數(shù)據(jù)消費(fèi)，通過數(shù)據(jù)賦能，做好各業(yè)務(wù)領(lǐng)域的相關(guān)工作，真正解決實(shí)際生產(chǎn)過程中遇到的痛點(diǎn)，實(shí)現(xiàn)場(chǎng)景化輸出，實(shí)現(xiàn)數(shù)據(jù)價(jià)值。

DataOps 架構(gòu)（來源：Diving into DataOps: The Underbelly of Modern Data Pipelines）

2

DataOps可以解決什么問題？

以下是一些常見的數(shù)據(jù)相關(guān)問題。對(duì)于想要實(shí)施DataOps的公司，可以判斷一下自己是否遇到過：

1、如何保證生產(chǎn)的數(shù)據(jù)質(zhì)量？

2、如何判斷產(chǎn)生的數(shù)據(jù)是否能夠滿足業(yè)務(wù)需求？

3、如何判斷一個(gè)數(shù)據(jù)化項(xiàng)目的價(jià)值并持續(xù)投資？

4、如何尋找大數(shù)據(jù)人才？

5、如何提高數(shù)據(jù)處理的性能？

6. 大數(shù)據(jù)解決方案使用什么技術(shù)棧？

7、如何保證大數(shù)據(jù)解決方案的運(yùn)維穩(wěn)定性？

8. 引入了多種大數(shù)據(jù)解決方案，如何統(tǒng)一管理？

9、如何管理大數(shù)據(jù)的數(shù)據(jù)權(quán)限？

10、數(shù)據(jù)分析結(jié)果如何指導(dǎo)最終決策？

上述常見問題可分為三大場(chǎng)景：數(shù)據(jù)管理、數(shù)據(jù)運(yùn)維、數(shù)據(jù)使用。通常實(shí)施數(shù)字化的企業(yè)在前期就嘗到了一些數(shù)據(jù)帶來的甜頭。然而，持續(xù)投入后，他們發(fā)現(xiàn)收益產(chǎn)出似乎非常不確定：數(shù)據(jù)表逐漸變得雜亂。數(shù)據(jù)滿了，數(shù)據(jù)輸出環(huán)節(jié)經(jīng)常出現(xiàn)延遲，通過數(shù)據(jù)分析做出的決策似乎不再像以前那么有效。

總之，當(dāng)數(shù)據(jù)量變大、數(shù)據(jù)工程變得復(fù)雜時(shí)，如果沒有標(biāo)準(zhǔn)化的系統(tǒng)和流程，整體的協(xié)作關(guān)系很容易回到小作坊的形式。存在數(shù)據(jù)計(jì)算口徑不一致、數(shù)據(jù)重復(fù)建設(shè)、數(shù)據(jù)質(zhì)量等問題。低層問題需要通過標(biāo)準(zhǔn)化、常態(tài)化、系統(tǒng)化、工程化的方式解決。

3

如何實(shí)踐數(shù)據(jù)運(yùn)營(yíng)？

前面說過，DataOps本身就是一套完整的數(shù)據(jù)系統(tǒng)構(gòu)建方法論。其目標(biāo)是實(shí)現(xiàn)數(shù)據(jù)的持續(xù)利用，實(shí)現(xiàn)“數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)治理和數(shù)據(jù)服務(wù)”等數(shù)據(jù)管理能力。這也意味著需要依托眾多的數(shù)據(jù)技術(shù)或數(shù)據(jù)組件來構(gòu)建和運(yùn)營(yíng)DataOps數(shù)據(jù)平臺(tái)，從而形成高效可靠的數(shù)據(jù)資產(chǎn)化體系和數(shù)據(jù)服務(wù)能力，即對(duì)Data的數(shù)據(jù)運(yùn)維。

1. 數(shù)據(jù)整合

數(shù)據(jù)集成是構(gòu)建企業(yè)級(jí)DataOps數(shù)據(jù)平臺(tái)的第一步。它依靠企業(yè)內(nèi)部跨部門協(xié)作，將不同來源（不同業(yè)務(wù)系統(tǒng)）、不同類型的數(shù)據(jù)（結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化、離線和實(shí)時(shí)數(shù)據(jù)等）的數(shù)據(jù)進(jìn)行集成，實(shí)現(xiàn)互聯(lián)互通。從源頭避免數(shù)據(jù)重復(fù)和資源浪費(fèi)，準(zhǔn)備構(gòu)建標(biāo)準(zhǔn)化數(shù)據(jù)體系，積累數(shù)據(jù)資產(chǎn)，挖掘數(shù)據(jù)價(jià)值。

數(shù)據(jù)集成一般是通過數(shù)據(jù)引入，將一個(gè)系統(tǒng)的數(shù)據(jù)按時(shí)、定量地集成到另一個(gè)系統(tǒng)中。通常使用ELT（Extract-Load-Transform，提取-加載-變換）模型。重點(diǎn)是數(shù)據(jù)聚合，即數(shù)據(jù)提取后直接加載到目標(biāo)存儲(chǔ)中。這個(gè)階段一般不做或者只做簡(jiǎn)單的數(shù)據(jù)清洗和數(shù)據(jù)處理。處理。業(yè)界優(yōu)秀的數(shù)據(jù)集成工具有Sqoop、DataX、Kettle、Canal、StreamSets等。

2. 數(shù)據(jù)開發(fā)

數(shù)據(jù)開發(fā)的目標(biāo)是在數(shù)據(jù)集成階段根據(jù)業(yè)務(wù)需求對(duì)原始數(shù)據(jù)進(jìn)行處理，將原始低業(yè)務(wù)價(jià)值的數(shù)據(jù)轉(zhuǎn)化為高業(yè)務(wù)價(jià)值的數(shù)據(jù)資產(chǎn)。換句話說，數(shù)據(jù)開發(fā)階段就是實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化。核心技術(shù)手段。

數(shù)據(jù)開發(fā)作為數(shù)據(jù)處理的核心階段，通常采用ETL（Extract-Transform-Load，提取-轉(zhuǎn)換-加載）模型，并集成一系列數(shù)據(jù)開發(fā)管控流程和工具，方便數(shù)據(jù)開發(fā)人員編寫ETL任務(wù)。構(gòu)建、發(fā)布、運(yùn)維、任務(wù)資源管控，提高效率。通常數(shù)據(jù)開發(fā)主要分為兩種場(chǎng)景：離線數(shù)據(jù)開發(fā)和實(shí)時(shí)數(shù)據(jù)開發(fā)。

離線數(shù)據(jù)開發(fā)主要用于離線數(shù)據(jù)的批量定時(shí)處理。離線數(shù)據(jù)開發(fā)需要包括離線計(jì)算引擎、作業(yè)開發(fā)、任務(wù)調(diào)度、數(shù)據(jù)管控、運(yùn)維監(jiān)控等核心能力。實(shí)際使用過程中，相關(guān)離線ETL任務(wù)會(huì)按照預(yù)設(shè)的處理邏輯與ETL的拓?fù)湟蕾囮P(guān)系調(diào)度執(zhí)行。常見的離線處理框架有MapReduce、Hive、Spark等。阿里巴巴內(nèi)部已經(jīng)建立的MaxCompute通用大數(shù)據(jù)開發(fā)套件，可以快速解決用戶海量數(shù)據(jù)離線計(jì)算問題，有效降低企業(yè)成本，保證數(shù)據(jù)安全。

實(shí)時(shí)數(shù)據(jù)開發(fā)主要涉及實(shí)時(shí)流數(shù)據(jù)的處理，以滿足監(jiān)控報(bào)警、數(shù)據(jù)大屏等實(shí)時(shí)性要求較高的場(chǎng)景。在實(shí)時(shí)計(jì)算場(chǎng)景中，業(yè)務(wù)系統(tǒng)產(chǎn)生的每一條數(shù)據(jù)都會(huì)通過消息中間件（如Kafka）發(fā)送到流處理平臺(tái)進(jìn)行實(shí)時(shí)處理，不再依賴于調(diào)度引擎。常見的流處理框架有Storm、Spark Streaming、Flink等，阿里巴巴還基于Apache Flink打造了一站式實(shí)時(shí)大數(shù)據(jù)分析平臺(tái)，提供端到端的亞秒級(jí)實(shí)時(shí)數(shù)據(jù)處理和分析能力。

3、數(shù)據(jù)存儲(chǔ)

有了數(shù)據(jù)集成和數(shù)據(jù)開發(fā)的能力，下一階段就是考慮如何存儲(chǔ)和組織數(shù)據(jù)。其核心是標(biāo)準(zhǔn)化、規(guī)范化的數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)模型的建設(shè)。換句話說，數(shù)據(jù)倉(cāng)庫(kù)是實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化的呈現(xiàn)載體。

目前最常用的數(shù)據(jù)建模方法是維度建模。典型代表是阿里巴巴打造的“OneData”數(shù)據(jù)建模系統(tǒng)，主要包括數(shù)據(jù)規(guī)范定義、數(shù)據(jù)模型設(shè)計(jì)、ETL開發(fā)規(guī)范三部分。

數(shù)據(jù)規(guī)范定義：數(shù)據(jù)主題領(lǐng)域、業(yè)務(wù)流程、指標(biāo)規(guī)范、名詞定義、時(shí)間段等命名規(guī)范。

數(shù)據(jù)模型設(shè)計(jì)：模型層劃分（分為三層：數(shù)據(jù)引入層ODS、數(shù)據(jù)公共層CDM和數(shù)據(jù)應(yīng)用層ADS。CDM層還包括明細(xì)數(shù)據(jù)層DWD、匯總數(shù)據(jù)層DWS和維度數(shù)據(jù)層DIM）、模型設(shè)計(jì)原則、模型命名規(guī)范、模型生命周期管理和數(shù)據(jù)質(zhì)量規(guī)范等。

ETL開發(fā)規(guī)范：數(shù)據(jù)處理操作的研發(fā)流程、編碼規(guī)范、發(fā)布運(yùn)維原則等。

數(shù)據(jù)倉(cāng)庫(kù)實(shí)施工作流程（來源：《大數(shù)據(jù)之路》）

數(shù)據(jù)倉(cāng)庫(kù)建設(shè)項(xiàng)目鏈接（離線鏈接+實(shí)時(shí)鏈接）

4. 數(shù)據(jù)治理

數(shù)據(jù)治理主要涉及配置數(shù)據(jù)資產(chǎn)的數(shù)據(jù)管理策略，包括數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)成本、數(shù)據(jù)安全等。通過多維度量化評(píng)估，提出數(shù)據(jù)建設(shè)的改進(jìn)和優(yōu)化建議，確保數(shù)據(jù)質(zhì)量、標(biāo)準(zhǔn)、安全、易用。它包含以下功能：

數(shù)據(jù)標(biāo)準(zhǔn)化管理：負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的表達(dá)、格式和定義的標(biāo)準(zhǔn)化，包括模型規(guī)范、數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)規(guī)范、術(shù)語規(guī)范、指標(biāo)規(guī)范等的管理，并對(duì)不標(biāo)準(zhǔn)化的內(nèi)容提供改進(jìn)建議。數(shù)據(jù)成本：主要從存儲(chǔ)量和訪問情況沉淀相關(guān)治理項(xiàng)，如：空表、無效表（不與ETL任務(wù)表關(guān)聯(lián)）、長(zhǎng)期未訪問表、長(zhǎng)期表、大數(shù)據(jù)表等，通過分析治理項(xiàng)目運(yùn)營(yíng)情況，提出優(yōu)化建議，促進(jìn)數(shù)據(jù)開發(fā)人員的成本管理。數(shù)據(jù)質(zhì)量：關(guān)注數(shù)據(jù)完整性、準(zhǔn)確性、一致性、有效性和及時(shí)性五個(gè)維度，將數(shù)據(jù)重要性劃分為資產(chǎn)類別。質(zhì)量保證包括數(shù)據(jù)開發(fā)過程和數(shù)據(jù)標(biāo)準(zhǔn)實(shí)施等事前保證。等等，還有事中保障，如DQC對(duì)數(shù)據(jù)質(zhì)量的實(shí)時(shí)監(jiān)控和報(bào)警，以及事后保障，如數(shù)據(jù)質(zhì)量故障審核、確定質(zhì)量問題根源等。 數(shù)據(jù)安全：評(píng)估數(shù)據(jù)安全風(fēng)險(xiǎn)，設(shè)置數(shù)據(jù)的安全級(jí)別，包括支持安全認(rèn)證和權(quán)限管理、資源隔離、數(shù)據(jù)加密、數(shù)據(jù)脫敏等，確保數(shù)據(jù)安全可靠地傳輸、存儲(chǔ)和使用。 5、數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)旨在提供統(tǒng)一的數(shù)據(jù)消費(fèi)服務(wù)總線，可以從數(shù)據(jù)資產(chǎn)生成API服務(wù)。其目標(biāo)是服務(wù)數(shù)據(jù)，讓數(shù)據(jù)快速融入業(yè)務(wù)場(chǎng)景，釋放數(shù)據(jù)平臺(tái)的價(jià)值。它包含以下主要功能：

異構(gòu)跨數(shù)據(jù)庫(kù)查詢：如果數(shù)據(jù)分布在多個(gè)異構(gòu)數(shù)據(jù)庫(kù)中，用戶無法簡(jiǎn)單地實(shí)現(xiàn)數(shù)據(jù)關(guān)聯(lián)查詢。通過數(shù)據(jù)查詢服務(wù)，可以減少數(shù)據(jù)同步任務(wù)，直接實(shí)現(xiàn)多個(gè)源數(shù)據(jù)庫(kù)的數(shù)據(jù)加載和查詢完成。能力。數(shù)據(jù)API定義和管理：一些常用的數(shù)據(jù)枚舉或統(tǒng)計(jì)分析，可以通過定義數(shù)據(jù)集和API名稱，最后暴露為HTTP資源路徑，并發(fā)布和訪問數(shù)據(jù)API，方便各種應(yīng)用。在類腳本或代碼中使用數(shù)據(jù)。數(shù)據(jù)緩存：對(duì)于常用的數(shù)據(jù)查詢，可以定義緩存和更新策略，減少數(shù)據(jù)查詢對(duì)數(shù)據(jù)庫(kù)的滲透，提高性能，降低數(shù)據(jù)庫(kù)的性能負(fù)載。服務(wù)編排：根據(jù)業(yè)務(wù)邏輯，將多個(gè)API和功能服務(wù)編排為串行、并行、分支結(jié)構(gòu)的工作流。六、數(shù)據(jù)應(yīng)用

有了標(biāo)準(zhǔn)化的數(shù)據(jù)體系，分析和使用數(shù)據(jù)是DataOps關(guān)注的另一個(gè)維度。這也是數(shù)據(jù)驅(qū)動(dòng)的一個(gè)關(guān)鍵環(huán)節(jié)，即以數(shù)據(jù)為中心的決策和驅(qū)動(dòng)業(yè)務(wù)行為。數(shù)據(jù)分析師通過數(shù)據(jù)平臺(tái)提供的數(shù)據(jù)服務(wù)API，利用各種數(shù)據(jù)統(tǒng)計(jì)分析方法和智能算法，對(duì)相關(guān)數(shù)據(jù)進(jìn)行多維度、深入的分析和挖掘，支持業(yè)務(wù)相關(guān)的數(shù)據(jù)應(yīng)用場(chǎng)景，并持續(xù)利用數(shù)據(jù)。真正釋放數(shù)據(jù)平臺(tái)的商業(yè)價(jià)值。

不同的業(yè)務(wù)有自己的應(yīng)用場(chǎng)景，所以這一部分很難面面俱到。本文僅簡(jiǎn)單介紹幾種常見的數(shù)據(jù)應(yīng)用場(chǎng)景，希望能夠幫助大家更好地了解如何基于數(shù)據(jù)平臺(tái)的數(shù)據(jù)資產(chǎn)和數(shù)據(jù)服務(wù)來分析和使用數(shù)據(jù)。

大數(shù)據(jù)屏：通過對(duì)數(shù)據(jù)進(jìn)行分析計(jì)算，利用BI軟件，結(jié)合業(yè)務(wù)需求，將一些關(guān)鍵匯總數(shù)據(jù)以圖表等形式展現(xiàn)出來，實(shí)現(xiàn)數(shù)據(jù)可視化，為業(yè)務(wù)決策提供準(zhǔn)確可靠的數(shù)據(jù)支撐。

智能場(chǎng)景：屬于AIOps范疇，基于數(shù)據(jù)平臺(tái)的數(shù)據(jù)，利用AI算法對(duì)數(shù)據(jù)進(jìn)行提取、挖掘、洞察，為業(yè)務(wù)基于數(shù)據(jù)進(jìn)行決策和運(yùn)營(yíng)提供智能能力，并獲得更多前瞻性數(shù)據(jù)支持。典型的智能應(yīng)用場(chǎng)景包括智能推薦、智能客服、智能預(yù)測(cè)、健康管理等。

當(dāng)然，數(shù)據(jù)分析并不是數(shù)據(jù)的終結(jié)，因?yàn)殡S著數(shù)據(jù)的積累和業(yè)務(wù)規(guī)模的擴(kuò)大，很多數(shù)據(jù)分析結(jié)果也可能作為另一個(gè)更高維度模型的數(shù)據(jù)輸入，納入數(shù)據(jù)資產(chǎn)。的數(shù)據(jù)平臺(tái)。因此，數(shù)據(jù)分析師和開發(fā)人員需要從更高的維度和角度整合海量數(shù)據(jù)。這意味著數(shù)據(jù)處理鏈路不是靜態(tài)的。數(shù)據(jù)量會(huì)隨著業(yè)務(wù)不斷增長(zhǎng)，數(shù)據(jù)模型也需要不斷演進(jìn)。

數(shù)據(jù)平臺(tái)架構(gòu)示例

4

總結(jié)

總的來說，DataOps作為一種數(shù)據(jù)管理方法，利用DevOps方法論來管理數(shù)據(jù)的整個(gè)生命周期，通過數(shù)據(jù)平臺(tái)將數(shù)據(jù)轉(zhuǎn)化為服務(wù)能力，從而提高數(shù)據(jù)使用效率，實(shí)現(xiàn)數(shù)據(jù)的持續(xù)利用。目標(biāo)。以數(shù)據(jù)平臺(tái)為載體，以數(shù)據(jù)場(chǎng)景為驅(qū)動(dòng)，支撐更大的創(chuàng)新空間和更好的商業(yè)模式。

SREWorks云原生數(shù)字智能運(yùn)維平臺(tái)，積累了阿里巴巴大數(shù)據(jù)運(yùn)維團(tuán)隊(duì)近十年來經(jīng)過內(nèi)部業(yè)務(wù)錘煉的SRE數(shù)字智能工程實(shí)踐。包含了DataOps在運(yùn)維領(lǐng)域的最佳實(shí)踐。歡迎前來體驗(yàn)。我們旨在秉持“數(shù)據(jù)化、智能化”的運(yùn)維思維，幫助更多從業(yè)者用“數(shù)字化智能”的思維做好運(yùn)維工作。

參考

https://www.synopsys.com/blogs/software-security/agile-cicd-devops-difference/

https://zhuanlan.zhihu.com/p/55066486

http://www.uml.org.cn/bigdata/202108115.asp

https://en.wikipedia.org/wiki/DataOps

https://www.tamr.com/blog/from-devops-to-dataops-by-andy-palmer/

/結(jié)尾/