導讀：資料中臺要想成功，靠的是3分工具、7分實施、12分運營。
作者：數瀾科技
來源：數瀾（ID：DTWAVE）
《關於構建更加完善的要素市場化配置體制機制的意見》《關於加快推進國有企業數位化轉型工作的通知》《“十四五”國家資訊化規劃》等政策落地實施，數位化轉型已步入了一個全新的階段，資料中臺（後文單說“中臺”時，特指“資料中臺”）作為數位化建設的基本設施，在其中發揮了重要的作用。
縱觀資料中臺產業的發展，自成長之初，就具備了“天時地利人和”多重利好條件。
在技術架構層面，隨著雲計算、大數據的技術發展，資料中臺在技術上逐漸走向成熟。在資源型平臺方面，從Hadoop體系開始，到Spark、Flink；從傳統的OLTP，到OLAP、HTAP；從一般批排程，到Lambda架構、流批一體；從資料倉庫到湖倉一體……琳琅滿目的技術體系，足以支援資料中臺的儲存及技術上不同的架構。
在建設工具層面，資料中臺所需的開發體系、資料體系、管理體系、運營體系、服務體系，在各頭部網際網路企業、獨立中臺開發商的競爭下，也不乏選擇。在應用服務層面，資料分析查詢、資料視覺化、BI等通用型服務工具也在高速發展。在業務價值層面，資料智慧應用也給原來傳統軟體解決方案帶來新的思路。
站在技術發展成熟度的視角，資料中臺這座大廈理應拔地而起，高速成長。但在實際市場中，資料中臺還是各網際網路大廠、傳統龍頭企業的專屬，大部分企業還是隻能觀望。為什麼呢？
01 建設困境：基於建設路徑、技術選擇、組織支撐視角
1. 資料中臺的實現方式
首先從資料中臺的實現方式說起，一般來說，建設資料中臺有著獨立建設資料中臺、附屬於業務（業務中臺）建設資料中臺、業務中臺和資料中臺結合共建三種模式。它們各有優缺點，不同企業不同目的，應該選擇不同建設方式，短時間建設是不能做到殊途同歸的。
獨建中臺，受業務干預少，所以在基礎設施上比較自由，總體建設難度小。但由於通用性或單一性，業務接入難度大（或者說效率低），中臺價值很難最大化。這種方式比較適合業務資料相對集中，資料有統一性的價值出口，比如ToC帶有網際網路屬性的企業。
依附業務，有明確的價值輸出點，在建設初期可以根據業務來確定資料相關體系標準，工具互動可以有強業務邏輯，總體建設難度適中，而且一定程度（業務沒有大變化的情況下）中臺價值能最大化。但這樣的中臺不利於其他業務接入，不能適應業務的快速變化。這種方式比較適合沒有足夠規模的技術團隊支撐資料中臺全面發展的中小型企業。
相互共建，有高度統一性，能持續發展，平臺價值能最大化。但實現難度十分大，需要有完整規劃，以及全方位的人才投入，建設週期長。這種方式比較適合政府機構、大型集團性企業。
其次，再來看看技術層面的影響。技術一般不是影響資料中臺建設的重要原因，但很多時候是阻礙其建設的重要因素。主要影響可能是以下三點：
1）儲存及計算引擎選擇
因為這塊的變動需要做大量的遷移工作（如：阿里由Hadoop轉成自有技術MaxCompute），所以前期選型工作要做深遠的考慮。但現行大資料技術還在不斷迭代中，過去的選擇當前可能有更好的替代品。
2）成本效益的考慮
資料中臺的一個核心是資料的“複用”，這個“複用”的效果很多程度上反映在資料使用的效率上。這裡面具體有兩方面問題。
一方面，效能的效率，如儲存成計算成本等。在資料量上去後，這塊成本是十分可觀的，往往會影響上層決策；另一方面，工具串聯下來的所能帶來的工作效率的提升，以及入手門檻的降低，這塊往往是中臺是否能能長期發展的一個重要影響因素。
3）技術使用慣性
相對中大規模中臺建設的公司，一般都會有自己的技術團隊，他們已經有存在一些技術使用的慣性，技術的選擇是考慮業務的長足發展還是要兼顧當前的研發成本和效率，也是一個重要的考量。
2. 組織支援
接著，我們說組織支援方面的原因。數瀾科技資料中臺構建方法論中，重點提到組織文化在其中的重要作用（單純的引入行業領先資料文化並強制執行一定是不可取的，要培養資料文化不能侷限於技術專業人員，更要讓業務部門深入參與共創，並有意識的培養員工在資料認知的突破，透過資料賦能業務的落地實踐，可進一步拉動企業組織對“資料素養”的人才需求）。
在IBM《資料治理能力成熟度模型》中，組織結構和文化也是資料治理工作的重要支撐部分。
組織結構與文化是描述業務、IT、資料之間的相互責任和組織結構，針對組織不同層級上的管理提出受託責任且做出承諾。很多時候，負責承建資料中臺是其中一個業務部門，或者是IT部門。特別是IT部門的情況下，是很難拉通全域性來排程資源的，作為下游的業務部門如果不參與進來，很多時候中臺就是一個架子，不能發揮實際作用徒增成本。
這樣的問題不是技術層面或者獨立部門就能解決的事情，需要組織層面的權力操作。
另外，在組織支撐下建立的資料相關體系，如：資訊生命週期、資料安全和隱私管理等，是建設中臺的重要支撐。這些體系準則不是特意為資料中臺準備的，就是沒有資料中臺這樣的機制，這些體系準則也會依附其他工具或流程運轉。
所以說，這些是資料中臺運轉的一個基礎，是為平臺工具注入靈魂的所在，中臺的形態也會根據注入的內容會有所不同。
3. 社會認知
最後，說說大環境上原因。在確立資料作為第五類生產要素後，政府企業的數字轉型的步伐陡然加快。整個社會對資料平臺的認知，有質的改變。從過去任務中臺只是一個生產工具，到現在一套完整的運作機制，政企在建設中臺廣度上跳出了技術範疇，排程更多的資源配合。
資料中臺的建設，已經從應用工具的建設，到整套數字化轉型機制轉變。也正是因為這個原因，對建設中臺的期待也更大。然而這種期待放大和投入變大不一定是正比的，也就導致中臺建設難度就更大了。
02 建設路徑：從組織認知提升到標準化體系建設
基於困境，我們接下來談談資料中臺建設在當前階段有哪些重點要去關注。
目前，資料的價值屬性已經獲得業界的廣泛認可，但是選擇觀望的企業依舊佔據大多數，資料中臺在認知和推廣上仍然面臨著多方面的挑戰。
政府企業在組織層面，如何支撐資料中臺的落地或者支撐資料中臺良性運營，業界上也給出了些標準答案。比如資料中臺的建設方法論、IBM的資料治理成熟度模型、信通院的資料管理能力成熟度管理模型。這些都定義了組織上需要做哪些事情讓資料中臺建設得到足夠的支撐。
其次是體系建設，這是資料中臺落地最困難的部分。一般在資料上，我們會從資料體系、資產體系、生命週期管理、風險管理、安全及隱私、資料運營（業務價值）等方面來構建完整的資料流轉的體系。但要完整構建這些體系是一個漫長的過程，而且不同企業/政府著重建設的點也不一樣。
資料體系、資產體系是中臺使用的基礎。資料體系是在全域資料資源的基礎上，進行標準定義及分層建模，最終呈現的結果是一套完整、規範、標準、準確的資料體系，可以方便支撐資料應用。
資產體系是指規劃、控制和提供資料及資訊資產的一組業務職能，包括開發、執行和監督有關資料的計劃、政策、方案、專案、流程、方法和程式，從而控制、保護、交付和提高資料資產的價值。
資料資產管理需要充分融合業務、技術和管理，以確保資料資產保值增值。這兩塊一般按公司實際業務情況來落地，沒有最好，只有最合適。
對於中大型企業來說，可量化來衡量資料及資料中臺的價值是十分重要，畢竟資料中臺是長期的投入，它的ROI是怎樣會直接影響中臺投入的資源，因此會十分關注資料運營來實現業務價值。
而對政務組織而言，情況又不太一樣。資料安全性是他們當前要重點考慮的事情。根據《大資料藍皮書：中國大資料發展報告№5》資料顯示：在二十國（G20）之中，除數字安全外，中國在其他指標都排行前列的。
所以，國家在近兩年公佈了大量相關的法制、法規，加強數字法治性的發展。當前研究熱點，多集中在資料安全、數權、個人資訊保護及權利行使等領域，所以資料中臺建設要更多考慮安全及隱私。
03 技術維度：從DataOps能力看資料中臺建設
上面已經說過中臺的能力，但它們過於複雜，現在我們把它縮小，單單套用在技術層面的能力，也就是DataOps能力，來討論資料中臺成功的一些必要條件。
在DataOps資料工程化、資料整合、資料質量、資料安全及隱私這四個能力下，資料應該應該要做到Process->Analyze->Learn->Re-Use這個閉環。
DataOps的常見定義：
﹣DataOps（資料運營）是以一種敏捷的方法，用來設計、實施和維護分散式資料架構，支援廣泛的開源工具和框架，資料運營的目的是從大資料中獲取業務價值。
﹣DataOps是一個自動的、面向流程的方法論，被資料和分析團隊使用，從而提高質量縮短資料分析的週期。
﹣DataOps是在一個組織中控制資料旅程從而產生價值的一個職能。
﹣DataOps對開發，測試和部署程式碼進行了嚴格的管理，這些程式碼管理資料流並建立分析解決方案。
﹣簡單來說，資料中臺是實現DataOps的一種方法，他的成功應該要滿足DataOps該有的條件，但資料中臺不僅僅是DataOps，DataOps的成功不代表資料中臺的成功，因為DataOps往往只決定技術價值，但資料中臺更多時候要考慮業務價值。
當前很多資料中臺，只考慮整合、質量的問題，而忽略工程化、安全/隱私的問題。但DataOps上最重要的是工程化部分，也是資料中臺中”複用“的關鍵所在（ERP系統能成功，就是把核心業務都標準化、工程化掉，任何人操作都是由準則和流程可依的）。工程化本質是建立執行標準的事情，難度是十分大，而且在後期改動比較困難。
所以我們經常會見到，資料中臺建成後，前期參與的團隊使用比較順暢，後期加入的使用的團隊就有可能不適用，這就是工程化做的不好的結果。在實現中臺是隻考慮了當前參與團隊處理資料流程的，而不是一個標準自動化過程。比如資料智慧應用上工程化流程比一般數倉資料分析要複雜的多。
資料中臺能否被高效用起來，工程化問題就是核心，這個做好了，至少中臺的作用就在了。
當前資料中臺還是處於發展初期階段，可能也像ERP需要10年甚至更長時間沉澱，才能形成一套產品、服務的行業標準。但不可否認的是，它是具備成為數字化轉型必備的基礎設施的潛力。現在可能沒有一套構建資料中臺的標準答案，但套用ERP實施的老話 — — “資料中臺要想成功，靠的是3分工具、7分實施、12分運營。”
關於作者：許錫彬，數瀾科技CTO＆數瀾研究院院長。
※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※
更多精彩內容，按讚我的臉書 IT Value 研討社，獲得24個行業240份企業數位轉型資料喔！等你來看喔 😃
