資料治理領域最容易混淆的16組術語概念辨析

IT公社
26 min readNov 24, 2022

--

近期拜訪了不少客戶,發現不同的客戶對資料治理的相關概念理解都不一樣,甚至完全是錯誤的,有些廠商為了追求時髦和新穎,一味追求新的概念,甚至有些概念的完全是張冠李戴,給市場製造了居多混亂和困擾,給客戶帶來誤導。這也是我寫這篇文章緣由,希望該篇文章能正本清源,能給廣大讀者起到一定指導作用。

術語是對概念的特定描述,在不同的專業領域,人們對同一概念的理解各有側重;在不同發展時期,人們對資料治理領域的同一概念的理解也會發生變化。術語的作用就是統一術語概念的語境,保證人們在給定語境能夠使用專門的語言進行精確的交流。術語概念只使用一個最貼切的業務術語表述,避免使用多個近義詞引起歧義。

一、3T差異

【資訊化(IT) 、工業營運技術(OT)、數位轉型(DT)】

1、資訊化(IT)Information Technology

包括了資訊的數位化、資料化海量儲存的條件、網路化可傳遞與共享等。企業透過ERP/CRM/MES等系統,將業務線上化,使得海量資訊可以透過數位化手段進行互聯互通快速處理。是以業務管理的規範化和最佳化為主要目標,主要側重於以資訊科技為支撐優 化提升其業務流程和企業管理。

2、工業營運技術(OT)Operation Technology

是為工廠自動化控制系統提供技術支援,確保生產正常進行的專業技術。

3、數位轉型(DT)Digital Transformation

指透過先進的雲計算、人工智慧、大數據、物聯網、移動網際網路手段,對資訊系統的海量資訊進行處理和挖掘,產生新的業務價值,並改變原 本的商業模式。以企業轉型升級和創新發展為主要目標,主要側重於以數字技術為引領打造數字新能力,推動傳統業務創新變革,構建數字時代新商業模式,開闢數字經濟新價值和發展新空間。

4、IIOT

是新一代資訊通訊技術與工業經濟深度融合的新型基礎設施、應用模式和工業生態,透過對人、機、物、系統等的全面連線,構建起覆蓋全產業鏈、全價值鏈的全新制造和服務體系,為工業乃至產業數位化、網路化、智慧化發展提供了實現途徑,是第四次工業革命的重要基石。

二、2個I差異

【(商業智慧(BI)、生產運營智慧(OI))與IIOT】

1、商業智慧(BI)Business Intelligence

是一套完整的解決方案,可以將來自企業的不同業務系統(如ERP、OA、BPM等,包括自己開發的業務系統軟體)的資料,提取出有用的資料進行整合清洗,在保證資料正確性的同時,進行資料分析和處理,並利用合適的查詢和分析工具快速、準確地為企業提供報表展現與分析,提供決策支援。

2、生產營運智慧(OI)Operation Intelligence

透過實時資料採集、IIOT、智慧計算與處理等多種技術,賦能研發、工程、工廠營運、行銷與服務等企業關鍵經營活動。工廠及成員單位生產營運層面BI系統。

三、多個數據平台差異

(資料倉庫、大數據平、資料湖、資料中台、資料底座、湖倉一體化大數據平台)

1、資料倉庫(Data Warehouse)

資料倉庫是一個面向主題的、整合的、相對穩定的、反映歷史變化的資料集合,用於支援管理決策。資料倉庫是資料庫的一種概念上的升級,可以說是為滿足新需求而設計的一種新資料庫,需要容納更加龐大的資料集。

2、資料湖(Data Lake)

資料湖是將來自不同資料來源、不同資料型別(結構化、半結構化、非結構化)的資料,以原始格式儲存進行儲存的系統,並按原樣儲存資料,而無需事先對資料進行結構化處理。是各種原始資料的集合(不產生資料),原則上不對資料進行清洗、整合(不能對業務資料進行修改),入湖資料需要進行註冊(經過治理並且滿足要求)。

3、大數據平台1.0

個性化、多樣化資料,以處理海量資料儲存、計算及流資料實時計算等場景為主的一套基礎設施,以 Hadoop、Spark、Hive 等作為大數據基礎能力層,在大數據元件上搭建包括資料分析,機器學習程式等 ETL 流水線,以及包括資料治理系統、資料倉庫系統、資料視覺化系統等核心功能。

4、資料中台

資料中台是企業級資料能力共享平台,提供企業級資料服務,實現資料共享。資料透過分層與水平解耦,經過匯聚、儲存、整合、分析、加工,沉澱公共的資料能力,再經過服務封裝,形成通用的呼叫介面,為前端應用提供資料服務呼叫,支撐前端應用敏捷迭代和快速構建。資料直接用於業務鏈路和交易場景, 服務更多業務。資料中台不是一個標準化的產品,是一整套策略和解決方案的集合。

5、資料底座

資料底座是企業統一的資料平台,是資料的邏輯集合,由資料湖和資料主題聯接兩層構成,整合公司內部各個業務系統資料及外部資料,為業務可視、分析、決策等資料消費提供資料服務。資料底座由資料湖和資料主題聯接構成。

6、湖倉一體化大數據平台Data Lakehouse

是新出現的一種資料架構,它同時吸收了資料倉庫和資料湖的優勢,資料分析師和資料科學家可以在同一個資料儲存中對資料進行操作,同時它也能為公司進行資料治理帶來更多的便利性。就是把面向企業的資料倉庫技術與資料湖儲存技術相結合,為企業提供一個統一的、可共享的資料底座。大數據平台1.0+資料中台的功能+資料運營的功能=大數據平台2.0=湖倉一體化大數據平台(簡稱大數據平台)。

四、資料、資料資源、資料資產和資料要素

1、資料對客觀事物(如事實、事件、事物、過程或思想)的數位化記錄或描述,是無序的、未經加工處理的原始素材”。

根據《資料安全法》定義,“資料,是指任何以電子或者其他方式對資訊的記錄。”該定義在法律層面明確了資料的記錄方式,並將“資料”和“資訊”進行區分。按照這一界定,紙質的檔案資訊以及其他書面形式對資訊所作的記錄,也屬於資料。

標準 ISO/IEC 11179–1:2015將“資料”定義為“以適合於交流、解釋或處理的形式化方式對資訊進行可重新解釋的表 示”,該定義強調了“資料”的電子性質,其認為“資料”是對它代表的物件(資訊)的解釋;且該解釋方式必須是權威、標準、通用的,只有這樣才可以達到通訊、解釋和處理的目的。

國際資料管理協會認為,“資料是以文字、數字、圖形、影象、聲音和影片等格式對事實進行的表現”,對“資料”存在的不同形態進行了列舉,指出“資料”是對事實的表現。

統計學將“資料”定義為“用於表示和解釋而收集、分析和總結後的客觀事實和數字符號”,並將“資料”分為定性資料和定量資料。

“資料”的定義雖未實現完全的統一,但結合上述定義分析,我們認為“資料”的定義包含了兩個核心內涵:

一是描述客觀事實。資料是對感知到的客觀事實進行描述或記錄的結果,是對現實世界中的時間、地點、事件、其他物件或概念的描述。

二是須符號化表達。資料須被符號化表達,方能被有效識別。如數字、文字、字母、聲音、圖片、影片等。

綜上,我們認為資料是對感知到的客觀事實進行描述或記錄的符號或符號集合,如數字、文字、字母、聲音、圖片和影片等,是未經處理的原始素材。

2、資料資源:廣義上是指對一個企業而言所有可能產生價值的資料,包括自動化資料與非自動化資料。企業生產及管理過程中涉及到的一切檔案、資料、圖表等資料的總稱。它是對資料進行加工處理,使資料間建立聯絡 ,並具有了某些意義,貫穿於企業管理的全過程。

3、資料資產:是指由組織(政府機構、企事業單位等)合法擁有或控制的資料資源,以電子或其他方式記錄,例如文字、影象、語音、影片、網頁、資料庫、感測訊號等結構化或非結構化資料,可進行計量或交易,能直接或間接帶來經濟效益和社會效益。在組織中,並非所有的資料都構成資料資產,資料資產是能夠為組織產生價值的資料資源, 資料資產的形成需要對資料資源進行主動管理並形成有效控制。

資料資產”三全”管理包含:全生命週期(時間)、全流程(空間)、全景式(場景)。

全生命週期(時間)是基於元資料的資料資產全過程管理,從註冊、應用、運營,最終歸檔消亡的全過程記錄與監控。權衡效率和需求之間的關係,合理分級儲存和保留、銷燬資料。

全流程(空間)是基於資料資產溯源管理(血緣與影響分析),資料來源、儲存位置、處理方式、流轉過程、安全稽查規則,能追本溯源的發現所有資產的“前世今生”。

全景式(場景)是基於資料資產全場景檢視,從應用場景的維度,既有全域性規劃的管理者,也有關注細節定義的使用者,還有加工、運維的開發者,提供多層次的圖形化展示,滿足應用場景的圖形查詢和輔助分析。

資料要素:指生產和服務過程中作為生產性資源投入,創造經濟價值的資料、數字化資訊和知識的集合。資料要素包括對原始的資料、衍生資料、資料模型、資料產品和服務等。

資料要素和資料資產,是資料資源在不同的價值釋放階段的業務性定義,資料要素包括資料資產,資料資產是能夠使用會計準則,能夠被會計確認計量的資料要素。

五、企業架構(業務架構、應用架構、資料架構、技術架構)

企業架構包含了四部分,BA(Business Architecture,業務架構)、DA(Data Architecture,資料架構)、AA(Applications Architecture,應用架構)、TA(Technology Architecture,技術架構)。

1、業務架構:是企業治理結構、商業能力與價值流的正式藍圖。業務架構明確定義企業的治理結構、業務能力、業務流程、業務資料。其中,業務能力定義了企業做什麼,業務流程定義企業怎麼做。是企業架構的基礎,描述企業戰略、治理、組織、關鍵業務流程間結構和互動關係。

業務功能是由業務流程實現的。

業務流程由業務步驟、業務角色、業務資料、業務事件、業務規則組成。

業務架構 = 業務功能 + 組織結構 + 業務流程 +業務資料。

2、應用架構:是企業架構的縮影,描述應用開發藍圖、應用間結構和互動關係,及應用與核心業務流程間的關係。

3、資料架構:資料架構是用於定義資料需求、指導對資料資產的整合和控制、使資料投資與業務戰略相匹配的一套整體構建和規範。是一套規則、政策、標準和模型,用於管理和定義收集的資料型別以及如何在組織及其資料庫系統中使用、儲存、管理和整合資料。它提供了建立和管理資料流以及如何處理整個組織IT系統和應用程式的方法。資料架構是實現資料規劃的載體,是揭示業務本質、描述公司資料關係的全景檢視,是統一資料語言、理順資料關係、消除資訊孤島、建立資料互聯的基礎。

4、技術架構:是資料和應用的支撐,描述用於部署業務、資料、應用服務的軟體和硬體能力。包含:基礎設施、 技術平臺、資訊化標準和資訊保安體系。簡單說技術架構是規範共享的公共軟硬體平臺,由計算機和通訊等硬體裝置和系統軟體(中介軟體)所實現的基礎服務(如流程處理、資料儲存、通訊等)。

六、資料管理、資料資源管理、資料資產管理和資料要素管理

1、資料管理:是為了交付、控制、保護並提升資料和資訊資產的價值,在其整個生命週期中制定計劃、制度、規程和實踐活動、並執行和監督的過程。資料管理指利用計算機硬體和軟體技術對資料進行有效的收集、儲存、處理和應用的過程。其目的在於充分有效地發揮資料的作用。包含:資料架構、主資料、元資料、時序資料、資料質量、資料安全、資料資源目錄等內容。

2、資料資源管理:致力於發展處理企業資料生命週期的適當的建構、策略、實踐和程式。關注目的就是去尋找手段,以有效的控制資料資源,並提升資料資源的利用率

3、資料資產管理:是指對資料資產進行規劃、控制和提供的一組活動職能,包括開發、執行和監督有關資料的計劃、政策、方案、專案、流程、方法和程式, 從而控制、保護、交付和提高資料資產的價值。資料資產管理須充分融合政策、管理、業務、技術和服務,確保資料資產保值增值。其核心思路是把資料物件作為一種全新的資產形態,並且以資產管理的標準和要求來加強相關體制和手段。從經濟角度,滿足對資產運營的各類管理要求。

4、資料要素管理:是生產和服務過程中作為生產性資源投入,創造經濟價值的資料、數字化資訊和知識的集合。內涵:是一種生產性資源,能夠產生收益或價值。外延:包括資料、資料模型、資料產品、資料服務等。

七、資料治理、資料運營、資料流通

1、資料治理

ISO38505–2:2018對資料治理的定義是:資料治理是關於資料採集、儲存、利用、分發、銷燬過程的活動的集合。

GBT4960.5–2018對資料治理的定義是:資料治理就是資料資源及其在應用過程中相關管控活動、績效和風險管理的集合。

國際資料管理協會(DAMA)對資料治理的定義是:資料治理是指對資料資產管理行使權力和控制的活動集合(規劃、監督和執行)。

國際資料治理研究所(DGI)對資料治理的定義是:資料治理是一個透過一系列資訊相關的過程來實現決策權和職責分工的系統,這些過程按照達成共識的模型來執行,該模型描述了誰(Who)能根據什麼資訊,在什麼時間(When)和情況(Where)下,用什麼方法(How),採取什麼行動(What)。

1)狹義的資料治理

是對資料資產管理行使權力和控制的活動集合(規劃、監控和執行),指導其他資料管理職能如何執行,在高層次上執行資料管理制度。

指資料管理的目標、原則、組織、制度、流程、績效和標準等軟性要求,取其“狹義”。

狹義的資料治理的驅動力最早源自兩個方面:

內部風險管理的需要,包括:財務做假、敏感資料涉密、資料質量差影響關鍵決策等。

為了滿足外部監管和合規的需要,比如薩班斯-奧克斯利法案、巴塞爾I/巴塞爾協議、健康保險流通與責任法案(HIPAA)等。

但隨著全球越來越多的企業瞭解到資訊資產的重要性和價值,在過去幾年中,資料治理的目標也在發生些轉變。除滿足監管和風險管理外,如何透過資料治理來建立業務價值備受關注。

2)廣義的資料治理

是圍繞將資料作為企業資產而展開的一系列的具體化工作。組織為實現資料資產價值最大化所開展的一系列持續工作過程,明確資料相關方的責權、協調資料相關方達成資料利益一致、促進資料相關方採取聯合資料行動。

包含資料戰略、資料架構、主資料管理、元資料管理、指標資料管理、時序資料管理、資料質量管理、資料安全管理、資料交換與服務、資料交換與共享等一系列資料管理活動的集合。

2、資料運營

是資料治理從專項工作轉變為企業日常經營管理體系的推進過程和實施策略,指資料的所有者透過對於資料的分析挖掘,把隱藏在海量資料中的資訊作為商品,以合規化的形式釋出出去,供資料的消費者使用。包含:資料需求、資料運維、資料共享、資料服務、資料分類分級、成熟度評估等

3、資料流通

即是實現資料社會化利用和實現資料資源價值的必然路徑,正是有社會化資料流通和利用。資料流通的目的在於實現資料的分析價值(使用價值),但是資料流通環節體現的是資料的交換價值。資料交換價值的基礎是資料關聯性、準確性和可用性(資料質量)。資料流通實際上是透過共享平臺、開放平臺和交易平臺進行流動。共享平臺解決部門之間的資料流通,開放平臺解決政府資料流向社會的疏導,交易平臺解決整個全社會資料之間的流通和互通。整個資料流通的過程中,資料的治理是基礎。資料流通的三個核心本質是治理、平臺支撐、應用驅動。

八、標準、標準化、標準體系、資料標準、資料標準化

1、標準:被定義為對重複性事物和概念所做的統一規定。透過標準化活動,按照規定的程式經協商一致制定,為各種活動或其結果提供規則、指南或特性,供共同使用和重複使用的檔案。

2、標準化:為了在既定範圍內獲得最佳秩序,促進共同效益,對現實問題或潛在問題確立共同使用和重複使用的條款以及編制、釋出和應用檔案的活動。

是一項活動,是制定、釋出和實施標準的系統過程,標準制定是標準化活動過程的核心要素。標準化的目的是使標準在社會一定範圍內得以推廣,使不夠標準的狀態轉變成標準狀態。標準化物件不是孤立的一件事、一個事物,而是共同使用或可重複使用的事物。標準化是一個動態的的概念,是隨著科技的進步和社會的發展而不斷變化發展的。

3、標準體系:一定範圍內的標準按其內在聯絡形成的科學的有機整體。標準體系表是一種標準體系模型,通常包括標準體系結構圖、標準明細表,還可以包含標準統計表和編制說明。

4、資料標準(Data Standards)是業務流程中產生的資料的統一定義。就是對資料的命名、定義、結構和取值規範方面的規則和基準,此定義是業務對資料項在企業營運環境中的統一業務定義及技術要求,是保障資料內外部使用和交換的一致性和準確性的規範性約束,以達成對資料的業務理解、技術實現的一致。

5、資料標準化:企業或組織對資料的定義、組織、監督和保護、藉助技術工具來促成資料標準得以在IT系統和業務領域實施的整體過程。透過資料標準化,企業的各種重要資訊,包括產品、客戶、機構、賬戶、單據、統計指標等在全企業內外的使用和交換都是一致的、準確的。資料標準化是一項帶有系統性、複雜性、困難性、長期性特徵的動態管理工作,是對標準的某種程度上的落地。

九、資料目錄與資料資源目錄、資料資產目錄、資料服務目錄、資料共享開放目錄

1、資料目錄:可以分為資料資源目錄、資料共享和開放目錄、資料資產目錄和資料服務目錄。是數字化轉型、構建數字孿生的基礎;是資料共享、服務的基礎;是資料資產化、資料資產運營的基礎;

2、資料資源目錄:是依據規範的元資料描述資料資源,站在全域性視角對所擁有的全部資料資源進行編目,以便對資料資源進行管理、識別、定位、發現、共享的一種分類組織方法,從而達到對資料的瀏覽、查詢、獲取等目的。

3、資料資產目錄:是指對資料中有價值、可用於分析和應用的資料進行提煉形成的目錄體系。資料資產目錄構建的角度應該是管理的角度,根據不同資料資產管理範圍的劃分,由不同的角色進行管理。編制資料資產目錄可以給出業務場景和資料資源的關聯關係,降低理解系統資料的門檻。中國政府為推動跨部門資料共享開放而重點佈置各級政府和代替政府履行一定公共服務職能的企業開展的重要資料管理工作,國務院和發改委先後多次發文,並已出臺資料資產目錄管理的系列國標;是整個資料資產體系中的首要工作,是構建企業資料架構體系的基礎工作。是實現企業內部資料資產目錄統一檢索、快速定位和統計分析,實現資料資產地圖展示、逐步形成知識圖譜。

4、資料服務目錄:是對資料服務依據規範的元資料描述,按照特定的業務場景進行排序和編碼的一組資訊,用以描述各個資料服務的特徵,以便於對資料服務的使用和管理。資料服務目錄的建設是基於組織內已梳理的資料資產目錄,以業務場景、應用場景為切入,以業務需求、應用需求為導向進行編制。主要分為兩類,一類是資料應用服務,包括指標報表、分析報告等可以直接使用的資料應用;另一類是資料介面服務,提供鑑權、加密、計量、標籤化等。

5、資料共享開放目錄:可以明確資料資源進行共享、開放的範圍與條件,方便資料跨部門、跨單位、跨組織產生價值。

十、資料來源、元資料與資料元

1、資料來源:是指資料的來源,也是資料產生和生成的源頭。資料來源包括內部資料來源和外部資料來源兩大部分。其中內部資料來源根據產生來源的不同又可以分成兩類,一類是業務操作中採集的原始資料,也稱基礎資料(是指企業運營活動中產生的原始資料,或者進行過簡單的清洗處理,但不透過計算得到的資料。);另一類是基於業務規則對原始資料資料加工後生成的結果資料,也稱衍生資料。外部資料來源指由於企業業務發展的需要,從企業外部政府部門、企事業單位、商業機構等獲得資料的來源,如氣象資料、經濟資料等。

2、元資料:為描述資料的資料,主要是描述資料屬性的資訊,用來支援如指示儲存位置、歷史資料、資源查詢、檔案記錄等功能。包括業務元資料、技術元資料和管理元資料。元資料管理是關於元資料的建立、儲存、整合與控制等一整套流程的集合。元資料貫穿資料資產管理的全流程,是支撐資料資源化和資料資產化的核心。首先,元資料從業務視角和管理視角出發,透過定義業務元資料和管理元資料,增強了業務人員和管理人員對於資料的理解與認識。其次,技術元資料透過自動從資料倉庫、大資料平臺、ETL 中解析儲存和流轉過程,追蹤和記錄資料血緣關係,及時發現數據模型變更的影響,有效識別變更的潛在風險。最後,元資料可作為自動化維護資料資產目錄、資料服務目錄的有效工具。

3、資料元:也稱為資料元素,組成實體資料的最小單元,或稱原子資料,用一組屬性描述定義、標識、表示和允許值的資料單元,資料元由三部分組成:物件、特性、表示。[GB/T 18391.1-2002,定義3.14在一定語境下,通常用於構建一個語義正確、獨立且無歧義的特定概念語義的資訊單元。 資料元可以理解為資料的基本單元,將若干具有相關性的資料元按一定的次序組成一個整體結構即為資料模型。

資料元一般由物件類、特性、表示三部分組成:1)物件類:現實世界中的想法、抽象概念或事物的集合,有清楚的邊界和含義,並且特性和其行為遵循同樣的規則而能夠加以標識;2)特性:物件類的所有個體所共有的某種性質;3)表示:值域、資料型別的組合,必要時也包括度量單位或字符集。

十一、參考資料、主資料、交易資料、指標資料

1、主資料:指滿足跨部門業務協同需要的核心業務實體資料。長期存在且應用於多個系統,描述整體業務資料的物件;例如:客戶、商品、供應商主資料相對交易資料而言,屬性相對穩定,準確度要求更高,唯一識別。主資料管理是一系列規則、應用和技術,用以協調和管理與企業的核心業務實體相關的系統記錄資料。透過對主資料值進行控制,使得企業可以跨系統的使用一致的和共享的主資料,提供來自權威資料來源的協調一致的高質量主資料,降低成本和複雜度,從而支撐跨部門、跨系統資料融合應用。

2、參考資料:是用於將其他資料進行分類或目錄整編的資料,參考資料管理是對定義的資料域值進行控制,包括對標準化術語、程式碼值和其他唯一識別符號,每個取值的業務定義,資料域值列表內部和跨不同列表之間的業務關係的控制,並對相關參考資料的一致、共享使用。

3、交易資料:也稱為操作類資料指在日常業務開展過程中實時產生或互動的業務行為和結果型資料。操作類資料對實時性要求較高,主要作用是支撐業務的辦理流程。相對於主資料,交易資料具有短期或瞬間的特點;例如:採購訂單,銷售訂單。

4、指標資料:組織在戰略發展、業務運營和管理支援各領域業務分析過程中衡量某一個目標或事物的資料。一般是由指標名稱、時間、指標數值等組成。指標資料管理指組織對內部經營分析所需要的指標資料進行統一規範化定義、採集和應用,用於提升統計分析的資料質量。

企業一般將參考資料和主資料通稱為主資料。其中,參考資料又叫配置型主資料,是描述業務或核心主資料屬性分類的參考資訊,會在整個組織內共享使用。一般依據國際標準、國家標準、行業標準或企業標準和相關規範等,在系統中一次性配置使用的基礎資料,例如國家、民族、性別等規範性表述。配置型主資料相對穩定,不易變化。相對於參考資料的主資料又稱為核心主資料,指用來描述企業核心業務實體的主資料,是企業核心業務物件、交易業務的執行主體,如產品、物資、裝置、組織機構、員工、供應商、客戶、會計科目等。核心主資料是企業資訊系統的神經中樞,是業務執行和決策分析的基礎。核心主資料是相對“固定”的,變化緩慢。

十二、資料指標和資料標籤

1、資料指標:是衡量目標的方法,預期中打算達到的指數、規格、標準,一般用資料表示。例如:銷售收入、活期存款金額、委託貸款餘額等。資料指標管理是指透過對企業若干個核心和關鍵業務環節相互聯絡的統計資料指標的全面化、結構化和層次化的系統化構建,滿足企業對找指標、理指標、管指標、用指標的需要。

2、資料標籤:是一種用來描述業務實體特徵的資料形式。透過標籤對業務實體進行刻畫,從多角度反映業務實體的特徵。比如對使用者進行刻畫時,包括性別、年齡、地區、興趣愛好、產品偏好等角度。在日常工作中,經常碰到的業務實體包括使用者、商品、商戶等,相應的標籤分別稱之為使用者標籤、商品標籤和商戶標籤。

十三、資料架構與主題域、資料模型、資料分佈、資料流向、實體、資料型別、資料項

1、資料架構:資料架構包括資料資產目錄、資料標準、企業級資料模型和資料分佈四個元件。

2、主題域:提供模型的高階檢視,是類的邏輯分組。根據業務要求將類組織成一些獨立完整的領域,每個主題域對應某一領域所涉及的類物件,並在較高層次上對該領域內資料進行完整一致的描述。主題域擴充套件可以根據客觀物件、業務關注點定義新的資料物件範圍。

定義主題域原則包括以下三點:

同一主題下由相關性強的概念或內容聚合而成;

同一層級的主題域具有互斥性,其業務含義不可重疊, 上級和下一級是父子關係;

業務域之間需要建立關聯關係。

3、資料模型:是使用結構化的語言將收集到的組織業務經營、管理和決策中使用的資料需求進行綜合分析,按照模型設計規範將需求重新組織在一起。從模型覆蓋的內容粒度看,資料模型一般分為主題域模型、概念模型、邏輯模型和物理模型。主題域模型是最高層級、以主題概念及其間關係為基本構成單元的模型,主題是對資料表達事物本質概念的高度抽象;概念模型是以資料實體(類)及其間關係為基本構成單元的模型,實體名稱一般採用標準的業務術語命名;邏輯資料模型是在概念模型的基礎上細化,以資料屬性(元素)為基本構成單元。

4、資料分佈:是針對組織級資料模型中資料的定義,明確資料在系統、組織和流程等方面的分佈關係,定義資料型別,明確權威資料來源,為資料相關工作的提供參考和規範。透過資料分佈關係的梳理,可以定義資料相關工作的優先順序,方便指定資料的認責管理人,並進一步最佳化資料的整合關係。

5、資料流向:是建立組織內各應用系統、各部門之間的整合機制,透過公司內部資料整合相關制度、標準、技術等方面的管理,促進公司內部資料互聯互通。體現系統各環節輸入和輸出的資訊項,資料透過系統互動以及儲存的路徑,從資料傳遞和加工的角度,體現控制流和資料流的方向。

6、實體:是指現實世界中客觀存在的並可以相互區分的物件或事物。就資料庫而言,實體往往指某類事物的集合。可以是具體的人事物,也可以是抽象的概念、聯絡。資料實體物件往往包含:指標資料、交易資料、主資料及參考資料等。

7、資料型別:資料型別是一種分類,它指定變數具有哪種型別的值以及哪種型別的數學、關係或邏輯運算資料型別是一種分類,它規定了變數或物件在計算機程式設計中可以包含什麼。資料型別具體細分為原始型別及構造型別。原始型別包括整型、浮點型、布林型、字串型等。構造型別包括列舉、結構體、集合等。資料型別定義參照CIM標準執行。

8、資料項:資料項是資料的不可分割的最小單位。 資料項的名稱有編號、別名、簡述、資料項的長度、型別、資料項的取值範圍。 資料項是資料記錄中最基本的、不可分的有名資料單位,是具有獨立含義的最小標識單位。

9、資料字典:是指對資料的資料項、資料結構、資料流、資料儲存、處理邏輯等進行定義和描述,其目的是對資料流程圖中的各個元素做出詳細的說明。資料字典是描述資料的資訊集合,是對系統中使用的所有資料元素的定義的集合。

十四、資料應用與資料分析、資料開發共享、資料服務

1、資料應用:是對資料的使用,使其發揮價值。其涉及到三個領域:資料分析、資料開放共享和資料服務。

2、資料分析:是對公司各項經營管理活動提供資料決策支援而進行的公司內外部 資料分析或挖掘建模,以及對應成果的交付運營、評價推廣等活動。資料分析能力會影響到公司制定決策、創造價值、向用戶提供價值的方式。

3、資料開放共享:是指按照統一的管理策略對組織內部的資料進行有選擇的對外開放,同 時按照相關 的管理策略引入外部資料供組織內部應用。資料開放共享是實現資料跨組織、跨行業流轉的重要前提,也是資料價值最大化的基礎。

4、資料服務:是指透過對企業內外部資料的統一加工和分析,結合不同需求方的需要,以資料分析結果的形式對外提供跨領域、跨行業的資料服務。資料服務的提供可能有多種形式,包括資料分析結果、資料服務呼叫介面、 資料產品或資料服務平臺等,具體服務的形式取決於企業資料的戰略和發展方向。

十五、資料生命週期與資料需求、資料設計和開發、資料運維、資料退役

1、資料生存週期:資料獲取、儲存、整合、分析、應用、呈現、歸檔和銷燬等各種生存形態演變的過程。

2、資料需求:是公司對業務運營、經營分析和戰略決策過程中產生和使用的資料的分類、含義、分佈和流轉的描述。資料需求管理過程識別所需的資料,確定資料需求優 先級並以文件的方式對資料需求進行記錄和管理。

3、資料設計和開發:是設計、實施資料解決方案,提供資料應用,持續滿足公司的資料 需求的過程。資料解決方案包括資料庫結構、資料採集、資料整合、資料交換、資料訪問及資料產品等方案。

4、資料運維:是資料平臺及相關資料服務建設完成上線投入運營後,對資料採集、資料 處理、資料儲存等過程的日常執行及其維護過程,保證資料平臺及資料服務的正常 執行,為資料應用提供持續可用的資料內容。

5、資料退役:是對歷史資料的管理,根據法律法規、業務、技術等各方面需求設計歷史資料的保留和清除策略,執行歷史資料的歸檔、遷移和清除工作,確保公司對歷史資料的管理符合外部監管機構和內部業務使用者的需求,而非僅滿足資訊科技需求。

十六、業務術語、業務規則、命名規範、技術規範

1、業務術語:是組織中業務概念的描述,是組織內部理解資料、應用資料的基礎,是業務部門和資料部門溝通的橋樑。良好定義的業務術語標準和業務術語字典可以實現業務術語、元資料的追蹤,方便資料治理人員查詢使用。業務術語管理指在組織內製定統一的管理制度和流程,並對業務術語的建立、維護和釋出進行統一的管理,進而推動業務術語的共享和組織內部的應用。透過對業務術語的管理能保證組織內部對具體技術名詞理解的一致性。

2、業務規則:是描述業務應該如何在內部執行,以便成功地與外部世界保持一致。通常在軟體中實現,或者使用文件模板輸入資料,如主資料,通常規定了主資料格式和允許的取值範圍。

3、命名規範:是能夠完整準確表述業務含義。名稱符合、行業內的通用命名習慣。

4、技術規範:是對標準化的物件提出技術要求,也就是用於規定標準化物件的能力。當這些技術規範在法律上被確認後,就成為技術法規。技術規範是標準檔案的一種形式,是規定產品,過程或服務應滿足技術要求的檔案。它可以是一項標準(即技術標準)、一項標準的一部分或一項標準的獨立部分。其強制性弱於標準。

結束語

資料治理相關術語很多,資料治理術語管理包括術語的識別、建立、審定、釋出、變更、應用、宣貫、考核等活動,應定義組織統一的管理流程,並以組織級管理檔案正式釋出。在一個組織裡,術語定義應由業務部門、資料管理部門共同參與制定,並以業務術語標準作為業務術語的載體,透過對業務術語標準的定期複審和修訂,保持業務術語的準確性、即時性。

文章來源於:數據工匠俱樂部

文章連結:https://mp.weixin.qq.com/s/c5z0_lDDRkd0Zcq5yehvuA

※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※

更多精彩內容,按讚我的臉書 IT Value 研討社,獲得24個行業240份企業數位轉型資料喔!等你來看喔 😃

推薦閱讀

2022 年 CIO 現狀:重點轉向 IT 基礎知識

撥開迷霧選型資料中臺,兼談這些供應商的商業模式

一文講清資料治理、資料管理、資料資產管理區別,資料專家必看

企業架構 | 亂七八糟的系統建設是怎樣形成的、該怎麼治

Sign up to discover human stories that deepen your understanding of the world.

Free

Distraction-free reading. No ads.

Organize your knowledge with lists and highlights.

Tell your story. Find your audience.

Membership

Read member-only stories

Support writers you read most

Earn money for your writing

Listen to audio narrations

Read offline with the Medium app

--

--

IT公社
IT公社

Written by IT公社

基於CIO知識分享的人際圈

No responses yet

Write a response