IT公社

作者:IT技術管理不是事

BI的分類

對於程式設計師來說,開源的東西都是好的,別的不說,因為可以自己自己隨意開發,畢竟每個人都喜歡自己寫的程式碼嘛,也或者,就是不想花錢。

就拿很火的BI來說吧,BI分兩種:開源BI和商用BI,說起開源BI就是有愛又恨,這一切都要從微軟帶起了商業風說起….各個產品的側重點不同,有的以報表為主、有的以視覺化為主、有的以查詢分析為主。我嘗試了多種BI,跟大家分享一下使用感受。

BI的使用心得

我先嘗試了國外的開源BI。

第一個接觸的開源BI是pentaho,實在是太臃腫了,花了半年時間沒有搞定,bug又多,修改不了。

第二個是superset,視覺化很強大,不過需要安裝Linux,對於非技術人員很不友好,畢竟現在的BI都主打自助式。

第三個開源BI就是JasperReports了,這是程式設計師最受歡迎、最常用的開源報表工具,常和ireport一起搭配使用,不過它有兩個致命的缺點:需要學習程式設計,不支援多源資料來源,這無疑是把自己未來的路給封死了…

使用了這麼多之後,我們決定試試其他的開源BI,我們發現很多開源BI都是假開源,閹割很多核心功能,或者是商業用就要收費。而BI產品又很貴,在商業bi用的比較多的就是tableau,價格高,10個賬號,增加一個賬號需額外支付費用。

由於最近要給公司實施BI,和工程師聊過,如果自己開發一套BI的話,工作量非常大,開發不出來的可能性很大,風險大。於是怎麼辦呢?只能硬著頭皮上Tableau,貴就貴吧,畢竟是全球第一,貴的東西總買不了上當吧。

用了一段時間發現,這什麼玩意?售後服務太差了,雖然各種圖表酷炫至極,還帶有語音控制,但是我不需要這些,我只是想要在出bug的時候能有幫助文件或者客服人員幫助我解決,而不是我們的研發像個無頭蒼蠅一樣。

在資訊部同事的不斷調研之後,我們決定使用帆軟的產品FineBI,在IDC認證的市場佔有率上,它在亞太區名列前矛。剛剛開始也是抱著試試看的心態,沒想到用幾天以後發現功能著實貼合企業場景,業務人員可以自己拖拽分析,再也不用排隊等IT開發了。

FineBI使用

今天就給大家講講我的使用心得,如何用FineBI打造自己的BI系統。

搭建企業BI系統的第一步是什麼?當然是下載BI工具!登入帆軟官網,點選免費下載,提醒一下,永久免費版的~

FineBI免費下載地址:點擊此處

FineBI免費Demo試用:點擊此處

企業版才需要收費開啟後就是這樣了,頁面簡潔,突出重點,適合我們這種上了年紀的人,太酷炫會花眼。

--

--

IT是informatiomtechnology英文的縮寫,全稱含義為“資訊科技”。IT包含有三個層次:第一層是資料儲存、處理和傳輸的主機、網路通訊裝置等硬體;第二層是指用於搜尋、儲存、檢索、分析、應用等各類軟體,比如ERP、CRM、SCM等,同時也包含用來輔助分析的DW/DM(資料倉庫和資料探勘);第三層指的是蒐集、儲存、檢索等應用,比如利用ERP、CRM、DW/DM等技術手段進一步提高分析用於決策者決策。

OT是operationtechnology英文縮寫,指的是廠內控制操作專員為自動化控制系統提供支援。

總的來說,在工廠是完全的兩撥人,甚至IT部門與OT部門合併會引起軒然大波:

假設你是工廠的網路專員,負責操作技術(OT),為自動化控制系統提供支援,以確保生產正常進行。這時你收到了一封惱人的郵件:你公司的IT部門將會升級網路並在工廠中實現全新的網路安全措施,而你需要配合工作。換句話說,IT已經涉足了你的作業範疇。這是否一定是個壞訊息?這可能並不是一個好訊息,但問題在於,為什麼IT和OT部門的合併總是會引起軒然大波?

MatrixTechnology公司的高階顧問Perry Tobin說道:“IT人員通常不會具有5年或者10年生產加工領域的工作經驗,所以也不會對歷史遺留問題有切身體驗。IT人員到現場看到裝置上裝了Windows 2000系統,並且還要再繼續使用兩三年,他會說:‘我的天哪,讓我們對系統進行升級吧。’而你卻說:‘不行,這臺裝置不要升級,因為這臺裝置上安裝了許可證,而且與其相連線的Rockwell Automation公司、Siemens公司的軟體和其他一些老款軟體還不支援新的系統平臺。’”

--

--

在很多人入門資料分析師或者投身大數據行業的時候,必然會聽到的兩個詞就是“報表工具”和“BI商業智慧”。然而很多人並不明白兩者的概念和區別,以為報表就是BI,BI就是報表。

其實這是相當錯誤的理解,造成這種錯誤觀念的原因主要是兩者都是大數據時代下的分析工具,兩者的功能有所重合,想要搞清楚兩者之間的區別,就要從報表工具和BI商業智慧工具的應用場景上分析。

01 BI商業智慧與報表軟體有什麼區別?

報表是資料展示工具,商業智慧BI是資料分析工具。

報表工具顧名思義就是製作各類資料報表、圖形報表的工具,甚至還可以製作電子發票聯、流程單、收據等等。

商業智慧不單單是一個工具,更應該是一種解決方案。百度百科給出的解釋是:商業智慧是提取企業各個運作系統的資料,然後進行清理、抽取、轉換和裝載,即ETL過程,合併到一個企業級的資料倉庫裡,從而得到企業資料的一個全域性檢視,在此基礎上利用合適的查詢和分析工具、OLAP工具等對其進行分析和處理,最後將結果呈現給管理者,為管理者的決策過程提供支援。

兩者最明顯的區別,報表主要是IT開發人員製作並且服務於業務流程,比如銷售報表、供應鏈生產報表。而BI商業智慧也能做報表,但BI的報表形式更簡單,操作起來自然更方便,報表的欄位大多拖拖拽拽到維度框指標框中,形成報表,使用者有IT人員也可以是業務分析者。

一般來說,BI與報表有以下4個方面的區別:

1)任意分析維度

假設老闆需要對一份有20個維度的銷售明細資料進行任意維度的檢視。維度有省、市、區、經度、緯度等區域欄位,以及商品編號、商品名稱、商品型別等商品屬性欄位等。

報表可以實現多維度資料展示,卻無法支援任意維度任意組合。有N個維度,製作N張報表的形式雖然可以勉強支援,但工作量直接翻了N倍;就算不考慮後期運維成本,如果每張報表再考慮配置資料許可權,是N*N指數級工作量的增長。

2)任意分析路徑

分析路徑,不僅僅指代透過鑽取改變分析的顆粒度。除此之外,資料分析需要對多維形式組織起來的資料進行聯動、鑽取、維度切換等各種分析操作,以便剖析資料。畢竟,主管們看數的需求是無法預先設定的,真正的“任意分析”是滿足老闆隨心所欲想要什麼就有什麼的看數需求。

且不說報表配置引數有多曲折繁瑣,這一切,都不是靠報表系統配置一些常規的分析路徑就能夠滿足的。

3)實時分析

如何實時掌握今年雙十一的銷量情況?

如何自定義業務核心指標並保持實時更新,讓管理部門迅速發現問題?

如何實現異常資料自動預警,以便企業及時調整規劃?

如何統計公司內部任務安排情況(例如研發開發排期),協助主管進行人員等資源調配?

首先,單純的報表系統實現不了“實時資料”的支援,再者,實時資料≠實時分析,企業更渴望的是“實時分析”。實現準實時、分鐘級實時資料的更新,同時支援複雜計算與分析才是老闆的剛需。

4)報表系統無法實現的地方

報表系統可以連線多維資料庫,但無法實現拖拽分析和自助分析;報表系統一般接入在某個業務系統資料庫上提供查詢功能,也可以實現跨庫關聯查詢,但實現的複雜度和效能依賴報表工具的能力,除了資料展現以外,資料探勘、效能最佳化、許可權管控上都無法支援。

由此可見,報表,只是資料的一種展現工具,是靜態的、固化的。所謂報表工具,例如國外的水晶報表,這類產品的本質是統計和展現資料,並提供基礎的分析功能(排序、總計、方差等),報表目的是幫助使用者掌握和了解資料,讓使用者透過觀察企業資料,知道當下發生了什麼事情,著重於短期的運作支援。

而BI的重點在於商業資料的分析,它是立體多方面的,集成了資料統計、資料展示、資料分析和挖掘、資料預警等一系列整體的解決方案。在企業經營的過程中,決策者不僅僅需要知道發生了什麼,還要知道為什麼發生,以及透過已知去推斷未來可能會發生什麼。

總結一下,BI側重於資料分析,是業務、資料、資料價值應用的過程,是一整套完整的解決方案。報表側重資料展現,報表只是BI中的一個組成模組,報表無法替代BI。

以國產主流的FineReport和FineBI舉例,前者是報表平臺工具,後者是商業智慧BI。

02 報表平臺工具

FineReport的應用場景主要是業務報表製作,比如一些企業固定的月報,季報和關鍵資料指標的統計、展示和分析,在快速響應業務需求的同時解放自身勞動力。主要功能分為三大類:資料展示(報表)、資料查詢(引數)和資料錄入(填報),還有報表管理。

資料展示報表可分為表格類和圖表類:

表格類

--

--

文章來源:蓋勒普

資料採集一直是困擾著所有制造工廠的傳統痛點,自動化裝置品牌型別繁多,廠家和資料介面各異,國外廠家本地支援有限,不同採購年代。即便產量停機資料自動採集了,也不等於整個製造過程資料都獲得了,只要還有其他人工參與環節,這些資料就不完整。

01 工業資料採集型別

網際網路的資料主要來自於網際網路使用者和伺服器等網路裝置,主要是大量的文字資料、社交資料以及多媒體資料等,而工業資料主要來源於機器裝置資料、工業資訊化資料和產業鏈相關資料。

從資料採集的型別上看,不僅要涵蓋基礎的資料,還將逐步包括半結構化的使用者行為資料,網狀的社交關係資料,文字或音訊型別的使用者意見和反饋資料,裝置和感測器採集的週期性資料,網路爬蟲獲取的網際網路資料,以及未來越來越多有潛在意義的各類資料。主要包括以下幾種:

1、海量的Key-Value資料

在感測器技術飛速發展的今天,包括光電、熱敏、氣敏、力敏、磁敏、聲敏、溼敏等不同類別的工業感測器在現場得到了大量應用,而且很多時候機器裝置的資料大概要到ms的精度才能分析海量的工業資料,因此,這部分資料的特點是每條資料內容很少,但是頻率極高。

2、文件資料

包括工程圖紙、模擬資料、設計的CAD圖紙等,還有大量的傳統工程文件。

3、資訊化資料

由工業資訊系統產生的資料,一般是透過資料庫形式儲存的,這部分資料是最好採集的。

4、介面資料

由已經建成的工業自動化或資訊系統提供的介面型別的資料,包括txt格式、JSON格式、XML格式等。

5、影片資料

工業現場會有大量的影片監控裝置,這些裝置會產生大量的影片資料。

6、影象資料

包括工業現場各類影象裝置拍攝的圖片(例如,巡檢人員用手持裝置拍攝的裝置、環境資訊圖片)。

7、音訊資料

包括語音及聲音資訊(例如,操作人員的通話、裝置運轉的音量等)。

8、其他資料

例如遙感遙測資訊、三維高程資訊等等。

02 資料採集的方法

傳統的資料採集方法包括人工錄入、調查問卷、電話隨訪等方式,大數據時代到來後,一個突出的變化是資料採集的方法有了質的飛躍,下面所介紹的資料採集方式的突破直接改變著大數據應用的場景。

1、感測器

感測器是一種檢測裝置,能感受到被測量的資訊,並能將檢測感受到的資訊,按一定規律變換成為電訊號或其他所需形式的資訊輸出,以滿足資訊的傳輸、處理、儲存、顯示、記錄和控制等要求。在生產車間中一般存在許多的感測節點,24小時監控著整個生產過程,當發現異常時可迅速反饋至上位機,可以算得上是資料採集的感官接受系統,屬於資料採集的底層環節。

感測器在採集資料的過程中主要特性是其輸入與輸出的關係。

其靜態特性反映了感測器在被測量各個值處於穩定狀態時的輸入和輸出關係,這意味著當輸入為常量,或變化極慢時,這一關係就稱為靜態特性。我們總是希望感測器的輸入與輸出成唯一的對照關係,最好是線性關係。

一般情況下,輸入與輸出不會符合所要求的線性關係,同時由於存在這遲滯、蠕變等因素的影響,使輸入輸出關係的唯一性也不能實現。因此我們不能忽視工廠中的外界影響,其影響程度取決於感測器本身,可透過感測器本身的改善加以抑制,有時也可以加對外界條件加以限制。

2、RFID技術

RFID(Radio Frequency Identification,射頻識別)技術是一種非接觸式的自動識別技術,透過射頻訊號自動識別目標物件並獲取相關的資料資訊。利用射頻方式進行非接觸雙向通訊,達到識別目的並交換資料。RFID技術可識別高速運動物體並可同時識別多個標籤,操作快捷方便。

在工作時,RFID讀寫器透過天線傳送出一定頻率的脈衝訊號,當RFID標籤進入磁場時,憑藉感應電流所獲得的能量傳送出儲存在晶片中的產品資訊(Passive Tag,無源標籤或被動標籤),或者主動傳送某一頻率的訊號(Active Tag,有源標籤或主動標籤)。

閱讀器對接收的訊號進行解調和解碼然後送到後臺主系統進行相關處理;主系統根據邏輯運算判斷該卡的合法性,針對不同的設定做出相應的處理和控制,發出指令訊號控制執行機構動作。

RFID技術解決了物品資訊與網際網路實現自動連線的問題,結合後續的大數據探勘工作,能發揮其強大的威力。

03 資料採集技術難點

在當今的製造業領域,資料採集是一個難點。很多企業的生產資料採集主要依靠傳統的手工作業方式,採集過程中容易出現人為的記錄錯誤且效率低下。

有些企業雖然引進了相關技術手段,並且應用了資料採集系統,但是由於系統本身的原因以及企業沒有選擇最適合自己的資料採集系統,因此也無法實現資訊採集的實時性、精確性和延伸性管理,各單元出現了資訊斷層的現象。

技術難點主要包括以下幾方面:

1、資料量巨大

任何系統,在不同的資料量面前,需要的技術難度都是完全不同的。

如果單純是將資料採到,可能還比較好完成,但採集之後還需要處理,因為必須考慮資料的規範與清洗,因為大量的工業資料是“髒”資料,直接儲存無法用於分析,在儲存之前,必須進行處理,對海量的資料進行處理,從技術上又提高了難度。

2、工業資料的協議不標準

網際網路資料採集一般都是我們常見的HTTP等協議,但在工業領域,會出現ModBus、OPC、CAN、ControlNet、DeviceNet、Profibus、Zigbee等等各型別的工業協議,而且各個自動化裝置生產及整合商還會自己開發各種私有的工業協議,導致在工業協議的互聯互通上,出現了極大地難度。

很多開發人員在工業現場實施綜合自動化等專案時,遇到的最大問題及時面對眾多的工業協議,無法有效的進行解析和採集。

3、影片傳輸所需頻寬巨大

傳統工業資訊化由於都是在現場進行資料採集,影片資料傳輸主要在區域網中進行,因此,頻寬不是主要的問題。

但隨著雲計算技術的普及及公有云的興起,大數據需要大量的計算資源和儲存資源,因此工業資料逐步遷移到公有云已經是大勢所趨了。但是,一個工業企業可能會有幾十路影片,成規模的企業會有上百路影片,這麼大量的影片檔案如何透過網際網路順暢到傳輸到雲端,是開發人員需要面臨的巨大挑戰。

4、對原有系統的採集難度大

在工業企業實施大數據專案時,資料採集往往不是針對感測器或者PLC,而是採集已經完成佈署的自動化系統上位機資料。

這些自動化系統在部署時廠商水平參差不齊,大部分系統是沒有資料介面的,文件也大量缺失,大量的現場系統沒有點表等基礎設定資料,使得對於這部分資料採集的難度極大。

5、安全性考慮不足

原先的工業系統都是執行在區域網中,安全問題不是突出考慮的重點。

一旦需要透過雲端排程工業之中最為核心的生產能力,又沒有對安全的充分考慮,造成損失,是難以彌補的。

文章連結:https://mp.weixin.qq.com/s/hjNKAIFRe4R-GXFKy6QeBA

※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※

更多精彩內容,按讚我的臉書製造Plus,領取製造業數位轉型資料包哦! 😃

推薦閱讀

數位工廠的未來:IIoT+工業 4.0

5G技術能為智慧製造賦能哪些?

製造業數位轉型評價指標體系構建與應用

智慧製造轉型與精益生產

工業4.0時代的智慧製造

--

--

文章來源:企業信息化規劃

智慧製造的五個特點是什麼?製造業智慧化升級已經處於風口,成為全球政策的“新寵”和未來工業變革的主要趨勢。接下來就讓我們一起看看智慧製造的五個特點。

智慧製造的五個特點:

1、生產裝置網路化,實現車間“物聯網”

物聯網是指透過各種資訊感測裝置,實時採集任何需要監控、連線、互動的物體或過程等各種需要的資訊,其目的是實現物與物、物與人,所有的物品與網路的連線,方便識別、管理和控制。

2、生產文件無紙化,實現高效、綠色製造

生產文件進行無紙化管理後,工作人員在生產現場即可快速查詢、瀏覽、下載所需要的生產資訊,生產過程中產生的資料能夠即時進行歸檔儲存,大幅降低基於紙質文件的人工傳遞及流轉,從而杜絕了檔案、資料丟失,進一步提高了生產準備效率和生產作業效率,實現綠色、無紙化生產。

3、生產資料視覺化,利用大資料分析進行生產決策

在生產現場,每隔幾秒就收集一次資料,利用這些資料可以實現很多形式的分析,包括裝置開機率、主軸運轉率、主軸負載率、執行率、故障率、生產率、裝置綜合利用率(OEE)、 零部件合格率、質量百分比等。首先,在生產工藝改進方面,在生產過程中使用這些大資料,就能分析整個生產流程,瞭解每個環節是如何執行的。

一旦有某個流程偏離了標準工藝,就會產生一個報警訊號,能更快速地發現錯誤或者瓶頸所在,也就能更容易解決問題。利用大資料技術,還可以對產品的生產過程建立虛擬模型,模擬並最佳化生產流程,當所有流程和績效資料都能在系統中重建時,這種透明度將有助於製造企業改進其生產流程。再如,在能耗分析方面,在裝置生產過程中利用感測器集中監控所有的生產流程,能夠發現能耗的異常或峰值情形,由此便可在生產過程中最佳化能源的消耗,對所有流程進行分析將會大大降低能耗。

4、生產過程透明化,智慧工廠的”神經”系統

在機械、汽車、航空、船舶、輕工、家用電器和電子資訊等離散製造行業,企業發展智慧製造的核心目的是拓展產品價值空間,側重從單臺裝置自動化和產品智慧化入手,基於生產效率和產品效能的提升實現價值增長。因此其智慧工廠建設模式為推進生產裝置(生產線)智慧化,透過引|進各類符合生產所需的智慧裝備,建立基於製造執行系統MES的車間級智慧生產單元,提高精準製造、敏捷製造、透明製造的能力。

5、生產現場無人化,真正做到“無人”廠

在離散製造企業生產現場,數控加工中心智慧機器人和三座標測量儀及其他所有柔性化製造單元進行自動化排產排程,工件、物料、刀具進行自動化裝卸排程,可以達到無人值守的全自動化生產模式(Lights OutMFG)。在不間斷單元自動化生產的情況下,管理生產任務優先和暫緩 ,遠端檢視管理單元內的生產狀態情況,如果生產中遇到問題, -旦解決,立即恢復自動化生產,整個生產過程無需人工參與 ,真正實現”無人”智慧生產。

--

--

簡而言之,資料目錄就是關於企業資料資產的一個有序清單。它可以使用元資料來幫助企業管理資料,幫助資料專業人員收集、組織、訪問和充實元資料,從而為資料發現和治理提供支援。

01 資料目錄的定義和類比

在上文我們簡單介紹資料目錄的定義,也就是使用元資料來幫助企業管理資料。接下來,我們使用圖書館作類比,帶您詳細瞭解資料目錄。

當您前往圖書館查詢某一圖書時,您可以使用圖書目錄來查詢該圖書是否存在,瞭解它的版本、位置以及相關描述。您可以使用所有這些資訊來決定是否真的需要這本書,瞭解如何找到它。

當今的許多物件儲存、資料庫和資料倉庫就相當於一座座圖書館。

我們再回到圖書館和圖書目錄。現在,我們對圖書目錄進行擴充套件,涵蓋整個國家的所有圖書館。想象一下,這樣您就可以在一個介面中查詢整個國家中儲藏了您所需圖書的所有圖書館,查詢關於您所需的每一本圖書的所有詳細資訊。

企業資料目錄之於資料,正如圖書目錄之於圖書。它可以為您提供一個整體檢視,提供關於您所有資料的深度可見性,而不僅僅是一次只檢視某一項資料。

您為什麼需要這樣一個檢視呢?

02資料目錄可以解決哪些問題?

與過去相比,想從如今前所未有的資料海洋中找到正確的資料更加困難。同時,關於資料的監管條例和法規(例如 GDPR)也比過去更多、更嚴格。在這一背景下,除了資料訪問之外,資料治理也成為了一個嚴峻的挑戰。您不僅要了解當前您所擁有資料的型別、哪些人在移動資料、資料的用途以及如何保護資料,還必須避免過多的資料層和封裝,避免資料因太難使用而毫無用處。遺憾的是,很多企業和使用者在查詢和訪問資料上面臨著很多問題,包括:

需耗費大量時間和精力查詢和訪問資料

資料湖變成了資料沼澤

無通用業務詞彙

難以理解“黑暗資料”的結構和類別

難以評估資料來源、質量和可靠性

無法捕獲部落知識或丟失的知識

難以重用知識和資料資產

需手動和臨時進行資料準備

03哪些使用者應使用資料目錄?

資料工程師、資料科學家、資料管理員和首席資料官等使用者無不受到以上資料管理問題的困擾,無不希望能夠輕鬆訪問可靠的資料。他們面臨的一些常見的挑戰包括:

資料工程師想知道任意更改將對整個系統產生哪些影響,他們可能會問:

我們 CRM 應用中的模式變更將產生哪些影響?

Peoplesoft 和 HCM 資料結構有何不同?

資料科學家希望能夠輕鬆訪問資料並進一步瞭解資料質量,他們想了解以下資訊:

從何處可以找到和檢視一些地理位置資料?

如何輕鬆訪問資料湖中的資料?

資料管理員負責管理資料流程,關注概念、利益相關者間協議以及資料生命週期管理。他們希望瞭解:

我們是否真的在改善運營資料質量?

我們是否為重要的關鍵資料元素定義了標準?

首席資料官關心哪些人在組織中做了哪些事,一般不使用資料目錄。但是,他們仍然希望瞭解:

哪些人可以訪問客戶的個人資訊?

我們是否為所有資料定義了保留策略?

有了資料目錄,這些問題就能迎刃而解。

04 資料目錄使用場景

在過去幾年中,隨著需要管理和訪問的資料的數量日益增長,資料目錄這一概念開始流行起來。在這一切的背後,是雲、大資料分析、人工智慧和機器學習正逐漸改變人們檢視、管理和使用資料的方式 — 不僅要管理資料,還要訪問和充分利用資料。

使用資料目錄,您可以更好地使用資料,獲得以下優勢:

節省成本提高運營效率增強競爭優勢改善客戶體驗減少欺詐,降低風險等等

這些只是資料目錄的一部分使用場景。實際上,資料目錄的使用方式多種多樣。從根本上說,它的宗旨就是提供更廣泛的資料可見性和更深入的資料訪問支援。

1、自助分析

許多使用者難以找到正確的資料,同時,除了查詢資料外,他們還難以判斷資料是否有用。例如,您可能會發現一個名為 customer_info.csv 的檔案,而又恰好需要一個關於客戶的檔案。但這並不意味著它就是您需要的,它可能只是 50 個類似檔案中的一個。同時,該檔案可能包含許多欄位,您可能並不瞭解所有這些資料元素代表什麼。對此,您需要透過一種更簡單的方法來檢視資料的業務上下文,例如它是否是來自正確的資料儲存的託管資源以及它與其他資料工件之間的關係。

資料發現還包括透過各種方式來理解資料的形態和特徵,例如簡單的值分佈和統計資訊,或者重要且複雜的個人身份資訊 (PII) 或個人健康資訊 (PHI)。

2、審計、合規和變更管理

隨著關於資料的政府監管法規數量不斷增長,企業經常需要證明資料的來源,例如特定資料工件的來源,或在實現最終目標之前進行了哪些資料轉換;在查看錶格、報告或檔案時,資料使用者通常也希望理解資料的具體來源以及資料透過各種方式在整個組織中的移動過程。同時,對於變更管理來說,一項重要任務就是檢視資料管道中某部分的變更將如何影響系統的其他部分。這就是為什麼客戶希望詳細瞭解資料沿襲的原因。

3、使用業務術語表增強資料治理

如今大多數企業都建立了一個所有人都認可的術語表,就業務概念達成了一致。通常,業務術語表記錄在 Excel 工作簿中。其實,資料目錄比 Excel 工作簿更適合儲存和管理這一重要業務資訊。

此外,資料目錄還支援在業務術語之間建立連結,從而建立分類;可以記錄業務術語與實物資產(例如表和列)之間的關係;可以幫助使用者理解哪些業務概念與哪些技術工件相關;可以幫助使用者按業務概念線對資料資產分類,隨後直接使用業務概念(而不是技術名稱)來進行資料搜尋和發現。資料目錄讓使用者可以看到與資料相關的所有內容,增強對所檢視內容的信任度,為資料治理奠定一個絕佳的起點。

05 如何充分利用資料目錄中的資料?

許多人可能不熟悉元資料,我們有必要先介紹一些簡單的概念。元資料是什麼?元資料分為 3 類:

技術元資料:模式、表、列、檔名、報告名 — 源系統中記錄的所有資訊

業務元資料:通常指使用者具備的關於組織資產的業務知識,包括業務描述、備註、註釋、分類、適用性、評級等等。

操作元資料:這一物件的重新整理時間?它由哪一個 ETL 作業建立?表格被訪問次數有多少?具體有哪些?

在過去幾年裡,這些寶貴的元資料的使用方式發生了一次細微的變革。曾經,元資料僅用於審計、來歷追溯和報告。如今,無伺服器處理、圖形資料庫等技術創新,尤其是全新、更加便捷的 AI 和機器學習技術正在突破元資料的界限,帶來新的可能。

在今天,元資料可增強資料管理。從自助資料準備到角色和資料內容庫訪問控制,自動化資料打通,異常監視和警報,自動化資源供應和擴充套件等等,元資料可以全面增強所有這些功能。

資料目錄可以使用後設資料幫助您實現比資料管理更強大的功能。

06 資料目錄應當具備哪些功能?

一個優秀的資料目錄應當具備以下功能:

①資料搜尋和發現:資料目錄應當具備靈活的搜尋和過濾選項,從而賦能使用者快速找到相關資料集,以實施資料科學、分析或資料工程;按照資料資產的技術層級來瀏覽元資料。此外,如支援使用者輸入技術資訊、自定義標籤或業務術語,資料目錄可以進一步改善搜尋功能。

②從各種資料來源收集元資料:請確保您的資料目錄可以從各種互聯資料資產中收集技術元資料,包括物件儲存、自治駕駛資料庫、本地部署系統等等。

③元資料管理:資料目錄應支援主題專家透過企業業務術語表、標籤、關聯、使用者自定義註釋、分類、評級等形式來貢獻業務知識。

④自動化和資料智慧:對於大規模資料,人工智慧和機器學習通常必不可少。因此,資料目錄應利用 AI 和機器學習技術來處理所收集的元資料,讓所有可以自動化的手動任務都實現自動化。此外,人工智慧和機器學習還可以切實增強資料功能,例如為資料目錄使用者以及現代化資料平臺上其他服務的使用者提供資料建議。

⑤企業級功能:您需要利用強大的企業級功能來正確使用您至關重要的資料資產,例如身份與訪問管理功能以及基於 REST API 的重要功能。同時,這還意味著客戶和合作夥伴可以貢獻元資料(例如自定義收集器),透過 REST 公開其應用中的資料目錄功能。

除此之外,您的資料目錄還應當成為事實上的系統目錄,從而為所有持久層(例如物件儲存、Hadoop、資料庫和資料倉庫)以及跨所有資料儲存執行的查詢服務提供抽象。

正是因為如此,資料目錄已不再僅僅是錦上添花,而是成為了一項必不可少的工具。

來源:談數據

文章鏈接:https://mp.weixin.qq.com/s/_KCYRzmbzUHzFw8Y8rakPg

※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※

更多精彩內容,按讚我的臉書 IT Value 研討社,獲得24個行業240份企業數位轉型資料喔!等你來看喔 😃

推薦閱讀

2022 年 CIO 現狀:重點轉向 IT 基礎知識

撥開迷霧選型資料中臺,兼談這些供應商的商業模式

一文講清資料治理、資料管理、資料資產管理區別,資料專家必看

企業架構 | 亂七八糟的系統建設是怎樣形成的、該怎麼治

--

--

文章來於企業資訊化規劃

如今,越來越多的企業開始意識到數字製造和工業物聯網(IIoT)已經成為工業軟體自動化、智慧化製造和大規模生產的核心驅動力。那麼智慧製造和IIoT的概念有什麼區別呢?什麼是IIoT?IIoT是基於物聯網、雲計算等新一代資訊通訊技術和製造業數位升級的全新產業形態。智慧製造是由智慧機器、人工智慧和通訊技術加速的製造模式,即裝置、工人和智慧製造系統之間的合作。

那麼,IIoT和智慧製造是什麼關係呢?事實上,智慧製造的實現主要依靠兩種基本能力,一是工業製造技術,二是IIoT。

前者包括先進的裝置、先進的材料和先進的技術等。這是確定製造邊界和製造能力的基礎;後者包括智慧感測控制軟硬體、新型工業網路、IIoT平臺等。充分發揮工業裝置、技術和材料的潛力,提高生產效率,最佳化資源配置效率,創造差異化產品,實現服務增值是關鍵。

因此,IIoT被視為智慧製造的基礎。可以理解,智慧製造是一個智慧工業生態系統,包括IIoT、材料、設計和技術。

--

--

文章來源:企業信息化規劃

一個快速發展且尚未成熟的領域,會出現大量新的名詞術語,對這些名詞術語的理解和使用往往出現分歧。智慧製造就是這樣的一個領域,有時一個術語有多個不同的解釋,有時多個不同的術語卻有著相同或類似的含義,甚至有的術語本身就含義模糊、語焉不詳。

大製造 先進製造

大製造的提法從20世紀80年代就有了,最早應該是來自CIMS,即計算機整合製造系統。CIMS強調的是消除企業的資訊孤島,每個孤島代表從需求分析、設計、生產、實驗、銷售、維護、報廢等一個產品的全生命週期裡的某個環節,整合就是要把這些環節整合起來形成一個完整的製造系統,所以這裡面的“製造”包含所有環節。而傳統意義上的“製造”主要是指生產加工環節。因此CIMS裡面的“製造”比傳統意義上的“製造”範圍更大、含義更廣,也就是所謂的“大製造”。但有意思的是,在正式的文獻裡,幾乎找不到“大製造”這個詞,“大製造”主要出現在專家的PPT或講稿裡,似乎更像是一個學術俚語。正式的學術文章、技術報告或官方檔案裡,統統都用“製造”,比如“智慧製造”,“先進製造”、“製造大國”,這些詞裡面的“製造”其實指的都是“大製造”。而當看到“設計與製造”,“製造執行系統”這樣的表述時,裡面的“製造”就是傳統意義上的“小製造”了。因此到底是“大製造”還是“小製造”,只有根據上下文的意思去理解了。

智慧與智慧

在業界,將smart翻譯成智慧,而將intelligent翻譯成智慧已成為客觀事實。但關於這兩個詞的含義和用法卻常常讓人一頭霧水,比如智慧城市、智慧城市、智慧家居、智慧家電、智慧交通、智慧交通、智慧製造、智慧製造。什麼時候該是智慧,什麼時候該是智慧?智慧和智慧到底區別在哪?這些問題很難找到一個統一的說法。有人認為智慧比智慧更聰明更有境界,而又有人認為智慧的意思是不僅聰明而且還能幹,所以智慧的意思包含智慧,而且更接地氣。看來是公說公有理,婆說婆有理。其實將intelligent翻譯成智慧基本沒有什麼異議,而將smart翻譯成智慧確實有點問題。在中文裡,智慧代表著深邃的思想和對世界萬物的大徹大悟,只有人群中極少數智者才配得上這個詞。而在英文裡,smart卻沒有這麼高的境界,用“聰明”這個中文詞倒是更能貼切地反映其含義,英漢字典裡也是這麼解釋的。

智慧製造 智慧產品

一種流行的說法是,智慧製造必須包含幾個要素:智慧產品、智慧生產、智慧裝備、智慧服務等,缺一不可。有的專家更是特別強調智慧產品,認為不生產智慧產品就不能算智慧製造。但實際上,並不是每種產品都需要智慧,比如,流程行業的產品大多是沒有智慧的,像醬油、汽油,啤酒等。即使在其他行業,也有一些產品,至少在現階段對智慧化的需求也不是那麼迫切。但這些產品仍然需要透過生產過程的智慧化提高生產效率,改進產品質量。其實智慧產品、智慧生產、智慧裝備、智慧服務只要滿足一條就可以成為智慧製造了。而事實上,任何一條都不是那麼容易做到的。

--

--

文章來源:企业數位咨詢

所謂5G,即第五代移動通訊技術。如果說4G技術的主要優勢在於資料傳輸速度快,能夠以50倍於3G的速度在網上瀏覽,那麼,作為網速約20倍於4G的5G技術,其價值不僅在於快,更在於能夠每平方公里連線100萬個以上的物體、通訊傳輸的錯誤率為10的負9次方、時延可達到毫秒量級。

智慧製造如何應用5G是與5G的特點息息相關的,5G目前公認的有如下幾個特點:

增強移動寬頻:主要面向3D/超高畫質影片等大流量移動寬頻業務,eMBB除了在6GHz以下的頻譜發展相關技術,也會發展在6GHz以上的頻譜。而小型基地臺將會是發展eMBB的重要裝置,由於目前6GHz以下的頻譜,大多是以大型基地臺發展的傳統網路模式為主,而較以6GHz以上頻譜的毫米波技術,便須要小型基地臺來把速度衝得更快。

海量機器類通訊:主要面向大規模物聯網業務。mMTC將會發展在6GHz以下的頻段,其將會應用在大規模物聯網上,目前較可見的發展是NB-IoT。以往普遍的Wi-Fi、Zigbee、藍芽等,較屬於家庭用的小範圍技術,回傳線路主要都是靠LTE,近期隨著大範圍覆蓋的NB-IoT、LoRa等技術標準的出爐,可望讓物聯網的發展更為廣泛。

超可靠低時延:主要面向無人駕駛、工業自動化等需要低時延、高可靠連線的業務。在智慧工廠,由於大量的機器都內建感測器,從感測器、後端網路、下指令,再傳送回機器本身的這些過程,若以現有的網路傳輸,將出現很明顯的延遲,可能引發工安事故。有鑑於此,URLLC將網路等待時間的目標壓低到1毫秒以下。

未來的工廠是數字虛擬和物理現實相融合,ICT技術與現代製造業相融合,以提高工業生產的靈活性、可追溯性、多功能性和生產效率,為製造業開闢新的商業模式。工廠內部和外部之間的界限也越來越模糊,工廠不再是獨立的封閉實體,而是龐大的價值鏈和生態系統的一部分,這就是所謂的“虛擬工廠”。

那麼根據5G的技術特點,5G可能支援的業務場景包含:

5G技術與傳統制造企業的應用需求相結合,可以產生物聯網、工業自動化控制、物流追蹤、工業AR、雲化機器人等應用場景。

1、資料串聯:隨著數位轉型的逐漸推進,物聯網作為連線人、機、料、法、環、測等多業務元素,透過5G資料傳輸快、傳輸量大等特點滿足串聯製造過程中各個環節的需求,用於智慧工廠當中資料串聯與正反向追溯。

--

--

文章來於企業資訊化規劃

1 引言

目前,製造企業的分工合作越來越細,大量產品均採取面向訂單的模式,而部門的相對獨立以及客戶化定製要求,導致產品研製週期長且協同較少,且研發部門到生產部門往往只有紙質檔案傳遞,這對傳統的設計生產方式、管理模式提出了嚴峻挑戰。現階段,企業各單位對設計工具、質量要求、工作標準等方面提出了更高要求,對設計到製造主線的各個環節都需要重新配置和進行控制管理。

以具體的專案整個生命週期流程為例,介紹基於PLM(產品生命週期管理系統)專案管理子系統的工作模式,達到對專案全生命週期的資料、進度和績效的管控目的。

專案管理是指如何在有限的經費、時間、原料、裝置或者人力等條件下,以最有效的管理或者控制方式制定的計劃;而PLM專案管理系統作為PLM系統中的一個重要功能點,對企業的產品研發過程、專案參與人、專案週期、專案交付物等統一管理,並提供相關的專案監控、專案考核、專案預警、專案報表等相關功能。

2 系統設計目標

PLM專案管理系統建設的總體目標是以專案為核心,透過設計思想、方法、流程和技術的融合和創新,構建以研發製造過程為主線,以專案管理和資料管理為支撐的設計製造一體化協同平臺。實現機、電、軟體多專業協同設計,實現對專案的範圍、專案進度、專案費用、專案驗收、專案參與人員、資源互動、專案問題、專案合同付款等流程的管控,達到提高效率、降低管理成本,並最大限度規避專案風險的目標。如圖1所示。

--

--