鋼鐵行業大數據分析服務平臺項目建設方案
2019-03-07 14:00:52
次
一、 大數據分析項目背景
鋼鐵企業在變化的過程中，必須要面臨 3 種變革，分別是管理變革，技術變革以及決策變革，現如今面對的變革是決策變革。以往的鋼鐵企業都是通過人工經驗來進行決策的，但是現如今不單單只能通過人工經驗來進行制造精益生產了。科學決策不能脫離信息化的支持，從原材料采購到生產組織，從銷售策略到庫存優化，從資金使用到財務平衡等，企業運行的許多重大問題都需要科學準確的量化決策來實現。科學決策可以從大量的數據中獲得一些文化與一些規則，為決策服務提供關鍵的特征，預警等預測。數據挖掘技術是幫助企業實現科學決策的關鍵技術。數據挖掘的最大特點是將各種類型的數據放在一起進行分析提煉，找出它們之間的關系，以圖、表或文宇的形式展現挖掘結果。
隨著鋼鐵企業IT信息化建設，先后建設鋼鐵企業的ERP系統、MES系統、計量與檢化驗系統、SCADA平臺等信息化系統，積累大量的產品設計、生產制造、質量檢測、物流管理、CRM等管理數據及實時數據。而這些數據目前并沒有被通過大數據挖掘分析技術手段實現數據價值的發現。貴陽水鋼集團目前也面臨這一困境，未將大量數據的深層價值用于決策過程。因而建設一套大數據服務平臺，顯得更為重要，極為迫切。
二、大數據分析項目目標
- 通過數據挖掘分析輔助營銷中心制定出更加合理的銷售預測訂單；
- 大數據分析尋找影響噸鐵成本價格的升高的關鍵因素；
- 尋找特定產品型號的精煉成材率的關鍵控制點；
- 基于大數據分析支撐，輔助能源管理人員完成能源平衡分析、錯峰用電分析、能源消耗預測分析、能源超限報警及趨勢分析、設備能效實時評估分析；
- 實現鋼鐵企業原料采購策略優化、成品及半成品庫存優化、輔料、耗材庫存優化；
- 實現環保數據中水平衡分析、三廢排放預測、環保數據挖掘分析；
- 實現設備故障預測與健康管理；
三、大數據平臺功能架構
數據平臺面向整個冶金全生命周期過程，融合行業的大數據算法，形成一套自助式、一站式的服務，同時提供統一訪問界面，內置數據分析挖掘、可視化分析等功能，滿足鋼鐵企業在生產大數據分析、供應鏈優化、環境資源優化、能源大數據分析、設備故障預測分析、質量優化分析等分析應用可視化展現等，同時支撐多部門、多地點同時使用，大大降低了大數據分析與挖掘的門檻。
圖 1 1 大數據平臺功能架構
大數據平臺提供包含可視化分析和數據挖掘分析兩部分構成，其中可視化分析模塊以可視化、圖文交互的方式實現數據源連接、數據加工處理、數據分析和結果展現的過程，能夠完成數據觀察、操縱、研究、瀏覽、探索、過濾、發現、理解，從而有效地發現隱藏在信息內部的特征和規律；數據挖掘分析通過科學的數據挖掘方法建立模型，并對模型進行評估、調優，挖掘出對用戶有價值的知識成果，以可視化的方式將數據挖掘的知識結果展示給用戶，從而幫助鋼鐵企業從海量數據中發現規律、提升生產管理水平、質量品質、供應鏈管理水平、優化環境資源、設備故障管理、能耗精細化管理。從而幫助提升企業的核心競爭力。
四、大數據平臺應用架構
相對于傳統的數據分析，為了實現更深層的數據洞察，需采集更高頻率更多維的數據，實現海量數據的接入、實時處理、存儲、計算、數據建模；同時隨著鋼鐵企業的快速發展，設備數據、生產數據等在不斷增加，平臺需具有高度可擴展性，包括存儲量的擴展和計算能力的擴展。作為鋼鐵行業的關鍵應用如供應鏈優化、環境資源優化、能源大數據分析、生產大數據分析、質量大數據分析、設備故障預測等關鍵環節的應用，平臺需具有高度的穩定性和可用性，包括單點故障的避免，數據存儲的備份，穩定的吞吐量和系統性能等等。
圖 1 2 大數據應用架構
因而，需借助于分布式大數據技術以及大規模機器學習算法，從而構建穩定、高效、高可用、可擴展的平臺，幫助數據分析人員更好的挖掘數據中的價值，洞察數據背后的規律，解決供應鏈、能源、環保，生產、質量、設備等領域中遇到的問題。通過大數據平臺的分布式流數據技術實現對結構化、半結構化以及流數據的接入，可以接收高頻多維數據，實現海量數據實時處理、存儲、計算、數據建模，保障數據分析模型能跟鋼鐵企業內部現有的多種成熟系統進行無縫集成，實現數據的批量對接。通過收集不同層級的設備運行數據、儀器儀表數據、生產數據、能源數據、三廢排放數據、天氣等為監測管理對象，將采集的實時數據和業務數據進行數據存儲和管理，同時工作人員也可根據實際需求將歷史數據導入到大數據平臺，實現數據的統一存儲和管理，為后續數據的挖掘和分析應用提供數據基礎。
數據采集和存儲完成后，對數據進行預處理，針對異常數據可進行數據清理，篩選相關參數進行特征轉換，形成統一的數據標準，以滿足數據統一管理的需要。在對數據進行統一管理后，后續數據挖掘人員可通過大數據平臺開展供應鏈、能源、環境資源等方面的大數據分析業務，支撐決策及流程控制等，降低運營成本，提升企業生產效率，從而提升企業的核心競爭力。
五、大數據業務場景應用
1. 生產大數據分析
鋼鐵企業屬于流程行業，除了設備檢修外，全年基本上是按照滿產能不間斷生產。在生產過程中，生產訂單來自兩類，一類是客戶的實際訂單，另外一類來自營銷中心的預測訂單，目前預測訂單更多來自銷售人員對市場產品銷售種類及價格的經驗識別判斷，沒有數據分析作為技術支撐，而往往會導致某種成品鋼庫存過高而滯銷。因而需要通過大數據分析手段，結合企業內部與外部數據挖掘分析輔助預測訂單制定的更加合理。
分析模型：基于成品鋼庫存數據及歷史數據和歷史銷售數據以及當前市場數據，基于數學算法模型，預測分析出企業生產產品利潤最大化、同時庫存最低的銷售預測訂單清單。
2. 質量大數據分析
冶金行業有著嚴格質量控制標準，有國際標準，國家標準，企業內控標準，同時也會客戶針對不同的產品有著個性化的要求，比如性能要求、成分要求、外觀要求等。同時冶金行業針對不同的質量要求訂單，是通過技術中心完成質量設計及工藝規程設計的并指導實際生產過程，往往由于現場工況的負復雜性，對于一些高質量要求、高附加值值得產品不能好的做到質量控制。因而需要通過大數據分析的技術手段實現質量目標控制。
分析模型：
1）鋼鐵企業鐵前成本往往占據噸鋼成本的70%-80%，如果能很好降低鐵前成本能使鋼鐵企業成本鋼有更好市場競爭力，也是企業有更大的利潤空間。通過鐵前區各工序的關鍵工序的原料數據（計量數據、質量數據）、用能數據、輔料數據（計量數據、質量數據）、設備關鍵工藝參數、產出品質量數據、價格數據的關聯挖掘分析，尋找引起鐵前成本升高的關鍵影響因素，以便鋼鐵企業更好控制鐵前區成本。
2）鋼后區往往存在，精煉過程中高附加值高端產品的成才命中率的過低或波動問題，通過對關鍵工藝設備的工藝狀態數據監控數據、過程質量數據、過程投料數據、過程操作數據、成才質量高的歷史各類數據，通過關聯分析模型，預測分析給出最佳質量控制點。另外該模型針對企業內部特定產品特定場景展開應用的。
3. 能源大數據分析
對于連續性流程企業來說，能源有效利用率是衡量企業能源使用水平的綜合指標,既反映企業用能設備的狀況，也反映企業能源管理的水平。在大型鋼鐵企業里,用能設備較多，對其逐一進行能量平衡測定，計算企業能源有效利用率是比較困難的。但是,可以采用一些簡便的方法進行概算，即對一些耗能大的設備進行測試，然后根據這些測試數據，概算各種能源的有效利用率，最后求出企業能源有效利用率。能耗作為企業運維的重要指標，不但涉及到運維成本，同時也是評價企業各能耗節點利用程度的重要依據。但是如何通過歷史數據預測評估能耗、優化能源平衡模型、同時對高耗能工序進行診斷并在此基礎上進行優化、制定最優的能源消耗策略以降低成本等，是鋼鐵企業面臨的重點問題。
分析模型：
1）基于儀器儀表數據（如超聲波測速計、流量計）、生產數據、設備數據等，通過統計分析、箱形圖等手段，依據歷史能耗數據，按不同維度進行挖掘分析，結合生產計劃，預測分析未來一段時間的用能需求并平衡用能需求，實現用能平衡。
2）基于企業各工序用電歷史需求，結合錯峰用電國家政策（不同時段電價不一樣）策、企業實際生產計劃，基于數學算法模型，輔助企業制定合理的用電計劃，達到不影響生產的情況下，降低企業用電費用。
3）基于儀器儀表數據（如超聲波測速計、流量計）、生產數據、計劃數據，通過回歸算法、短時時間網絡等算法模型，通過歷史能耗數據及生產周期，預測未來一段時間內的能源消耗等，為制定生產計劃、能源精細化管理提供決策支持和依據。
4）通過對歷史能源消耗數據進行分析，同時考慮生產、環境、原料等變動因素，建立能源消耗超限模型，實現對復雜波動條件能源消耗超限的精確預警及趨勢波動分析，為能源精細化管控和降低能耗成本提供決策支持。
5）對各關鍵環節的能耗、生產操作記錄、工藝條件、設備運轉、供方介質、季節等因素進行關聯分析，建立能耗能估模型，尋找引起能耗波動的關鍵因素，實現能耗主動尋優；同時通過對能源的實時監控分析，尋找高耗能工序設備平靜和工藝瓶頸，從人、機、物、料、法、環方面收集數據，利用大數據分析算法尋找問題發生的原因，指導進行工藝和控制優化等。
4. 供應鏈大數據分析
在大宗商品領域，目前國內外對鐵礦的需求在快速增加，鋼鐵企業為了增加產能面臨著更大的原材料、產品價格波動等風險和同時承擔環境責任也更高。而為了爭奪市場原材料資源等，鋼鐵企業間的競爭必將越來越激烈，現有企業在價格、規模、行業影響力、對環境的影響等方面的較量才真正開始。傳統通過期貨工具、庫存管理、價格議價等手段已經漸漸不能滿足企業的需要，借助大數據、物聯網、機器學習等新技術，打通企業供應鏈的上下游，優化企業的庫存、制定最佳的采購策略，促進供應鏈一體化、精細化管理等在企業內推進，提升企業在成本、收入、企業經營等方面的穩固發展。
預測模型：
1）基于歷史的原料采購及庫存數據、結合生產計劃及生產產能，通過定期采購模型和定量采購模型預測分析，實現動態制定最佳的采購周期及數量。
2）基于成品半成品歷史消耗、未來需求、庫存成本、產能損失系數，通過ARMA、指數平滑法，根據歷史數據及邊界規則，制定成品及半成品庫存最優庫存控制策略。
3）基于輔料、耗材庫存數據、采購周期及需求計劃、庫存數據、生產數據，通過箱形圖、粒子群、烽火遺傳算法，根據歷史數據及邊界規則，制定輔料、耗材最優庫存控制策略；
5. 環境資源大數據分析
隨著國家環保要求的加強與完善，對鋼鐵企業“三廢”處置有了更高的要求。本次通過大數據平臺需明晰企業三廢的來源，并對工序過程中的三廢排放量進行監測與趨勢分析，制定處置控制措施以滿足國家環保與排放要求；同時需采集冶煉過程中的關鍵工藝數據、生產數據等進行匹配，挖掘各因素對污染物排放的影響，從而促使企業注重源頭控制。
分析模型：
1） 基于儀器儀表數據（如超聲波測速計、流量計、水表等）、特征數據、生產數據，通過嶺回歸、梯度提升樹、概率分布算法，分析時間段內廢水的來源、流向、排放，估算冶煉各環節的廢水排放量,實現水平衡分析。
2） 基于儀器儀表數據（如超聲波測速計、流量計）、生產數據、當前生產狀況、三廢成分數據等，通過時間序列、交叉熵、趨勢分析算法，通過生產歷史數據，結合當前生產情況，預測未來一段時間內的三廢排放量并進行預警等；
3） 基于儀器儀表數據（如超聲波測速計、流量計）、生產數據、工藝數據、操作過程數據、檢驗數據等，通過回歸算法、相關性分析等算法，挖掘分析建立關聯分析模型，尋找影響三廢排放的關鍵環節，為后續三廢的控制與降低提供決策支持。
6. 設備故障預測與健康管理
設備故障預測與健康管理（PHM），通過設備狀態監測、設備故障診斷、設備故障預測、設備壽命預測等技術手段，保障生產設備的正常運行。目前工廠有部分核心（高價值）設備和大量分散的輔助型設備（電機、泵、液壓系統等）。核心設備發生故障時會對工廠造成重大的經濟損失，一方面是維修費用或設備更換費用高，另一方面會造成工廠停產；對于大量分散的輔助設備，雖然大多采用1備1的方式來保證生產的正常運行，但這種備品備件庫存管理方式占用了大量的企業資金，造成了不必要的浪費。因此，需要采用先進測試技術、故障診斷分析技術、大數據技術以及人工智能技術為工廠設備健康管理服務，提高設備運行能力，并結合各種可利用的資源信息提供一系列的維修保障措施以實現設備的視情維修，減少運維和庫存成本。
針對冶金行業的核心動力設備，通過對現有業務場景和歷史數據的分析，建立業務基理模型，采用大數據技術作為支撐，通過如下模型實現全業務產業鏈的智能化決策分析。實現功能如下：
設備預測性維護：
1)對動力系統設備（大型回轉機械）的運行狀態進行實時監測，通過智能動態閾值技術實現設備狀態的動態監測與預警；
2)針對動力系統設備的振動故障，通過降噪、濾波等算法技術實現早期故障預警；
3)針對大型壓縮機組，通過相應算法實現喘振早期預測與預警；
4)通過多傳感器融合技術、故障診斷算法和機器學習算法，實現動力系統設備故障的智能診斷；
5)通過多傳感器融合技術，實現動力系統設備狀態評估；通過大數據算法實現動力系統設備狀態劣化過程的評估與預測，并實現動力系統設備壽命預測功能；
6)通過人工智能算法，實現動力系統設備的關聯故障分析功能；
7)通過動力系統設備健康管理和備品備件管理，結合大數據算法實現備品備件庫存優化功能。
六、大數據分析展現方案
大數據分析的關鍵業務如供應鏈優化、環境資源優化、能源大數據分析應用，分析中的過程數據及相關結果可通過大數據平臺可視化組件進行具體頁面及指標的設計與展示。大數據平臺提供行業領先的可視化組件和數據挖掘組件，幫助數據分析人員進行全流程可視化交互式模型構建引導。平臺使用交互式操作界面集成，通過點擊就可以構建通用機器學習流程，包括腳本管理、數據導入（支持HDFS、數據庫、MySQL、Hive、HBase等主流數據存儲系統）、多維特征分析（趨勢分析、關聯分析、概率分布、特征降維等）、模型構建、模型預測評估、數據可視化展現（提供柱狀圖，折線圖，散點圖，雷達圖，瀑布圖，氣泡圖，箱線圖和趨勢圖等可視化展示方式）、預測服務（支持構建的模型通過預測服務模塊發布成網頁、接口服務以及模型導出，提高模型業務部署效率）。同時支持多語言混合編程調用，包括基于JSON格式的SQL、R語言以及Python。
通過可視化成果發布的形式，平臺能夠對數據分析人員所有的操作進行完整的記錄以及展現，所有執行過程以及返回的結果都在同一個工作包中進行全面保留，極大的方便數據分析人員在模型構建過程對結果的反復校驗以及修改的需求。傳統BI指標的構建往往非常復雜，無法支持聯動鉆取及關聯分析，導致展示方式非常困難，而采用工作包的方式能夠更好的提高模型構建效率以及團隊之間的協作能力。具體每一個挖掘模型在部署支持手機端、PC端、大屏、云端等多種部署方式。
1．發展趨勢。新興的數據挖掘工具都是統一的風格，傳統工作流模式已經在退化，傳統BI公司通過與R集成來展現可視化功能，但是R語言的使用難度較大，本次提供拖拉拽交互式等交互式操作方式，降低數據挖掘門檻，并提供聯動、鉆取等多種功能，提高BI的應用能力。
2．操作體驗。數據分析人員在構建過程往往需要反復修改流程，參數調優等，這些過程對于專家來說通過函數命令行會更加高效，但對于初學者很難。本次大數據平臺使用交互式操作界面集成，通過點擊就可以構建通用數據挖掘流程，能快速投入到數據挖掘分析工作，可避免高難度編程語言的學習門檻。平臺能夠對數據分析人員所有的操作進行完整的記錄以及展現，所有執行過程以及返回的結果都在同一個工作包中全面保留，極大的方便在模型構建過程對結果的反復校驗以及修改的需求。
3．可視化展現。模型構建操作需要依賴每一步驟的輸出結果以及已有配置信息，大數據平臺提供了統一視圖，在一個界面內包含的信息量更大，通過上下滾動就可以快速查找查看，工作流更加標準與規范。
同時，Tempo大數據平臺采用B/S模式，提供web操作管理界面，支持多用戶遠程使用，支持FireFox、Chorme等多終端展示方式。采用多層服務模式設計的好處在于，表現層與業務處理層和數據通訊層分隔，在增加一個新的訪問渠道時，僅增加渠道驅動，改變內容展示格式，而事務處理和與后臺的數據通訊及處理不作任何修改，通過單點登陸、數據訪問隔離、計算資源多策略分配等，幫助數據分析工人員對結果進行多樣化的快速展現與發布。
Tempo大數據分析平臺
Tempo商業智能平臺
Tempo人工智能平臺
Tempo數據工廠平臺
Tempo指標平臺
Tempo數據治理平臺
Tempo主數據管理平臺
首頁
陜公網安備 61019002000171號
