Tempo大數據分析平臺數據挖掘算法優勢及案例介紹
2020-04-08 10:45:44
次
Tempo大數據分析平臺內嵌150余種數據挖掘分析方法，涉及數據處理、統計圖表、回歸、聚類、分類、關聯規則、時間序列、綜合評價、文本分析等九大類別。
基于大數據的分布式挖掘應用算法引擎，Tempo平臺實現了100余種分布式方法，支持海量數據的快速處理分析。
視覺聚類算法：基于人類視覺原理模擬數據逐級聚類分析，過程包含了數據的一系列分群，最終將視覺存活周期最大時的分群作為最佳聚類結果。視覺聚類算法的優點在于，它既不依賴任何初值，也不涉及整體優化問題，可克服傳統算法對初值敏感、難以找到最優聚類，難以確定聚類個數等缺陷。
應用案例：數據時代，數據安全對于企業而言非常重要，一旦數據被外部人員竊取，后果將十分嚴重。傳統小數據量的環境下，管理員依靠設置一些基礎的安全策略，基本上能滿足數據安全保護。在大數據環境下，面對海量實時數據流和多元化用例場景，有限數量的規則策略已經不能保證數據的絕對安全。將視覺聚類引入識別新的網絡入侵，通過分析每個用戶的特征信息和操作行為信息，如請求時間、IP地址、訪問的時間周期、訪問頻率、是否為增加操作、是否刪除操作、是否為查詢操作、提交任務的資源需求、提交任務執行時長等，自動確定聚類個數（即用戶數據訪問行為分群），能夠快速分析并發現正常訪問、已有入侵行為和新入侵行為之間的特征差異，為實現用戶訪問行為監控、非法入侵和違法安全規則監控提供輔助決策支撐。
L1/2稀疏迭代算法：L1/2稀疏迭代算法是基于極小化損失函數與關于解的1/2范數正則項的高效稀疏算法。L1/2稀疏性高，在求解回歸問題和分類問題時，面對冗余、高維變量，在保留原始數據信息不損失情況下能更快速地找到關鍵影響因素，大大提升整個分析計算的效率和性能。
應用案例：某鋼鐵企業在硅鋼生產線上，由于多種復雜因素的作用，成品表面有時會形成一種稱為縱條紋的瓦楞狀缺陷。縱條紋缺陷不僅影響產品的外觀效果，而且對產品的物理性能有著直接的影響。縱條紋缺陷鋼占生產量的30%左右，每年給企業帶來巨大的經濟損失。對硅鋼縱條紋質量故障進行診斷，通過收集硅鋼在鍋爐冶煉、熱軋粗軋、熱軋精軋、酸洗、軋制、退火及涂層和剪切等過程的多個特征數據，如連鑄中包溫度、連鑄拉速、各種元素的鑄坯成分、粗軋出口溫度、精軋出口溫度、卷取溫度等，利用L1/2算法尋找到鑄坯硅成分、鑄坯鋁成分、粗軋出口溫度、精軋出口溫度等關鍵少數的幾個影響因素，同時尋找到硅鋼質量良好生產的控制策略，為硅鋼縱條紋的故障檢測和質量診斷提供輔助依據，直接為企業挽回每年近千萬的經濟損失。
稀疏時間序列：稀疏時間序列將L1/2正則化理論引入到AR時間序列中，建立了基于L1/2約束的稀疏時間序列模型，較之自回歸移動平均模型（ARMA），該算法將定階和求解過程統一，解決了傳統時間序列算法定階難問題，提高了定階和預測速度。
應用案例：準確地預測出地區的月售電量，對于電力公司決策者合理地確定銷售電量總定額、分解售電量銷售指標、做好電力企業的經營有著重要實際意義。月度售電量受區域宏觀經濟、區域電力需求及各種不同類型用戶的構成比例等多重因素影響，因而預測難度較大。在某電力公司售電量預測應用中，依據“讓歷史告訴未來”的思路，考慮歷史售電量的發展特點和變化規律，包括周期性、趨勢性、季節性、隨機擾動性等，進行未來一段時間的售電量預測。利用稀疏時間序列的自動定階和快速預測優勢，使得月度售電量預測相對誤差由原來的5%以上降低在1%以下，同時大大提高了預測效率，為電力公司開展電費管理、電價管理、電力需求側管理等工作提供基礎輔助支撐。
信息抽取：該算法通過設計特定的語法規范，構建規則模板引擎，提供給用戶靈活的信息抽取接口。相比其他算法，用戶在利用平臺的信息抽取算法時，只需要按照語法規范編寫規則，就可以完成指定信息的快速抽取與結構化內容的準確輸出。
應用案例：某金融服務機構向客戶發送的短信是文本形式的(如逾期、放貸、申請等具體的業務內容)，需要從這些文本短信中分析出有價值的信息等，以有效支撐其客戶關系維系和運營管理。對于歷史短信量達到TB級，且每個月以2億條的增速在增加，通過模糊查詢搜索匹配相關關鍵字篩選出有價值的信息（如逾期相關信息），一是需要人工梳理大量的關鍵字以窮舉所有可能的情況，耗費大量的時間和人力成本，且可擴展性差，二是匹配的內容精準度差，準確性難以保障。在金融信貸類短信分析中，利用信息抽取算法通過編寫規則模板，可以從海量文本中抽取有價值信息，分析每個用戶的借款機構、是否逾期、逾期時間、借款金額等信息的精準抽取，有效地發現短信客戶的失信風險，有利于金融機構進行風險控制防范。
用戶可以靈活地使用Tempo大數據分析平臺內嵌的獨創算法，實現大數據高級分析，準確性和響應速度等性能明顯優于同類經典算法，能更快速、更直觀地洞悉數據特征，發現企業業務和流程中潛在、隱藏的規律和價值。
Tempo商業智能平臺
Tempo人工智能平臺
Tempo數據工廠平臺
Tempo指標平臺
Tempo數據治理平臺
Tempo主數據管理平臺
首頁
陜公網安備 61019002000171號
