日立有限公司和企業(yè)數(shù)據(jù)云公司Cloudera宣布已采用日立的“ Pentaho”數(shù)據(jù)集成和分析平臺(日立Lumada產(chǎn)品組合的核心)和“ Cloudera Enterprise Data Hub”。最近開始運營的東京證券交易所的新數(shù)據(jù)利用平臺(“平臺”)。

該平臺標準化了整個日本交易所集團的數(shù)據(jù)管理，并簡化了后臺辦公操作(例如表單創(chuàng)建和交易費用計算)以及擴展信息業(yè)務的基礎。通過結合Pentaho和Cloudera Enterprise Data Hub，該平臺實現(xiàn)了有效的數(shù)據(jù)集成和簡單的可視化，同時還大大提高了處理性能，例如通過縮短處理時間。

第一步，TSE合并了基于各種數(shù)據(jù)(例如交易)創(chuàng)建表格的系統(tǒng)以及每次每次交易或付款時都會計算傭金的系統(tǒng)。展望未來，計劃將平臺逐步擴展為日本交易所集團的通用基礎設施，包括從各個角度分析和生成交易數(shù)據(jù)報告的系統(tǒng)。

TSE在典型的一天中處理超過千萬筆交易，而在繁忙的日子中處理超過一億筆交易。為了應對將來將要擴大的交易量，TSE面臨著加速數(shù)據(jù)處理和開發(fā)可利用數(shù)據(jù)的環(huán)境的挑戰(zhàn)。此外，考慮到將來使用云服務的可能性以及采用范圍的擴大，需要不依賴于特定供應商的開放技術。

Pentaho與Hadoop / Impala環(huán)境具有高度的親和力，并且能夠提供一個一致的環(huán)境，該環(huán)境不僅可以收集而且可以分析和利用數(shù)據(jù)，包括集成數(shù)據(jù)的可視化和多維分析。同時，Cloudera受保護和受管的數(shù)據(jù)平臺可實現(xiàn)多功能分析，從而消除了孤島，并加快了數(shù)據(jù)驅(qū)動見解的發(fā)現(xiàn)。在開源創(chuàng)新的推動下，它具有真正的混合功能，可支持公共云，多云和本地部署。

在全球市場上，包括金融機構在內(nèi)的許多客戶都引入了“ Pentaho”和“ Cloudera Enterprise Data Hub”的組合。

最近開始運營的平臺利用了Pentaho的Pentaho數(shù)據(jù)集成(數(shù)據(jù)集成和表單創(chuàng)建)和Pentaho業(yè)務分析(可視化和分析)組件，以及由Tosho System Service Co.，Ltd構建的Cloudera Enterprise Data Hub * 1。 。利用無編碼數(shù)據(jù)集成功能，Pentaho能夠輕松，快速地開發(fā)，同時重新利用TSE現(xiàn)有業(yè)務系統(tǒng)的處理程序。

具體來說，Pentaho用于合并以前分散在各個業(yè)務系統(tǒng)中的數(shù)據(jù)，例如用于表單創(chuàng)建和費用計算的數(shù)據(jù)，并且對數(shù)據(jù)集成處理進行了標準化。這極大地簡化了數(shù)據(jù)準備工作，這尤其需要在數(shù)據(jù)分析過程中花費大量時間和精力，并且可以輕松地在不同系統(tǒng)之間交叉引用數(shù)據(jù)。

Cloudera提供的并行分布式處理和SQL引擎Impala還加快了批處理的速度，從而顯著減少了處理時間，并確保可擴展性以處理將來的數(shù)據(jù)增長。

展望未來，Hitachi和Cloudera不僅將通過增強TSE的系統(tǒng)處理能力來提供穩(wěn)定的企業(yè)級運營，還將通過提供允許創(chuàng)建利用累積數(shù)據(jù)資產(chǎn)和服務的新服務的環(huán)境來支持數(shù)字化轉(zhuǎn)型。為正在進行的業(yè)務改革和發(fā)展做出貢獻。

東京證券交易所有限公司IT開發(fā)部信息系統(tǒng)部經(jīng)理Takashi Kamikura表示：“近年來，與市場有關的數(shù)據(jù)量一直在顯著增加，這已成為亟待解決的問題。”在Cloudera Enterprise Data Hub的最新采用中，我們顯著提高了數(shù)據(jù)處理能力，我們很高興獲得穩(wěn)定的運行。此外，我們能夠通過Pentaho提供的基于GUI的直觀操作，快速，輕松地開發(fā)利用Cloudera Enterprise Data Hub所需的應用程序，該操作與Hadoop環(huán)境高度兼容。將來，我們的目標是擴展到云并利用數(shù)據(jù)來創(chuàng)建新業(yè)務。”