金普新區(qū)公共數(shù)據(jù)服務(wù)平臺(tái)上線使用
隨著信息技術(shù)，尤其是傳感器、通信、計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展和廣泛應(yīng)用，人類獲取數(shù)據(jù)的手段越來越多，速度大大加快，成本急劇降低，層次和尺度更為精細(xì)，人聯(lián)網(wǎng)和物聯(lián)網(wǎng)又使得人和物都成為數(shù)據(jù)來源，這樣一來，大數(shù)據(jù)成為了網(wǎng)絡(luò)時(shí)代人類社會(huì)的重要資產(chǎn)。
面對(duì)這些持續(xù)激增的海量數(shù)據(jù)信息和基于數(shù)據(jù)的業(yè)務(wù)需求，現(xiàn)今大部分行業(yè)所能做的也只是被動(dòng)的將數(shù)據(jù)短暫存儲(chǔ)，已使用近30年的傳統(tǒng)數(shù)據(jù)處理架構(gòu)對(duì)這些海量信息的處理和應(yīng)用幾乎無能為力。如何讓這些復(fù)雜無序的數(shù)據(jù)產(chǎn)生價(jià)值、而不是空耗成本，如何讓行業(yè)輕松駕馭這些海量數(shù)據(jù)信息來創(chuàng)新、快速洞察，這是現(xiàn)今各行各業(yè)的迫切需求。
公共數(shù)據(jù)服務(wù)平臺(tái)通過提供的結(jié)構(gòu)化數(shù)據(jù)匯聚作業(yè)，使當(dāng)前分散于各個(gè)業(yè)務(wù)系統(tǒng)中的海量結(jié)構(gòu)化數(shù)據(jù)的高效集成成為可能，滿足跨系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)的高效接入，充分迎合客戶對(duì)海量數(shù)據(jù)匯集的需求。通過提供的數(shù)據(jù)清洗轉(zhuǎn)換，將已有的ETL腳本加入系統(tǒng)的作業(yè)調(diào)度中，充分滿足了客戶對(duì)海量數(shù)據(jù)匯集后對(duì)數(shù)據(jù)加工的需求，客戶可以根據(jù)業(yè)務(wù)需求去編寫與擴(kuò)展ETL腳本，極大地增加了系統(tǒng)在數(shù)據(jù)加工上的靈活度。系統(tǒng)提供對(duì)作業(yè)的實(shí)時(shí)管理，滿足了客戶在作業(yè)提交后對(duì)各作業(yè)的監(jiān)控以及周期性調(diào)度的需求。
公共數(shù)據(jù)服務(wù)平臺(tái)主要功能模塊包括：數(shù)據(jù)分區(qū)管理、數(shù)據(jù)源管理、元數(shù)據(jù)管理、數(shù)據(jù)血緣、數(shù)據(jù)質(zhì)量、數(shù)據(jù)編目、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)匯聚、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加工、數(shù)據(jù)服務(wù)等。
公共數(shù)據(jù)服務(wù)平臺(tái)不僅有效解決大數(shù)據(jù)時(shí)代客戶普遍面臨的數(shù)據(jù)匯集難、數(shù)據(jù)資源利用率低、數(shù)據(jù)響應(yīng)業(yè)務(wù)需求慢等痛點(diǎn)難點(diǎn)。而且充分地滿足了客戶對(duì)于海量數(shù)據(jù)資源池中數(shù)據(jù)加工的需求。
