根據(jù)部門的CIO Peter Alexander稱,澳大利亞財政部的項目是為了解決大數(shù)據(jù),這個永無止境的事,并且需要不斷的發(fā)展。
財政部的作用是通過收集不同來源的數(shù)據(jù)完成經(jīng)濟預測,其中包括澳大利亞統(tǒng)計局(ABS)和澳大利亞儲備銀行(RBA)。從2007年到現(xiàn)在它已經(jīng)努力收集大型數(shù)據(jù)集(一般在Excel表格中),該方法的缺點是很明顯的。
Alexander說,一直以來財政部都采取“大數(shù)據(jù)微處理”的方式解決,但是在今年年初,政府部門開始推出其定制的數(shù)據(jù)分析平臺Odysseus,來回應持久的數(shù)據(jù)問題。
這是一個為期兩年的過程,它涉及建造一個新的數(shù)據(jù)庫。當外部來源提供可用信息時,Odysseus已經(jīng)允許財政部自動更新其數(shù)據(jù)庫。
談到在悉尼舉行的CeBIT大數(shù)據(jù)會議,Alexander描述這個項目為“一個10年的希臘悲劇史”,因為在他當CIO之前 ,財政部已經(jīng)花了很長一段時間試圖為它的數(shù)據(jù)難題找到一個解決方案。
Alexander說, “這是一個悲劇,因為它用了10年,可能還需要更長的時間才能發(fā)展成熟。”
考慮到Odysseus是跨部門更廣泛的部署方式,是否財政部的大數(shù)據(jù)悲劇就要接近它的尾聲了呢?
“我不這么認為,” Alexander說。 “如果我們說,(項目)完成的十全十美,那么我們就已經(jīng)失敗了。”
“這需要一直學習,不斷進化,不斷變化的模型,并且是發(fā)展中的。”
雖然它通常是結構化的數(shù)據(jù),但財政部收集的信息量仍在急劇增加。目前,該部門在Odysseus平臺上有一批微軟數(shù)據(jù)提取和分析工具來處理大數(shù)據(jù),但還需要不斷地尋找更多的技術方案來解決大數(shù)據(jù)。
“未來有一些真正夢幻的終端用戶的技術是相當不錯的,” Alexander說,“我們正在尋找在微軟PowerPivot或者類似的,但我們認為,我們需要建立這個夢幻般的數(shù)據(jù)庫以及類似的東西,但這是浪費時間嗎?”
“一直在變化。”澳大利亞財政部正在考慮通過社交媒體收集數(shù)據(jù),以此豐富其經(jīng)濟預測。但是,在處理非結構化數(shù)據(jù)的洪流中,這將帶來更大的挑戰(zhàn)。
Alexander說,像NoSQL和Hadoop這樣的產品,對非結構化數(shù)據(jù)的處理是很有用的,財政部將仔細審查不同的方法以確保它為政府部門挑選出最合適的。
為數(shù)據(jù)管理人員創(chuàng)造了新的角色,作為其新的信息管理方法的一部分。數(shù)據(jù)管理人員負責檢查所有流入部門的新數(shù)據(jù)。財政部仍然占據(jù)領導的職位,決定是否將數(shù)據(jù)管理人員成為一個永久性的角色。