在正式講環(huán)境大數(shù)據(jù)之前，我們來講一個和身邊有關(guān)的案例。大多數(shù)去過星巴克喝咖啡的人都會有這樣一個疑惑，“為什么星巴克室內(nèi)溫度比室外溫度低呢?”甚至有人開始抱怨說室內(nèi)溫度太低，但是這也不會帶來什么改變。因為在冷的環(huán)境下，顧客肯定會傾向于買熱咖啡，而且是大杯的熱咖啡。像溫度、水分、聲音這些東西跟我們平時生活息息相關(guān)，包括購買意愿實際上跟我們周圍環(huán)境都是直接相關(guān)的。

環(huán)境數(shù)據(jù)的特性

前段時間參加了100offer組織的大數(shù)據(jù)技術(shù)沙龍，參講嘉賓都是來自知名互聯(lián)網(wǎng)科技界的技術(shù)牛人，但是給我影響最深的還是佳格大數(shù)據(jù)CTO張弓講的大數(shù)據(jù)在環(huán)境改善方面所做的一些努力，如何通過數(shù)據(jù)分析來確定一定范圍內(nèi)氣候的變化，以及接下來大數(shù)據(jù)在環(huán)境技術(shù)方面還需要做那些完善。

張弓說，環(huán)境兩個字解開了說就是環(huán)我之境，周圍的環(huán)境才是我們所研究的數(shù)據(jù)核心。所謂環(huán)境大數(shù)據(jù)就是指氣象、溫度、濕度，包括道路圖、建筑圖、污染問題，也包括資源性的數(shù)據(jù)。這些數(shù)據(jù)有一個特點，具有時空場。

大家現(xiàn)在都講大數(shù)據(jù)，大數(shù)據(jù)就是最核心的三維，人們通過IT技術(shù)獲得更多的數(shù)據(jù)。大約15年前，我們就開始通過接觸環(huán)境數(shù)據(jù)來做天氣預(yù)報，因為這是一個處在前端、即時性要求非常高的預(yù)報，所以數(shù)據(jù)的模擬處理都是按照秒級來計算的。所以說數(shù)據(jù)量是非常大的，包括各種衛(wèi)星圖像所提供的點上數(shù)據(jù)、面上數(shù)據(jù)，但是主要以圖像或圖像流為主。在現(xiàn)在看來，那就是海量數(shù)據(jù)。

衛(wèi)星影像到全球原油儲量

這里再列舉一張Skybox拍攝的儲油罐的照片，從這一張照片上能獲得哪些有價值的數(shù)據(jù)呢?當(dāng)然是可以從中獲悉儲油海港的大小，運輸量的大小。

這些數(shù)據(jù)都是從儲油罐的陰影來計算的，通過太陽高度角和陰影長度來計算儲油罐的油量，基本上利用這樣的方法能將全球80%以上的原油儲量計算出來，而且是完全不可阻止的。這就是黑科技的用途。

大數(shù)據(jù)就是技術(shù)型企業(yè)的根本，對數(shù)據(jù)的分析精度決定了數(shù)據(jù)的價值大小，張弓說他們以前分析數(shù)據(jù)的尺度非常粗糙。簡單的說，對時間的衡量是以年或月做單位的，這種數(shù)據(jù)分析的商業(yè)價值就會比較低，更多作為策略性使用。

環(huán)境數(shù)據(jù)：大數(shù)據(jù)時代前的海量數(shù)據(jù)

現(xiàn)在的原始數(shù)據(jù)是非常大的，比如一張從衛(wèi)星里發(fā)送出來的圖片，是一種描述地面的時空數(shù)據(jù)，數(shù)據(jù)量非常大。另外一類是模型數(shù)據(jù)，對模型進(jìn)行分析。因為時空是連續(xù)的，所以用于模型分析的方法相對較為復(fù)雜，例如從內(nèi)蒙古刮過來的沙塵暴會到它的下風(fēng)口北京，屬于連續(xù)時空性動作，很難用數(shù)據(jù)來描述。十幾年前基于數(shù)學(xué)算法，針對時空圖像數(shù)據(jù)利用MPI+Fortran來處理海量數(shù)據(jù)，還創(chuàng)造出HDF和NetCDF這些類似于現(xiàn)在Spark或Hadoop的工具。

眾所周知，數(shù)據(jù)最核心的部分就是具有極強的時空連續(xù)性，這里就涉及到數(shù)據(jù)獲取和數(shù)據(jù)融合的問題，因為不同的數(shù)據(jù)源，不同的數(shù)據(jù)類型、不同的數(shù)據(jù)格式，導(dǎo)致每一個時空上面顆粒分辨率是不同的，如何把250米*250米的數(shù)據(jù)和一個30米*40米的數(shù)據(jù)進(jìn)行比較，這里就涉及到比較復(fù)雜的時空尺度融合問題。從數(shù)據(jù)結(jié)構(gòu)上考慮，如果時空數(shù)據(jù)本身是連續(xù)的，可能更便于計算，它的分析工具的內(nèi)核也是基于Spark為主。

數(shù)據(jù)可視化就更復(fù)雜了，這里面最主要的一個可視化類型就是把數(shù)據(jù)變成圖形來展現(xiàn)，而且讓人們更容易的接受這些圖片。

數(shù)據(jù)分析是針對圖像數(shù)據(jù)化過程的核心內(nèi)容，就相當(dāng)于一個分析可視化的過程，從而獲得我想要的數(shù)據(jù)，這是比較困難的。所以這里就用到了能夠進(jìn)行圖像識別和模式識別的機器學(xué)習(xí)和深度學(xué)習(xí)的概念。比如說如何用不同的顏色把田地里不同作物表示出來，哪怕是作物的方向也要識別出來的話。這里就要分析紋理的朝向和密度。第一步先做深度學(xué)習(xí)，原始分辨率是半米乘半米，深度學(xué)習(xí)要有足夠的層數(shù)，然后對圖像進(jìn)行處理，建立一些窗口，比如建立3乘3、5乘5、9乘9窗口，下圖是用了208個方塊做出來的深度神經(jīng)網(wǎng)絡(luò)結(jié)果，識別度超過人眼。這樣做的結(jié)果就是能夠很清晰的知道莊稼的長勢如何，如何根據(jù)這些數(shù)據(jù)來安排接下來的土地利用情況，最大化土地利用率。

　　霧霾預(yù)測

這里可以來談?wù)勚霸诰W(wǎng)上傳播很廣的霧霾預(yù)警圖——佳格“霾圖”。這是基于環(huán)境大數(shù)據(jù)，對大氣污染進(jìn)行實時監(jiān)測預(yù)警的工具。“霾圖”用地圖的形式實時展現(xiàn)我國任一地區(qū)的大氣污染數(shù)據(jù)，并預(yù)測未來五天的空氣質(zhì)量。其實時數(shù)據(jù)目前每小時更新一次，空間精度為五公里。用大數(shù)據(jù)直面霧霾這塊“硬骨頭”，不僅需要充分準(zhǔn)確的數(shù)據(jù)源、優(yōu)秀的數(shù)據(jù)處理，還需要合適的可視化能力。

對于采集到的大量數(shù)據(jù)，需要進(jìn)行整合處理才能用來生成霾圖。霾圖的數(shù)據(jù)算法主要包含兩個任務(wù)：

數(shù)據(jù)同化和實時展示任務(wù)。獲得的衛(wèi)星數(shù)據(jù)主要分兩種，一種是時間分辨率高的數(shù)據(jù)，一種是空間分辨率高的數(shù)據(jù)。這需要把兩種數(shù)據(jù)進(jìn)行融合;同時衛(wèi)星并不會直接給出PM2.5的測量數(shù)據(jù)，而是一類光學(xué)指標(biāo)，其中包括大氣氣溶膠光學(xué)厚度(aerosol optical depth)。利用基于不同城市自主研發(fā)的算法將這個變量計算出準(zhǔn)確的PM2.5濃度值，并在“霾圖”上實時展示。

預(yù)測任務(wù)。目前國內(nèi)空氣質(zhì)量預(yù)測主要有兩種傳統(tǒng)方法：第一種是根據(jù)大氣物理化學(xué)(污染物的沉降，運輸和擴散以及二次氣溶膠反應(yīng))的經(jīng)典算法跟污染物排放清單的集合對未來大氣情況進(jìn)行推測;第二種是基于數(shù)理統(tǒng)計模型方法。比如拿到過去十年的數(shù)據(jù)，通過對時間序列的季節(jié)性，趨勢性進(jìn)行分析來做預(yù)測，輔以人工判斷。這兩種方法主要使用的都是地面監(jiān)測點提供的數(shù)據(jù)，并沒有用到衛(wèi)星數(shù)據(jù)。同時國內(nèi)排放清單數(shù)據(jù)存在時效性弱的弊端，并且地面監(jiān)測點分布不均且數(shù)據(jù)容易受到人為因素的影響。這樣所得到的預(yù)測結(jié)果存在著極大的偏差和局限，準(zhǔn)確度較低。

相比這兩種傳統(tǒng)方法，佳格“霾圖”所開發(fā)的預(yù)測方法和模型具有自己的特點：首先，佳格做預(yù)測的數(shù)據(jù)是更精確均勻的衛(wèi)星數(shù)據(jù)。其次，佳格運用模型最優(yōu)化方法，綜合考慮多種國際上最先進(jìn)的氣候預(yù)測模型，通過算法選出動態(tài)的最合適的預(yù)測模型，用于預(yù)測未來五天內(nèi)的空氣質(zhì)量情況。

張弓在最后的演講中也提到，大數(shù)據(jù)的潛力還沒有被完全挖掘出來，這需要時間和不斷的嘗試才能發(fā)揮它最大的價值，更好的改善我們的日常生活環(huán)境。