隨著大數(shù)據(jù)技術(shù)的成熟和發(fā)展,大數(shù)據(jù)在商業(yè)上的應(yīng)用越來(lái)越廣泛,有關(guān)大數(shù)據(jù)的交互、整合、交換、交易的例子也日益增多。本文就進(jìn)行大數(shù)據(jù)交易的一些問(wèn)題, 以及建立大數(shù)據(jù)交易所的必要性, 做一些探討和研究。我們認(rèn)為,建立大數(shù)據(jù)交易所是勢(shì)在必行的市場(chǎng)需求。
目前下列公司和機(jī)構(gòu)通常擁有大數(shù)據(jù):
大型實(shí)體商業(yè)公司或電子商務(wù)公司,如大型連鎖商店walmart,sears等,或amazon,阿里巴巴。這類公司大都擁有大量的客戶數(shù)量、長(zhǎng)期的客戶購(gòu)賣記錄、客戶的支付歷史等。這類公司最感興趣的是客戶購(gòu)物的消費(fèi)偏好和消費(fèi)習(xí)慣。目前這類公司的大數(shù)據(jù)應(yīng)用包括推薦關(guān)聯(lián)產(chǎn)品和推出其它新的產(chǎn)品、 新的服務(wù)上。
大型服務(wù)公司,如銀行、電信服務(wù)等公司。這類公司也擁有客戶的某個(gè)方面歷史消費(fèi)記錄,比如銀行可能擁有客戶的金融賬戶收入支出信息,電信公司擁有客戶的電話或網(wǎng)絡(luò)使用歷史。這類公司通常對(duì)本行業(yè)內(nèi)推出新的產(chǎn)品和服務(wù),以及尋找潛在客戶,降低業(yè)務(wù)風(fēng)險(xiǎn)較感興趣,比如熱門的推薦系統(tǒng)等。
大型制造企業(yè),如福特汽車公司等。這類公司因?yàn)槠浯罅康目蛻艋A(chǔ),往往可以在推出新產(chǎn)品服務(wù)上使用大數(shù)據(jù)技術(shù)和應(yīng)用。
大型網(wǎng)絡(luò)服務(wù)公司,如google,百度,yahoo 等。這類公司由于在其服務(wù)行業(yè)的壟斷性,積累有海量的用戶在網(wǎng)絡(luò)虛擬世界的行為信息。這類公司通過(guò)歸納和機(jī)器學(xué)習(xí)等,可以挖掘出非常多有價(jià)值的應(yīng)用產(chǎn)品和服務(wù)。目前使用大數(shù)據(jù)最好的公司是google。google廣告系統(tǒng)adsense就是利用大數(shù)據(jù)技術(shù)來(lái)實(shí)現(xiàn)的。另外,google公司還可以利用大數(shù)據(jù)做出一些預(yù)測(cè),如流感的爆發(fā),政治性事件的預(yù)測(cè)等。google公司還進(jìn)一步推出如自動(dòng)駕駛等大數(shù)據(jù)應(yīng)用,及google眼鏡等結(jié)合大數(shù)據(jù)收集與應(yīng)用于一身的產(chǎn)品應(yīng)用。
大型社交網(wǎng)站,如facebook,twitter,及其它社交網(wǎng)站如linkedin和其它活躍論壇等。 全世界用戶每天都在社交網(wǎng)站上產(chǎn)生大量的內(nèi)容。僅facebook每天需要處理的社交信息就達(dá)到了500tb之多。 目前這些數(shù)據(jù)正在被大量的個(gè)人開(kāi)發(fā)者和技術(shù)公司使用,用來(lái)做各種商業(yè)服務(wù)推薦或新的產(chǎn)品。
政府部門和科研機(jī)構(gòu)的公開(kāi)數(shù)據(jù),如有關(guān)天氣、交通狀態(tài)、道路、地質(zhì)、環(huán)境 以及科學(xué)研究的進(jìn)展等部分。美國(guó)聯(lián)邦政府特別提出,將聯(lián)邦政府各部門的數(shù)據(jù)開(kāi)放給公眾,這些數(shù)據(jù)的應(yīng)用包括自動(dòng)駕駛、智能交通監(jiān)測(cè)系統(tǒng)等。
除了上述商業(yè)機(jī)構(gòu)的大數(shù)據(jù)之外,國(guó)家機(jī)構(gòu)還擁有大量有關(guān)國(guó)家安全的敏感信息。本文只討論商業(yè)應(yīng)用,故不討論這部分大數(shù)據(jù)的應(yīng)用和交互。
一位曾在teradata公司工作的數(shù)據(jù)專家說(shuō)過(guò),很多商業(yè)公司大約只存儲(chǔ)15%的有關(guān)他們業(yè)務(wù)的數(shù)據(jù),其余85%數(shù)據(jù)都存儲(chǔ)在其它外部公司或網(wǎng)站上。大數(shù)據(jù)時(shí)代的技術(shù),使得企業(yè)內(nèi)部的大數(shù)據(jù)和外部數(shù)據(jù)的整合、交互變得更加重要。
目前一些商業(yè)機(jī)構(gòu)對(duì)大數(shù)據(jù)的應(yīng)用,不止局限于對(duì)自身?yè)碛械拇髷?shù)據(jù)進(jìn)行分析,還需要用到其它方面的大數(shù)據(jù)。
例子1:某些金融企業(yè)如銀行希望和利用獲得其用戶的社交信息,以便和該金融企業(yè)擁有的客戶信息整合起來(lái),推出更多的新產(chǎn)品和更好的客戶體驗(yàn)。
例子2:一位醫(yī)療保險(xiǎn)公司的客戶要去某國(guó)外城市旅行,在微博上發(fā)表了這一信息,醫(yī)療保險(xiǎn)公司因?yàn)槭孪鹊玫娇蛻舻脑S可,可以從社交媒體(微博)上獲得這一信息,根據(jù)這位客戶的個(gè)人特殊身體情況,醫(yī)療保險(xiǎn)公司馬上給該客戶發(fā)去避免某些當(dāng)?shù)厥澄锏亩绦拧?/p>
例子3:一家經(jīng)營(yíng)連鎖旅館的企業(yè),除了自己網(wǎng)站、各地客房入住等情況外,希望能夠獲得其它旅游方面的大數(shù)據(jù),例如景區(qū)旅游人數(shù)、租車公司的客戶數(shù)量、租的汽車的檔次等變化等,這些對(duì)旅館的房?jī)r(jià)定價(jià),經(jīng)營(yíng)預(yù)期等有著很強(qiáng)的輔助作用。
例子4:一家初創(chuàng)公司,利用城市交通情況的公開(kāi)信息(政府信息),結(jié)合其用戶群上傳的即時(shí)的城市交通狀況(互聯(lián)終端產(chǎn)生的用戶自創(chuàng)信息或社交信息),對(duì)交通路線、預(yù)測(cè)到達(dá)時(shí)間等進(jìn)行預(yù)測(cè),從而為城市里的駕車人群車流進(jìn)行更好的服務(wù)。
商業(yè)公司對(duì)外部大數(shù)據(jù)的整合和交互是未來(lái)的大趨勢(shì),國(guó)外有很多公司已經(jīng)開(kāi)始著手這方面的技術(shù)和服務(wù),如alteryx、qlikview、tableau、factual等。
對(duì)于政府或科研部門公開(kāi)的大數(shù)據(jù)信息,商業(yè)公司業(yè)可以進(jìn)行整合和分析,比如人口調(diào)查、gdp統(tǒng)計(jì)、房產(chǎn)信息(美國(guó)是公開(kāi)的)交通情況等。眾多大數(shù)據(jù)技術(shù)公司也已經(jīng)在這方面發(fā)力,如factual、infochimps、socrata等公司。
據(jù)gartner預(yù)測(cè),到2017年,約三分之二的大數(shù)據(jù)整合項(xiàng)目,將是企業(yè)防火墻之外(外部數(shù)據(jù))的整合。
商業(yè)公司之間的大數(shù)據(jù)交互至少有下列幾種:
方式一:兩家或兩家以上的商業(yè)公司,他們從事的服務(wù)行業(yè)不同,擁有客戶的不同方面的信息,他們的服務(wù)行業(yè)有的具較有強(qiáng)的相關(guān)性,整合、交互信息對(duì)其中一方或參與各方都能增加新的價(jià)值。
方式二:商業(yè)公司對(duì)社交網(wǎng)站的客戶個(gè)人信息數(shù)據(jù)整合,期望帶來(lái)新的業(yè)務(wù)增長(zhǎng)點(diǎn)或?qū)嵭懈玫目蛻舴?wù)。
方式三:商業(yè)公司對(duì)政府部門的公開(kāi)信息,進(jìn)行大數(shù)據(jù)級(jí)別的整合和交互,產(chǎn)生新的商業(yè)模式、新業(yè)務(wù)、或改進(jìn)客戶服務(wù)。
方式四:未來(lái),還會(huì)有新的外部大數(shù)據(jù)的整合方式會(huì)產(chǎn)生價(jià)值,比如某商業(yè)公司進(jìn)行大量的對(duì)外部弱相關(guān)的數(shù)據(jù)的整合,當(dāng)總量達(dá)到一定規(guī)模之后,仍然會(huì)產(chǎn)生對(duì)商業(yè)公司自身業(yè)務(wù)具有巨大價(jià)值的信息。
商業(yè)公司間的大數(shù)據(jù)種類眾多,幾乎大多數(shù)的情況下,兩個(gè)公司之間數(shù)據(jù)的整合只對(duì)其中一方的業(yè)務(wù)有幫助,或者對(duì)雙方的業(yè)務(wù)幫助價(jià)值不對(duì)等,比如社交媒體的信息對(duì)于大眾商品銷售公司等。因此,購(gòu)買大數(shù)據(jù)的可能性遠(yuǎn)大于簡(jiǎn)單數(shù)據(jù)交換或數(shù)據(jù)互通。如何引導(dǎo),規(guī)范大數(shù)據(jù)的交易,以及提供交易方式、工具等, 成為有關(guān)部門和大數(shù)據(jù)技術(shù)公司研究的重要課題。
我們認(rèn)為,要開(kāi)展大數(shù)據(jù)的交易,需要解決一系列的問(wèn)題,例如:
如何引導(dǎo)更多企業(yè)開(kāi)放大數(shù)據(jù)? 大數(shù)據(jù)的應(yīng)用需要更多的企業(yè)開(kāi)發(fā)各自行業(yè)、領(lǐng)域的數(shù)據(jù),市場(chǎng)的參與者越多,市場(chǎng)的交易選擇和能找到的價(jià)值就越大。我國(guó)政府應(yīng)該鼓勵(lì)更多企業(yè)開(kāi)放他們的大數(shù)據(jù)。企業(yè)間的大數(shù)據(jù)通過(guò)更多的交互和交易,才能最大的價(jià)值化。
如何保護(hù)大數(shù)據(jù)的屬有權(quán)和隱私權(quán)?大數(shù)據(jù)往往是個(gè)人信息的集成, 我國(guó)對(duì)于個(gè)人信息隱私的保護(hù)有明確法規(guī)和引導(dǎo),大型企業(yè)都特別注意對(duì)用戶的隱私保護(hù)。企業(yè)間用來(lái)交易的大數(shù)據(jù),必須遵守國(guó)家有關(guān)法律,保護(hù)個(gè)人隱私和重要信息。因此,市場(chǎng)能提供的大數(shù)據(jù)應(yīng)該更多是經(jīng)過(guò)處理,隱去個(gè)人敏感信息,或者直接就是按照區(qū)域、人口年齡、收入情況等進(jìn)行分類集成后的信息。相關(guān)部門可以制定關(guān)于大數(shù)據(jù)交易的法規(guī),引導(dǎo)市場(chǎng)參與者在提供大數(shù)據(jù)的同時(shí),對(duì)于國(guó)家安全信息、個(gè)人隱私、商業(yè)機(jī)密等方面進(jìn)行特別保護(hù)和處理。
如何更好地開(kāi)放政府部門信息?各國(guó)政府都在開(kāi)放更多的公開(kāi)信息,建立公開(kāi)的大數(shù)據(jù)平臺(tái),更好的利用大數(shù)據(jù)為社會(huì)服務(wù)和產(chǎn)生價(jià)值。我國(guó)政府在這方面也大有可為。
如何找到有價(jià)值的外部數(shù)據(jù)?商業(yè)公司只對(duì)自身業(yè)務(wù)有關(guān)的外部數(shù)據(jù)感興趣,如何找到強(qiáng)相關(guān)或弱相關(guān)的外部數(shù)據(jù),成為重要的課題。大數(shù)據(jù)創(chuàng)業(yè)公司可以在提供工具,建立開(kāi)放的api等方向有所作為。各類云計(jì)算平臺(tái)也可以提供大數(shù)據(jù)的api。我們認(rèn)為,政府或大數(shù)據(jù)技術(shù)公司等業(yè)界,應(yīng)該創(chuàng)造一些基本的數(shù)據(jù)處理、歸類、分析工具。 為商業(yè)公司尋找外部大數(shù)據(jù)的整合和應(yīng)用,提供服務(wù)和方便。
如何衡量大數(shù)據(jù)的量和質(zhì)?一般說(shuō)來(lái),一個(gè)大數(shù)據(jù)包,如果包含某一方面的大數(shù)據(jù)年限越久,覆蓋人群或服務(wù)方向越多,其價(jià)值就越高。但是同樣的大數(shù)據(jù),對(duì)于不同的潛在買家,可能具有的價(jià)值不同。例如某電子商務(wù)網(wǎng)站的客戶消費(fèi)記錄,對(duì)于一個(gè)大型綜合類銷售公司,和對(duì)某一小型單一產(chǎn)品銷售公司的價(jià)值,差別巨大。如何對(duì)大數(shù)據(jù)產(chǎn)品進(jìn)行量和質(zhì)進(jìn)行價(jià)值上的分類,是進(jìn)行大數(shù)據(jù)交易必須解決的問(wèn)題。
如何規(guī)范大數(shù)據(jù)商品的可重復(fù)使用性?一個(gè)大數(shù)據(jù)包,可能會(huì)對(duì)不同的外部企業(yè)都具有價(jià)值,有時(shí)而且沒(méi)有利益沖突。理論上一個(gè)大數(shù)據(jù)商品,可能可以出賣多次。對(duì)大數(shù)據(jù)交易,是否產(chǎn)生使用權(quán),屬有權(quán)的改變?是否能夠再次出售,能否轉(zhuǎn)賣?能否賣給某位買家的競(jìng)爭(zhēng)對(duì)手?等問(wèn)題,都應(yīng)該進(jìn)行明確和規(guī)定。
如何建立大數(shù)據(jù)商品交互技術(shù)平臺(tái)、開(kāi)放api、統(tǒng)一api?由于大數(shù)據(jù)的量大,規(guī)格眾多等特性,大部分時(shí)候,大數(shù)據(jù)的直接轉(zhuǎn)移非常困難或不現(xiàn)實(shí),買家往往需要通過(guò)api來(lái)使用大數(shù)據(jù)商品,如何建立統(tǒng)一的api,建立大數(shù)據(jù)交互的技術(shù)平臺(tái),也是一個(gè)巨大的挑戰(zhàn)。
另外,大數(shù)據(jù)商品,更接近于原始的商品,市場(chǎng)參與者各自帶上自己的貨物,到一個(gè)市場(chǎng)進(jìn)行交易, 類似于擺攤。由于上述的大數(shù)據(jù)商品的特性,更加需要建立規(guī)范的、方便的交易場(chǎng)所。
大數(shù)據(jù)商品的交易可能會(huì)包含下列過(guò)程:
賣家對(duì)自己的大數(shù)據(jù)進(jìn)行預(yù)處理,保證用于交易的大數(shù)據(jù)商品遵守國(guó)家相關(guān)的法律和規(guī)定;
賣家描述自己的大數(shù)據(jù)包,并描述以往的交易歷史,包括歷史買家的行業(yè)描述等;
買家在大數(shù)據(jù)交易平臺(tái)上尋找對(duì)自己業(yè)務(wù)有幫助的大數(shù)據(jù)商品;
買賣雙方就數(shù)據(jù)的使用權(quán),數(shù)據(jù)的轉(zhuǎn)移,數(shù)據(jù)是否可以再次出售(時(shí)間上,競(jìng)爭(zhēng)對(duì)手限制等),是否委托第三方技術(shù)公司進(jìn)行數(shù)據(jù)分析等等, 達(dá)成協(xié)議;
買方支付交易金額,同時(shí)大數(shù)據(jù)商品轉(zhuǎn)移到買方;
買方將對(duì)大數(shù)據(jù)商品進(jìn)行分析或應(yīng)用,實(shí)現(xiàn)大數(shù)據(jù)商品的價(jià)值。
我們認(rèn)為,由于大數(shù)據(jù)商品的特殊性,建立大數(shù)據(jù)交易所,可以對(duì)大數(shù)據(jù)的交易做出權(quán)威性的規(guī)范,保證交易安全,同時(shí)為市場(chǎng)參與者提供工具和幫助。
大數(shù)據(jù)交易所的重大作用:
大數(shù)據(jù)交易所可以深化國(guó)家有關(guān)法律對(duì)大數(shù)據(jù)商品的規(guī)范,特別是確保大數(shù)據(jù)交易的買賣雙方遵守國(guó)家有關(guān)隱私,國(guó)家安全,商業(yè)機(jī)密等方面的法律,保護(hù)消費(fèi)者的信息安全和其它權(quán)益;
大數(shù)據(jù)交易所可以引導(dǎo)對(duì)大數(shù)據(jù)商品的規(guī)范,對(duì)大數(shù)據(jù)進(jìn)行定量,定價(jià)方面進(jìn)行引導(dǎo);
大數(shù)據(jù)交易所應(yīng)該建立認(rèn)證系統(tǒng),確保大數(shù)據(jù)商品的真實(shí)性和價(jià)值;
大數(shù)據(jù)交易所應(yīng)該為市場(chǎng)參與者提供技術(shù)上的幫助,幫助市場(chǎng)參與者尋找適合自己的交易方;
大數(shù)據(jù)交易所應(yīng)該且可以對(duì)大數(shù)據(jù)的轉(zhuǎn)移和使用提供法律上的保障;
大數(shù)據(jù)交易所應(yīng)該且可以對(duì)大數(shù)據(jù)的轉(zhuǎn)移和使用提供數(shù)據(jù)安全上的技術(shù)保障;
大數(shù)據(jù)交易所,應(yīng)該確保資金的轉(zhuǎn)移和安全;
大數(shù)據(jù)交易所,還可以開(kāi)放大數(shù)據(jù)期貨,即對(duì)未來(lái)某時(shí)間段將要產(chǎn)生的大數(shù)據(jù),進(jìn)行交易。
由于市場(chǎng)參與者大都為商業(yè)公司,大數(shù)據(jù)的交易更像是實(shí)體商品交易而不同于股票交易。隨著交易的進(jìn)行和市場(chǎng)參與者的增多,大數(shù)據(jù)商品的種類會(huì)逐漸豐富,從而吸引更多的市場(chǎng)參與者。
大數(shù)據(jù)交易的參與者至少包含下列幾類:
初端賣家,即提供某方面信息的大數(shù)據(jù)商品賣家,該類用戶可能通過(guò)從事的行業(yè)服務(wù),積累某個(gè)方面的數(shù)據(jù);
終端買家,對(duì)相關(guān)行業(yè)服務(wù)信息由需求的商業(yè)服務(wù)公司,買來(lái)大數(shù)據(jù)提升自己的服務(wù)或產(chǎn)品;
大數(shù)據(jù)投資者,這類參與者發(fā)現(xiàn)或認(rèn)可某大數(shù)據(jù)商品的價(jià)值,可以先買入,再買給有需求的大數(shù)據(jù)終端買家;
加工商,由于大數(shù)據(jù)商品的高技術(shù)含量,大數(shù)據(jù)技術(shù)公司可能先買入原始數(shù)據(jù),經(jīng)過(guò)處理,集成后,再賣給終端買家。
市場(chǎng)參與者可能具有多重交易身份,既是大數(shù)據(jù)的提供者,也是大數(shù)據(jù)的消費(fèi)者。各類市場(chǎng)參與者的交易,能使大數(shù)據(jù)交易市場(chǎng)更加活躍,增加市場(chǎng)的流動(dòng)性,引來(lái)更多的大數(shù)據(jù)商品的加入和交易。
綜上所述,建立大數(shù)據(jù)交易所,雖然在技術(shù)上、法律上、流程上尚有一系列需要解決的問(wèn)題,但我們認(rèn)為,這是一個(gè)可以逐步進(jìn)行,逐步解決的過(guò)程。 我們認(rèn)為,建立大數(shù)據(jù)交易所有非常大的必要性和可行性,建立大數(shù)據(jù)交易所是勢(shì)在必行的市場(chǎng)需求。