“宇宙,人類最后的邊疆。這是星艦企業(yè)號的航程。它繼續(xù)的任務(wù)是去探索未知的新世界,找尋新的生命和新的文明,勇敢地航向前人所未至的領(lǐng)域。”這是《星際迷航》里的經(jīng)典臺詞。第一次走進星環(huán)科技的辦公室,就仿佛置身于科幻世界的太空飛船,到處彌漫著創(chuàng)新的沖動。
《三體》中的星環(huán)集團聚集了最優(yōu)秀的一批科學(xué)家
光陰好像流水飛快,不知不覺間我們已然涌入大數(shù)據(jù)的時代:凡事都在拿數(shù)據(jù)說話,就連我們平時吃飯用的筷子,也趕上了大數(shù)據(jù)的班車,可以神奇地鑒定出地溝油,更不用說可視眼鏡,智能手環(huán)什么的了。
《三體》中的星環(huán)集團聚集了人類最優(yōu)秀的一批科學(xué)家,建造成太陽系的第一艘超光速飛船——星環(huán)號,星環(huán)科技的創(chuàng)始人兼CTO孫元浩表示,星環(huán)科技故借此命名,希望匯聚最優(yōu)秀的研發(fā)團隊,立志打造成國內(nèi)外領(lǐng)先的大數(shù)據(jù)基礎(chǔ)技術(shù)廠商。
在孫元浩眼里,創(chuàng)新一詞更多地與創(chuàng)業(yè)公司聯(lián)系在一起,他認(rèn)為每一次技術(shù)的演變都是源起于小公司為解決現(xiàn)實問題而進行的新技術(shù)開拓。他認(rèn)為創(chuàng)業(yè)者們應(yīng)該滿懷信心地投身到改變世界的事業(yè)當(dāng)中,一旦有了idea以后,就需要努力嘗試把這些idea變成現(xiàn)實,這就是創(chuàng)新的要義所在,無論成功與否。
一直以來,從人們所艷羨的公司辭職,回歸于起步階段的初創(chuàng)企業(yè),這樣的職業(yè)生涯轉(zhuǎn)變不僅需要極大的勇氣,更需要對行業(yè)未來趨勢有十足的把握。當(dāng)下,大數(shù)據(jù)創(chuàng)業(yè)需要的不是拉拉隊,而是實干家。孫元浩,正是一位有夢想,有魄力的年輕實干家。通過和他近兩個小時的交流,可以看出他是一位邏輯思維能力超強的技術(shù)大咖,他陽光,有激情,并且在他身上透著敏銳的市場洞察力,頑強的拼搏與不服輸?shù)陌詺狻?/p>
是否做了自己熱愛的事情?是否為實現(xiàn)自己的夢想盡了最大的努力?這是創(chuàng)業(yè)者執(zhí)著的來源。
一直以來都堅信終將有一款自己的產(chǎn)品,可以完全超越美國人
孫元浩,作為英特爾自研商用版Hadoop解決方案曾經(jīng)的團隊領(lǐng)導(dǎo)者,一直以來都堅信終將有一款中國自己的產(chǎn)品,可以完全超越美國人。這并不是一種盲目的自信。雖然截至目前,國內(nèi)大部分企業(yè)的核心數(shù)據(jù)庫系統(tǒng)還大都是來自國外公司的產(chǎn)品。但鑒于中國企業(yè)的應(yīng)用場景非常復(fù)雜,很少有國外產(chǎn)品能夠不經(jīng)修改就可以順暢運行。而且在中國,由于用戶數(shù)量龐大,中國企業(yè)的數(shù)據(jù)量普遍要高于國外企業(yè)一個數(shù)量級。國外公司在進行產(chǎn)品設(shè)計時,是根據(jù)國外仿真的用戶數(shù)來構(gòu)架的,遇到中國的用戶數(shù)量,系統(tǒng)出現(xiàn)問題的幾率就會大大增加。中國的電信運營商、銀行、交通等領(lǐng)域,數(shù)據(jù)量和復(fù)雜程度要遠(yuǎn)超國外同類企業(yè),急需新一代數(shù)據(jù)處理技術(shù)來解圍,而目前國外公司的產(chǎn)品還不能很好地滿足國內(nèi)用戶的需求。
就技術(shù)而言,孫元浩和他的團隊完全可以和國外公司站在同一個起跑線上:同步開發(fā)產(chǎn)品,同時開展競爭。他相信團隊有信心和能力做出優(yōu)秀的產(chǎn)品,為中國客戶提供更好的服務(wù)。
在中國這么一個巨大的市場,尤其是有如此多的問題需要解決,因此完全有必要有一家本土公司,能夠承擔(dān)起這樣的歷史使命,能推動這個技術(shù)的變革,開發(fā)頂尖的技術(shù)。孫元浩希望星環(huán)能夠成為這樣一家偉大的公司,作為大數(shù)據(jù)的領(lǐng)先者,推動這個產(chǎn)業(yè)的轉(zhuǎn)型,解決中國市場的一些特殊問題。同時也希望星環(huán)能夠去開拓全球市場。因為在中國市場發(fā)展技術(shù),會面對在其他市場所無法想象的挑戰(zhàn),歐洲國家的基礎(chǔ)數(shù)據(jù)量及其復(fù)雜程度遠(yuǎn)低于中國,即使美國的數(shù)據(jù)量也比中國小一個數(shù)量級。能夠在中國的大數(shù)據(jù)領(lǐng)域取得成功的公司,從技術(shù)角度來看,其產(chǎn)品在世界范圍被廣泛應(yīng)用也是理所當(dāng)然的。
孫元浩一直堅信中國一定會誕生這樣一家公司,去接受這樣的歷史使命。
2013年,星環(huán)科技創(chuàng)立,致力于Hadoop之上的高效計算引擎和數(shù)據(jù)分析算法的研發(fā)。作為公司創(chuàng)始人兼任CTO,而不是CEO。CTO孫元浩,是星環(huán)號的領(lǐng)航員。
Transwarp取自《星際迷航》中超光速飛船的曲率引擎
天下武功,唯快不破。武俠世界的金科玉律,同樣適用于當(dāng)前日趨激烈的商業(yè)競爭,不敗的秘訣,就在于洞悉并快速響應(yīng)市場需求的變化。隨著現(xiàn)在傳感器網(wǎng)絡(luò)、物聯(lián)網(wǎng)的發(fā)展,數(shù)據(jù)產(chǎn)生的速度越來越快,當(dāng)然在互聯(lián)網(wǎng)里面早就有實時數(shù)據(jù)產(chǎn)生,使得實時大數(shù)據(jù)的技術(shù)慢慢開始得到更多的關(guān)注。
然而傳統(tǒng)處理方法是將電子儀器產(chǎn)生的數(shù)據(jù)存入數(shù)據(jù)庫后再統(tǒng)一分析,一旦設(shè)備增多和數(shù)據(jù)增長,延時就越來越高。利用流處理技術(shù)在數(shù)據(jù)產(chǎn)生的時候就進行實時處理可以極大地提高企業(yè)的反應(yīng)速度和工作效率。
而Hadoop、Spark等架構(gòu)就能夠滿足這樣的需求。它們提供節(jié)點通信,實現(xiàn)計算任務(wù)的分配,以及容錯擴展等等問題,最終實現(xiàn)對分布式系統(tǒng)中各個節(jié)點計算能力的聚合。尤其是Hadoop,在節(jié)點間傳遞計算過程,而不是傳遞數(shù)據(jù),能夠用更少的帶寬更快地推進大數(shù)據(jù)的處理。孫元浩表示,自去年星環(huán)科技就部署了較多的流處理集群,來處理從用戶產(chǎn)生的實時數(shù)據(jù)到傳感器產(chǎn)生的數(shù)據(jù)。其公司產(chǎn)品Transwarp Data Hub(TDH)正是基于Hadoop和Spark的分布式內(nèi)存分析引擎和實時在線大規(guī)模計算分析平臺,相比開源Hadoop版本有10x~100x倍性能提升,可處理GB到PB級別的數(shù)據(jù)。而其中的Transwarp正是取自《星際迷航》中超光速飛船的曲率引擎,就是努力將Spark打造成為Hadoop系統(tǒng)的下一代引擎。
據(jù)孫元浩介紹,星環(huán)與其合作伙伴為某省公安廳交通管理部門部署了全省范圍的交通監(jiān)控系統(tǒng),采用分布式隊列實時采集全省各個交通卡口的車輛信息,使用流式計算集群對過車記錄進行實時統(tǒng)計和監(jiān)測,并實現(xiàn)上述多種實時分析應(yīng)用,系統(tǒng)處理信息的端到端延時在2秒以內(nèi),較好地提高了交通管理的效率。截止到目前,星環(huán)科技已經(jīng)部署了6個省,本月還會再部署兩個省。
星環(huán)在以Hadoop/Spark為代表的大數(shù)據(jù)底層技術(shù)領(lǐng)域功底扎實,在國內(nèi)已然擁有最多的企業(yè)級Hadoop實施案例,觸角已延伸到交通安全、金融、電信、醫(yī)療、能源等各行各業(yè),中國正需要這樣一個能在大數(shù)據(jù)Hadoop領(lǐng)域不輸國外公司,甚至超越他們的基礎(chǔ)平臺級的技術(shù)公司,星環(huán)科技有望填補這一空白。
大數(shù)據(jù)和云計算終將走向融合,星環(huán)科技的目標(biāo)是要做中國的“甲骨文”
縱觀國外,已然涌現(xiàn)了一大批以大數(shù)據(jù)為依托的創(chuàng)業(yè)公司,加上IT界眾多老牌公司的加入,大家都想在大數(shù)據(jù)這一廣闊市場中分得一杯羹。而國內(nèi)的情況是,大數(shù)據(jù)領(lǐng)域內(nèi)的公司雖然很多,但大部分是以大數(shù)據(jù)應(yīng)用為主,敢于挑戰(zhàn)大數(shù)據(jù)Hadoop平臺技術(shù)的公司少之又少。星環(huán)是這少之又少中的一個佼佼者,孫元浩坦言,星環(huán)信息科技的目標(biāo)就是要做中國的“甲骨文”!
提到大數(shù)據(jù),就必須要講到安全。國內(nèi)金融機構(gòu)對外資的高依賴度將直接導(dǎo)致金融數(shù)據(jù)被國外廠商掌控,威脅我國金融安全。此前,棱鏡門等事件暴露的國家信息安全問題,使得國內(nèi)“去IOE”掀起高潮,必須努力擺脫外資數(shù)據(jù)、技術(shù)公司的束縛,當(dāng)然包括金融界在內(nèi)的多個傳統(tǒng)行業(yè)對于IT的國產(chǎn)化需求也在不斷加大。在金融業(yè),已經(jīng)有許多的銀行IT部門正在嘗試使用國產(chǎn)的基礎(chǔ)軟件或是開源的框架、產(chǎn)品,特別是數(shù)據(jù)庫領(lǐng)域,這種趨勢更加明顯。
孫元浩認(rèn)為,大數(shù)據(jù)技術(shù)在銀行的應(yīng)用前景被廣泛傳播,通過綜合處理銀行自有結(jié)構(gòu)化交易數(shù)據(jù)以及外部互聯(lián)網(wǎng)/政府?dāng)?shù)據(jù),可以提升精細(xì)化客戶管理水平以及進行大數(shù)據(jù)征信降低風(fēng)險等。據(jù)他介紹,曾有股份制銀行把一些復(fù)雜的貸款風(fēng)險控制邏輯在多個MPP數(shù)據(jù)庫和Hadoop發(fā)行版上進行過嘗試,傳統(tǒng)數(shù)據(jù)庫對于龐大的數(shù)據(jù)量及其運算表現(xiàn)得力不從心??梢?,當(dāng)數(shù)據(jù)量與日俱增,而傳統(tǒng)的MPP數(shù)據(jù)庫形態(tài)卻未改變,企業(yè)面臨的將是已過時的技術(shù)緩慢地處理日新月異的數(shù)據(jù),這在追求高效的大數(shù)據(jù)時代顯得岌岌可危,銀行需要一個更高效的數(shù)據(jù)處理工具。
在全球去IOE的大背景下,Hadoop技術(shù)已成為公認(rèn)的替代傳統(tǒng)數(shù)據(jù)庫的大數(shù)據(jù)產(chǎn)品。其開源Hadoop平臺親民的價格設(shè)置是其最具吸引力的特質(zhì)所在,而它容納全部數(shù)據(jù)類型的能力則是另一大亮點。Hadoop的誕生是劃時代的數(shù)據(jù)變革,但關(guān)系數(shù)據(jù)庫時代的存留也為Hadoop真正占領(lǐng)數(shù)據(jù)庫領(lǐng)域埋下了許多的障礙,因為業(yè)務(wù)人員對SQL語言及工具更加熟悉。對SQL(尤其是PL/SQL)的支持一直是Hadoop大數(shù)據(jù)平臺在接手舊數(shù)據(jù)時代時亟待解決的問題。Hadoop對SQL數(shù)據(jù)庫的支持度一直是企業(yè)用戶最關(guān)心的訴求點之一,也是他們選擇的Hadoop平臺的重要標(biāo)準(zhǔn)。
7月22日,由星環(huán)科技牽頭成立了國內(nèi)首個Hadoop技術(shù)及應(yīng)用推廣聯(lián)盟,希望打造一個完整的Hadoop技術(shù)與產(chǎn)業(yè)鏈,加速國內(nèi)Hadoop大數(shù)據(jù)技術(shù)的市場推廣。在第二天的中國Hadoop技術(shù)峰會上,孫元浩詳細(xì)介紹了如何在Hadoop上實現(xiàn)分布式事務(wù)處理,以保障分布式數(shù)據(jù)的一致性。他從十五年前EricBrewer的一篇演講入手,提出了Hadoop技術(shù)發(fā)展中分布式事務(wù)處理一致性的困難。他從CAP定理開始,提出了實現(xiàn)一致性的矛盾所在,尤其是保障一致性與可用性的困難。但是隨后孫元浩進行了ACID詳解,理論上闡述了實現(xiàn)分布式一致性的可行性以及星環(huán)科技對分布式事務(wù)處理一致性的兩種解決方案。并同時通過演示展現(xiàn)了星環(huán)科技Transwarp Inceptor對當(dāng)前分布式事務(wù)處理一致性問題解決的處理方案及其優(yōu)越性。
他認(rèn)為,Hadoop的興起并不是一個產(chǎn)品代替另一個產(chǎn)品,而是在硬件發(fā)展到一定階段一種計算模式代替另一種計算模式。當(dāng)前,TDH已從數(shù)據(jù)倉庫的補充轉(zhuǎn)變成了其替代品,已經(jīng)大大提升了數(shù)據(jù)分析的效率,當(dāng)然受益于其對SQL的完整支持以及對ACID數(shù)據(jù)一致性的支持,某股份制銀行開始把一些復(fù)雜的貸款風(fēng)險控制邏輯遷移到TDH Hadoop平臺上進行運算??梢姡琀adoop全面主導(dǎo)數(shù)據(jù)庫的時代開始了,這也是大數(shù)據(jù)時代真正來臨的標(biāo)志性突破。
自過去的一年,知名的云計算公司以及軟件、操作系統(tǒng)、系統(tǒng)集成廠商、配置管理軟件、大數(shù)據(jù)廠商以及開源軟件都在向Docker靠攏。微軟也稱將在下一個版本的Windows Server中支持Docker。孫元浩認(rèn)為,大數(shù)據(jù)和云計算終將走向融合。那星環(huán)又做了哪些準(zhǔn)備來應(yīng)對如此快速變化的市場呢?其正在為大數(shù)據(jù)應(yīng)用量身定做TOS云操作系統(tǒng)。在過去,Hadoop on Docker大數(shù)據(jù)平臺的部署,只在單機情況下實現(xiàn)過,而且過程繁瑣,耗時很長。雖然類似Pivotal方案也實現(xiàn)過一鍵部署,但是單機的小規(guī)模部署對于Hadoop這樣的大數(shù)據(jù)平臺并不具有實際意義。TOS基于Docker和Kubernetes,支持一鍵部署TDH,讓TDH和其他Docker應(yīng)用共享集群,過去,幾百臺規(guī)模集群的Hadoop on Docker的部署,從未有人實現(xiàn)過,這也是Hadoop on Docker難以落地應(yīng)用的主要原因之一。而一鍵規(guī)?;渴饎t更是繞過了Hadoop on Docker在市場的適應(yīng)期,降低了安裝和使用的成本,使企業(yè)用戶可以更早更快地使用該技術(shù),是在Hadoop技術(shù)發(fā)展和推廣中舉足輕重的一個技術(shù)突破。其基于優(yōu)先級的搶占式資源調(diào)度和細(xì)粒度資源分配,讓大數(shù)據(jù)應(yīng)用可以輕松的擁抱云服務(wù)。
產(chǎn)品創(chuàng)新就是功能定義+技術(shù)實現(xiàn),需要有遠(yuǎn)大格局的具體實踐者
遠(yuǎn)=近=永恒。當(dāng)前,“互聯(lián)網(wǎng)+”給各個產(chǎn)業(yè)的創(chuàng)新發(fā)展帶來無限可能,但無論如何“+”,不變的還是產(chǎn)品本身的質(zhì)量、品牌、以及滿足用戶需求這些核心點。
孫元浩坦言,不管科技如何變化,模式如何變化,對于做產(chǎn)品而言,以功能定義+技術(shù)實現(xiàn)的本質(zhì)是不變的。弄懂了市場想要什么,就幾乎可以有針對性地提供創(chuàng)新產(chǎn)品和服務(wù)。
大數(shù)據(jù)帶來的挑戰(zhàn)也是跨行業(yè)、跨領(lǐng)域的。數(shù)據(jù)挖掘需要的是復(fù)合型人才。目前星環(huán)業(yè)務(wù)正在快速擴展,已在北京等地設(shè)立分公司和辦事處。最后,孫元浩呼吁有激情的大數(shù)據(jù)人才,懷揣著共同的夢想,能齊聚一堂,不做大數(shù)據(jù)的拉拉隊,立志都成為大數(shù)據(jù)的實干家!
訪后記
無論什么領(lǐng)域,引領(lǐng)穿越星際迷航,都是一次世界觀的改變。