非結(jié)構(gòu)化數(shù)據(jù)是所有數(shù)據(jù)中增長速度最快的。根據(jù)IDC的數(shù)據(jù)，它正在以61%的復(fù)合年增長率增長，到2025年將占全球數(shù)據(jù)的80%。對于許多大型IT企業(yè)而言，在不久前就已經(jīng)超過了這一標(biāo)準(zhǔn)。
非結(jié)構(gòu)化數(shù)據(jù)的增長不再受文件，電子表格，演示文稿，照片，視頻和音頻等通常文件的驅(qū)動。當(dāng)今其增長背后的動力來自日志，物聯(lián)網(wǎng)設(shè)備，社交媒體，傳感器，元數(shù)據(jù)和搜索引擎查詢等。
屠龍者咨詢公司的調(diào)查顯示，企業(yè)中的大多數(shù)非結(jié)構(gòu)化數(shù)據(jù)是涼數(shù)據(jù)(已使用30天以上且不經(jīng)常訪問)或冷數(shù)據(jù)(已使用90天以上且罕有訪問)。但是，它位于昂貴的主存儲上，不斷消耗預(yù)算。
管理非結(jié)構(gòu)化數(shù)據(jù)的挑戰(zhàn)在于如何以既經(jīng)濟(jì)又高效的方式實(shí)現(xiàn)。非結(jié)構(gòu)化數(shù)據(jù)不容易分類或建立索引，也不容易存儲在傳統(tǒng)數(shù)據(jù)庫中。此外，它通常不是源自具備分析能力的數(shù)據(jù)庫，例如JSON數(shù)據(jù)庫、key-value數(shù)據(jù)庫和XML數(shù)據(jù)庫。這意味著這些數(shù)據(jù)必須被提取，轉(zhuǎn)換并加載到一個(gè)有用的數(shù)據(jù)庫中。這是一個(gè)勞動密集，耗時(shí)且容易出錯(cuò)的過程，需要腳本或外部服務(wù)提供商。移動數(shù)據(jù)還可以創(chuàng)建數(shù)據(jù)的多個(gè)副本，這意味著會有更多的存儲空間，機(jī)架空間，交換機(jī)端口，軟件許可證，電源，散熱，電纜，收發(fā)器，分配的開銷和管理員。那么這在經(jīng)濟(jì)上沒有任何意義。
是否要管理非結(jié)構(gòu)化數(shù)據(jù)
非結(jié)構(gòu)化數(shù)據(jù)的常見處理方式是根本不對其進(jìn)行管理。許多IT商店選擇增加其主存儲系統(tǒng)的容量，而不是對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分類，管理，分析甚至歸檔。他們認(rèn)為，如果有需要，數(shù)據(jù)就在那兒，但是可能很難找到。這種方法的問題在于它在財(cái)務(wù)上是不可持續(xù)的，原因有如下幾個(gè)。
第一個(gè)原因是數(shù)據(jù)會消耗容量---通常是主存儲容量。而且，一旦消耗掉了，該容量就無法用于其他數(shù)據(jù)。主存儲是最昂貴的存儲，通常由某種類型的閃存SSD介質(zhì)組成。存儲系統(tǒng)軟件和許多其它類型的軟件(如備份和復(fù)制)都是基于容量購買許可或訂閱的，這就增加了非結(jié)構(gòu)化數(shù)據(jù)的成本，即使是非結(jié)構(gòu)化數(shù)據(jù)未被訪問時(shí)也是如此。
所有存儲系統(tǒng)必須每3 - 5年更新一次。當(dāng)一個(gè)系統(tǒng)升級，新系統(tǒng)必須包括所有現(xiàn)有的非結(jié)構(gòu)化數(shù)據(jù)，以及在新系統(tǒng)使用壽命期間存儲的任何數(shù)據(jù)，這就增加了更多的基礎(chǔ)設(shè)施和成本。同時(shí)，需要將數(shù)據(jù)從舊存儲系統(tǒng)遷移到新存儲系統(tǒng)。這需要時(shí)間、精力、軟件或腳本。它消耗的不僅僅是主存儲空間，還消耗二級存儲，因?yàn)樗写鎯Φ姆墙Y(jié)構(gòu)化數(shù)據(jù)都必須進(jìn)行備份。除了備份非結(jié)構(gòu)化數(shù)據(jù)的成本外，更大的成本是從中斷中恢復(fù)數(shù)據(jù)?；謴?fù)涼數(shù)據(jù)和冷數(shù)據(jù)所花費(fèi)的時(shí)間可能會延遲系統(tǒng)的恢復(fù)和運(yùn)行，這個(gè)過時(shí)的過程會增加更多成本。
將非結(jié)構(gòu)化數(shù)據(jù)保存在主存儲上造成問題的另一個(gè)原因是全球的隱私法律法規(guī)，如《加州消費(fèi)者隱私法》、《歐盟通用數(shù)據(jù)保護(hù)條例》、日本的《個(gè)人信息保護(hù)法》和泰國的《個(gè)人數(shù)據(jù)保護(hù)法》。是否遵從是沒有余地可選擇的，如果不遵從會產(chǎn)生嚴(yán)重的經(jīng)濟(jì)后果。這意味著IT組織必須知道他們所保存的非結(jié)構(gòu)化數(shù)據(jù)中是否包含個(gè)人身份信息(PII)及其內(nèi)容。
非結(jié)構(gòu)化數(shù)據(jù)管理工具
管理非結(jié)構(gòu)化數(shù)據(jù)以優(yōu)化性能和降低成本的關(guān)鍵是捕獲，收集，解析和分析元數(shù)據(jù)。 在某些情況下，例如PII，這意味著需要分析內(nèi)容本身。 有幾家公司提供了旨在管理非結(jié)構(gòu)化數(shù)據(jù)及其成本的產(chǎn)品和服務(wù)。這些產(chǎn)品包括Aparavi, InfiniteIO, open source iRODs, Komprise, Spectra Logic StorCycle等。
正確完成非結(jié)構(gòu)化數(shù)據(jù)管理后，一切都會以良好的方式發(fā)生變化。數(shù)據(jù)從昂貴的主存儲中移動，存檔或刪除，轉(zhuǎn)移到更具成本效益的二級存儲，云存儲或磁帶存儲中。數(shù)據(jù)管理軟件根據(jù)非結(jié)構(gòu)化數(shù)據(jù)的特征和性能要求確定將其移動到何處。通過客戶端軟件，符號鏈接，全局名稱空間或它們的組合來維護(hù)訪問。
這些智能和自主的數(shù)據(jù)管理系統(tǒng)具有訪問和分類非結(jié)構(gòu)化數(shù)據(jù)的不同方法。 他們使用管理特權(quán)(iROD，Komprise，Spectra Logic，Starfish，StrongBox)安裝文件或?qū)ο蟠鎯?，看起來像交換機(jī)一樣位于數(shù)據(jù)路徑中(InfiniteIO)，或者運(yùn)行在捕獲元數(shù)據(jù)的計(jì)算系統(tǒng)中(Aparavi)，對內(nèi)容進(jìn)行分類，復(fù)制，移動，歸檔和刪除數(shù)據(jù)。這樣可以減少在主存儲中消耗的容量以及在二級存儲中備份或復(fù)制的數(shù)據(jù)。
如何選擇非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)
將數(shù)據(jù)從昂貴的主存儲轉(zhuǎn)移到成本較低的存儲后，可以輕松訪問它們，而無需重新存儲原始存儲中的數(shù)據(jù)。它對數(shù)據(jù)進(jìn)行分類，實(shí)現(xiàn)基于策略的移動和存儲，并使存儲系統(tǒng)商品化。
選擇最佳的智能或自主非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)需要知識和研究。企業(yè)需要回答以下五個(gè)有關(guān)企業(yè)的需求和正在尋找的產(chǎn)品的問題：
1、隨著時(shí)間的推移，將移動或遷移多少數(shù)據(jù)?
2、是否需要元數(shù)據(jù)和數(shù)據(jù)索引?
3、需要哪些級別的可擴(kuò)縮性和性能?需要一個(gè)可擴(kuò)展至艾字節(jié)的系統(tǒng)，還是一個(gè)PB級的系統(tǒng)就足夠了?
4、希望管理系統(tǒng)的自動化程度，簡單性和直觀性如何?
5、最后，每個(gè)系統(tǒng)如何獲得許可或訂閱?雖然其中大多數(shù)都是按每太字節(jié)收費(fèi)的，但收費(fèi)標(biāo)準(zhǔn)取決于運(yùn)行該軟件的物理機(jī)或虛擬機(jī)中的內(nèi)核數(shù)。這關(guān)系到總擁有成本。
如果做得好，管理非結(jié)構(gòu)化數(shù)據(jù)的總成本應(yīng)該低于以前的完全不管理的方法。
版權(quán)聲明：本文為企業(yè)網(wǎng)D1Net編譯，轉(zhuǎn)載需注明出處為：企業(yè)網(wǎng)D1Net，如果不注明出處，企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。
京公網(wǎng)安備 11010502049343號