云和其他存儲平臺中的重復數(shù)據(jù)刪除是一種從數(shù)據(jù)流中刪除重復或重復數(shù)據(jù)以減少存儲在設備或系統(tǒng)中的物理數(shù)據(jù)量的過程。
在主存儲中,重復數(shù)據(jù)刪除有助于通過刪除相同的數(shù)據(jù)塊并使用元數(shù)據(jù)將數(shù)據(jù)的邏輯副本與實際數(shù)據(jù)相關聯(lián),從而減少所消耗的物理空間量。 在公共云中,存儲平臺的重復數(shù)據(jù)刪除功能不會暴露給用戶。
如果提供商選擇在云計算中實施重復數(shù)據(jù)刪除,那么該保護對于云提供商來說是有益的。 這是因為存儲空間是基于所使用的邏輯容量(而不是物理容量)來計費的,任何節(jié)省的開支都是由服務提供商提供的,以提供更便宜的服務或降低成本。
但是對于使用云端存儲進行備份的人來說,存在一個問題。將多個備份映像復制到云上將消耗大量的存儲空間,這比使用磁盤系統(tǒng)等磁盤系統(tǒng)作為存儲目標時要大得多。
云端的重復數(shù)據(jù)刪除有許多解決方案。許多備份軟件平臺將在源上重復數(shù)據(jù)刪除,并僅保留物理存儲上的重復數(shù)據(jù)刪除數(shù)據(jù)。備份軟件擁有并管理元數(shù)據(jù)由邏輯到物理狀態(tài)轉換。
另一種方法是尋找可以提供存儲接口并進行重復數(shù)據(jù)刪除的存儲網(wǎng)關。在這種情況下,管理員不依賴于備份軟件,數(shù)據(jù)可以更容易地導入其他平臺。
最明顯的問題是,使用任何備份軟件都將擁有元數(shù)據(jù),因此,理想情況下,存儲重復數(shù)據(jù)刪除網(wǎng)關是更好的選擇。這樣可以確保備份環(huán)境中的數(shù)據(jù)在備份軟件之外是可移植的,而不需要對數(shù)據(jù)進行補充,從而將數(shù)據(jù)轉移到另一個平臺。
除了云中的重復數(shù)據(jù)刪除之外,該過程在虛擬機組中運行良好,在虛擬機中,基本操作系統(tǒng)在多個虛擬機中是相似的或相同的。
在備份世界中,重復數(shù)據(jù)刪除用于減少在執(zhí)行相同數(shù)據(jù)集(例如VM)的重復備份時存儲的物理數(shù)據(jù)量。當備份之間的實際數(shù)據(jù)只有一小部分(例如5%到10%)發(fā)生變化時,重復數(shù)據(jù)刪除技術可確保物理空間消耗盡可能最優(yōu)。備份系統(tǒng)可以看到重復數(shù)據(jù)刪除率為20:1及更高。