分散式網路儲存系統的具體情況是怎麼樣的

什麼是分散式儲存系統

分散式儲存系統，是將資料分散儲存在多臺獨立的裝置上。傳統的網路儲存系統採用集中的儲存伺服器存放所有資料，儲存伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模儲存應用的需要。分散式網路儲存系統採用可擴充套件的系統結構，利用多臺儲存伺服器分擔儲存負荷，利用位置伺服器定位儲存資訊，它不但提高了系統的可靠性、可用性和存取效率，還易於擴充套件。

區塊鏈與分散式儲存

區塊鏈是透過分散式節點的儲存資源，對全網全節點進行儲存同步，並透過相應的共識技術保證內部節點對儲存內容更改的有效性，維護一個完整的可查詢的資料庫。在此係統中，儲存的都是鏈內生成賬戶之間餘額的更改或者總剩餘，當然，更完善的一些系統功能也包括儲存了多個賬戶對資料庫中子賬目的資料狀態維護。

因此，該系統的主要功能是記錄狀態的改變，然後同步。對節點來說，無論是PoW、PoS還是PoX，其核心的要求就是遵循特定的投票規則，將新的變動同步在所有節點的儲存中。

如果一個系統使用的是區塊鏈結構，那麼它是不支援使用者個人資料，或者說不支援我們希望實現價值的資料的，區塊鏈上的資料是賬戶資料以及結算資料，這些資料是完全相同地儲存到每一個節點中的。

分散式儲存系統的關鍵技術

元資料管理

在大資料環境下，元資料的體量也非常大，元資料的存取效能是整個分散式檔案系統性能的關鍵。常見的元資料管理可以分為集中式和分散式元資料管理架構。集中式元資料管理架構採用單一的元資料伺服器，實現簡單．但是存在單點故障等問題。分散式元資料管理架構則將元資料分散在多個結點上．進而解決了元資料伺服器的效能瓶頸等問題．並提高了元資料管理架構的可擴充套件性，但實現較為複雜，並引入了元資料一致性的問題。另外，還有一種無元資料伺服器的分散式架構，透過線上演算法組織資料，不需要專用的元資料伺服器。但是該架構對資料一致性的保障很困難．實現較為複雜。檔案目錄遍歷操作效率低下，並且缺乏檔案系統全域性監控管理功能。

系統彈性擴充套件技術

在大資料環境下，資料規模和複雜度的增加往往非常迅速，對系統的擴充套件效能要求較高。實現儲存系統的高可擴充套件性首先要解決兩個方面的重要問題，包含元資料的分配和資料的透明遷移。元資料的分配主要透過靜態子樹劃分技術實現，後者則側重資料遷移演算法的最佳化。此外，大資料儲存體系規模龐大．結點失效率高，因此還需要完成一定的自適應管理功能。系統必須能夠根據資料量和計算的工作量估算所需要的結點個數，並動態地將資料在結點間遷移。以實現負載均衡；同時．結點失效時，資料必須可以透過副本等機制進行恢復，不能對上層應用產生影響。

儲存層級內的最佳化技術

構建儲存系統時．需要基於成本和效能來考慮，因此儲存系統通常採用多層不同價效比的儲存器件組成儲存層次結構。大資料的規模大，因此構建高效合理的儲存層次結構，可以在保證系統性能的前提下，降低系統能耗和構建成本，利用資料訪問區域性性原理．可以從兩個方面對儲存層次結構進行最佳化。從提高效能的角度，可以透過分析應用特徵，識別熱點資料並對其進行快取或預取，透過高效的快取預取演算法和合理的快取容量配比，以提高訪問效能。從降低成本的角度，採用資訊生命週期管理方法，將訪問頻率低的冷資料遷移到低速廉價儲存裝置上，可以在小幅犧牲系統整體效能的基礎上，大幅降低系統的構建成本和能耗。

針對應用和負載的儲存最佳化技術

傳統資料儲存模型需要支援儘可能多的應用，因此需要具備較好的通用性。大資料具有大規模、高動態及快速處理等特性，通用的資料儲存模型通常並不是最能提高應用效能的模型．而大資料儲存系統對上層應用效能的關注遠遠超過對通用性的追求。針對應用和負載來最佳化儲存，就是將資料儲存與應用耦合。簡化或擴充套件分散式檔案系統的功能，根據特定應用、特定負載、特定的計算模型對檔案系統進行定製和深度最佳化，使應用達到最佳效能。這類最佳化技術在谷歌、Facebook等網際網路公司的內部儲存系統上，管理超過千萬億位元組級別的大資料，能夠達到非常高的效能。

分散式儲存系統的難點

一致性

分散式儲存系統需要使用多臺伺服器共同儲存資料，而隨著伺服器數量的增加，伺服器出現故障的機率也在不斷增加。為了保證在有伺服器出現故障的情況下系統仍然可用。一般做法是把一個數據分成多份儲存在不同的伺服器中。但是由於故障和並行儲存等情況的存在，同一個資料的多個副本之間可能存在不一致的情況。這裡稱保證多個副本的資料完全一致的性質為一致性。

可用性

分散式儲存系統需要多臺伺服器同時工作。當伺服器數量增多時，其中的一些伺服器出現故障是在所難免的。我們希望這樣的情況不會對整個系統造成太大的影響。在系統中的一部分節點出現故障之後，系統的整體不影響客服端的讀/寫請求稱為可用性。

分割槽容錯性

分散式儲存系統中的多臺伺服器透過網路進行連線。但是我們無法保證網路是一直通暢的，分散式系統需要具有一定的容錯性來處理網路故障帶來的問題。一個令人滿意的情況是，當一個網路因為故障而分解為多個部分的時候，分散式儲存系統仍然能夠工作。

分散式儲存的未來展望

儲存技術發展日新月異，五年後或十年後，分散式儲存到底會是一個什麼樣子？這裡不妨大膽展望一下。

1、超高Scale-Out擴充套件能力：單一EB級儲存系統，支援萬級叢集規模，可全球範圍內全域性部署；

2、 CompuStor超融合：類似Nutanix架構，計算、儲存，甚至應用高度融合；

3、 快閃記憶體技術應用：從主存、Cache到Tier分層，快閃記憶體無處不在；

4、 高速網路互連：四/十萬兆乙太網和Infiniband網路得到普及；

5、 應用感知：I/O更加智慧，效能和效率動態自適應和最佳化；

6、糾錯碼技術：基於糾錯碼提供可用性，複製技術作為輔助；

7、 Online消重/壓縮：成為系統標準配置，提高儲存效率；

8、 統一儲存：池化儲存，同時支援物件、塊和檔案儲存。