基于分散節(jié)點的異構分布式存儲系統(tǒng)容量和帶寬平衡研究
發(fā)布時間:2024-05-16 20:43
在大數據時代,隨著互聯(lián)網應用技術的高速發(fā)展,信息被海量產生、傳輸、處理和存儲,并成指數級增長的態(tài)勢。為了滿足海量數據的存儲需求,分布式存儲系統(tǒng)由于其成本低、擴展性強、訪問速度高、可靠性高、支持更高的并發(fā)訪問量等特點得到了廣泛的研究與應用,其中,數據被分布式地存儲在通過網絡連接的多個服務器節(jié)點上。隨著系統(tǒng)規(guī)模的增大和節(jié)點個數的增多,系統(tǒng)節(jié)點發(fā)生故障的情況大大增加。為了保證存儲的數據不因為部分節(jié)點的失效而丟失,糾刪碼被廣泛地應用于分布式存儲系統(tǒng)中,如微軟的Azure、谷歌的GFS和淘寶的TFS等。傳統(tǒng)的糾刪碼(如Reed-Solomon碼)能夠在保證較高數據可靠性的情況下大大減少存儲數據冗余,但在修復損壞節(jié)點時需要使用大量的網絡帶寬。為了平衡數據存儲和修復帶寬之間的折中關系,Dimakis等人使用信息流圖對分布式存儲系統(tǒng)建模,接著利用網絡編碼的方法定義了系統(tǒng)容量,分析刻畫了節(jié)點存儲與修復帶寬的折中界,并根據折中界提出了最小存儲再生(Minimum Storage Regenerating,MSR)碼和最小帶寬再生(Minimum Bandwidth Regenerating,MBR)碼的構...
【文章頁數】:146 頁
【學位級別】:博士
【文章目錄】:
摘要
abstract
主要符號對照表
主要縮略語對照表
第一章 緒論
1.1 大數據與分布式存儲
1.2 分布式存儲系統(tǒng)中糾刪碼研究現(xiàn)狀
1.3 異構分布式存儲系統(tǒng)研究現(xiàn)狀
1.4 研究內容及本文架構
第二章 預備知識與模型分析
2.1 集群散點分布式存儲系統(tǒng)模型
2.2 信息流圖
2.3 研究問題刻畫
2.4 信息流圖最小割相關定義與分析
2.4.1 拓撲排序
2.4.2 S與 DC間的最小割
2.4.3 修復序列與被選節(jié)點
2.4.4 被選節(jié)點分布與集群序列
2.4.5 信息流圖S和 DC間最小割計算
2.5 本章小結
第三章 集群分布式存儲系統(tǒng)研究
3.1 垂直序列算法
3.2 水平選擇算法
3.3 集群分布式存儲系統(tǒng)的節(jié)點存儲與修復帶寬折中界
3.4 折中界數值分析與再生碼構造實例
3.5 本章小節(jié)
第四章 單散點集群分布式存儲系統(tǒng)研究
4.1 給定單被選散點位置的垂直序列算法與水平選擇算法
4.2 單散點集群分布式存儲系統(tǒng)容量分析
4.3 單散點集群分布式存儲系統(tǒng)的節(jié)點存儲與修復帶寬折中界
4.4 單散點集群分布式存儲系統(tǒng)折中界對比與數值分析
4.5 單散點集群分布式存儲系統(tǒng)容量與βS取值分析
4.6 單散點集群分布式存儲系統(tǒng)再生碼構造實例
4.7 本章小結
第五章 多散點集群分布式存儲系統(tǒng)研究
5.1 多散點垂直序列算法與水平選擇算法
5.2 多散點集群分布式存儲系統(tǒng)容量
5.3 多散點集群分布式存儲系統(tǒng)存儲與修復帶寬折中界分析
5.4 多散點集群分布式存儲系統(tǒng)再生碼構造分析
5.5 本章小結
全文總結
附錄A 折中界繪制算法代碼
參考文獻
致謝
攻讀學位期間發(fā)表的學術論文
攻讀學位期間參與的項目
本文編號:3974883
【文章頁數】:146 頁
【學位級別】:博士
【文章目錄】:
摘要
abstract
主要符號對照表
主要縮略語對照表
第一章 緒論
1.1 大數據與分布式存儲
1.2 分布式存儲系統(tǒng)中糾刪碼研究現(xiàn)狀
1.3 異構分布式存儲系統(tǒng)研究現(xiàn)狀
1.4 研究內容及本文架構
第二章 預備知識與模型分析
2.1 集群散點分布式存儲系統(tǒng)模型
2.2 信息流圖
2.3 研究問題刻畫
2.4 信息流圖最小割相關定義與分析
2.4.1 拓撲排序
2.4.2 S與 DC間的最小割
2.4.3 修復序列與被選節(jié)點
2.4.4 被選節(jié)點分布與集群序列
2.4.5 信息流圖S和 DC間最小割計算
2.5 本章小結
第三章 集群分布式存儲系統(tǒng)研究
3.1 垂直序列算法
3.2 水平選擇算法
3.3 集群分布式存儲系統(tǒng)的節(jié)點存儲與修復帶寬折中界
3.4 折中界數值分析與再生碼構造實例
3.5 本章小節(jié)
第四章 單散點集群分布式存儲系統(tǒng)研究
4.1 給定單被選散點位置的垂直序列算法與水平選擇算法
4.2 單散點集群分布式存儲系統(tǒng)容量分析
4.3 單散點集群分布式存儲系統(tǒng)的節(jié)點存儲與修復帶寬折中界
4.4 單散點集群分布式存儲系統(tǒng)折中界對比與數值分析
4.5 單散點集群分布式存儲系統(tǒng)容量與βS取值分析
4.6 單散點集群分布式存儲系統(tǒng)再生碼構造實例
4.7 本章小結
第五章 多散點集群分布式存儲系統(tǒng)研究
5.1 多散點垂直序列算法與水平選擇算法
5.2 多散點集群分布式存儲系統(tǒng)容量
5.3 多散點集群分布式存儲系統(tǒng)存儲與修復帶寬折中界分析
5.4 多散點集群分布式存儲系統(tǒng)再生碼構造分析
5.5 本章小結
全文總結
附錄A 折中界繪制算法代碼
參考文獻
致謝
攻讀學位期間發(fā)表的學術論文
攻讀學位期間參與的項目
本文編號:3974883
本文鏈接:http://www.wukwdryxk.cn/shoufeilunwen/xxkjbs/3974883.html