發(fā)布時(shí)間：2020-12-11 09:45

　　分級存儲(chǔ)系統(tǒng)通常根據(jù)訪問頻率將數(shù)據(jù)分層:將訪問頻率最高的數(shù)據(jù)放在快速存儲(chǔ)設(shè)備中(熱數(shù)據(jù)層),將訪問頻率最低的數(shù)據(jù)存儲(chǔ)在慢速存儲(chǔ)設(shè)備中(冷數(shù)據(jù)層),將訪問頻率介于兩者之間的數(shù)據(jù)放在中速存儲(chǔ)設(shè)備中(溫?cái)?shù)據(jù)層)。分布式文件系統(tǒng)通常使用多副本技術(shù)來保證系統(tǒng)的可靠性和可用性,比如在集群的不同節(jié)點(diǎn)上保存數(shù)據(jù)的三個(gè)副本,多副本技術(shù)通常在熱數(shù)據(jù)層被使用。類似于Reed Solomon的糾刪碼技術(shù)(Erasure Code)正越來越多被使用,因?yàn)榧m刪碼技術(shù)能夠進(jìn)一步地減小存儲(chǔ)開銷,但是其提供了較低性能的I/O和可用性。所以糾刪碼技術(shù)被更多地用來存儲(chǔ)冷數(shù)據(jù)(比如冷存儲(chǔ)層)。現(xiàn)有系統(tǒng)使用三副本復(fù)制,糾刪碼技術(shù)或?qū)�兩者融合合來�?shí)現(xiàn)異構(gòu)存儲(chǔ)系統(tǒng)。在這些實(shí)現(xiàn)中,多副本技術(shù)和糾刪碼技術(shù)的融合表明:兩種技術(shù)在I/O性能和存儲(chǔ)成本方面存在著巨大差距,這導(dǎo)致將數(shù)據(jù)從一種形式遷移到另一種形式將產(chǎn)大巨大的系統(tǒng)開銷。因此,現(xiàn)有的方法不適用于溫?cái)?shù)據(jù)層實(shí)現(xiàn),特別是在分層存儲(chǔ)系統(tǒng)中。為了解決這個(gè)問題,在本文中我們引入了Warm Cache,一種用于存儲(chǔ)溫?cái)?shù)據(jù)的新數(shù)據(jù)層:將一個(gè)副本通過糾刪碼技術(shù)存儲(chǔ),另一個(gè)副本則存儲(chǔ)在主存儲(chǔ)數(shù)據(jù)層中。... 

【文章來源】：上海交通大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：67 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
Symbols definition
Chapter 1 Introduction
    1.1 Research Background
    1.2 Value of our research
    1.3 Research goal
    1.4 Organization
Chapter 2 Related work
    2.1 Replication
    2.2 Erasure coding
    2.3 Comprehensive solutions by combining replication and ECs
    2.4 Caching in DFS
    2.5 Prefetching and cache warm-up
    2.6 Motivation of our idea
Chapter 3 Design of Warm Cache
    3.1 Key Idea
    3.2 Identify data temperature and data layer threshold
    3.3 Data allocation and burst algorithm
    3.4 Warm data layer fault recovery
    3.5 Scalability
    3.6 Read and write operations
    3.7 Burst scenario analysis
Chapter 4 Evaluation
    4.1 Methodology
    4.2 Setup
    4.3 Defining parameters
    4.4 Experimental results
    4.5 Analysis
    4.6 Conclusion
Summary
REFERENCES
Acknowledgement
Academic papers published during degree study



本文編號：2910318