異構平臺下基于HDFS的數(shù)據(jù)動態(tài)分配策略研究
發(fā)布時間：2021-01-05 13:58
隨著信息化社會的快速發(fā)展,互聯(lián)網(wǎng)中的數(shù)據(jù)量急速增長。由于傳統(tǒng)存儲模式難以突破其存儲限制,分布式存儲系統(tǒng)便越來越受歡迎,其中HDFS（Hadoop Distributed File System）是目前應用比較廣泛的一個分布式文件存儲系統(tǒng)。隨著先進存儲設備的發(fā)展,具有高讀寫性能的SSD和普通磁盤等異構設備作為目前主流的存儲介質,已被廣泛應用于HDFS系統(tǒng)中。HDFS有效解決了大數(shù)據(jù)處理面臨的海量數(shù)據(jù)存儲問題,并通過提供不同的數(shù)據(jù)存儲策略和相應的存儲接口來對冷熱度不同的數(shù)據(jù)進行存放,這樣開發(fā)人員就可以利用這些接口實現(xiàn)對數(shù)據(jù)的分類存儲。然而,如何精確地對HDFS系統(tǒng)中的冷數(shù)據(jù)和熱數(shù)據(jù)進行分配成為當前最為關鍵的問題。經(jīng)過研究與分析發(fā)現(xiàn),在對HDFS系統(tǒng)中數(shù)據(jù)進行分配時,現(xiàn)階段通常采用的分配算法是首先為所有數(shù)據(jù)統(tǒng)一分配存儲策略,然后根據(jù)數(shù)據(jù)的訪問頻率去動態(tài)調整其存儲策略,從而實現(xiàn)對冷熱數(shù)據(jù)的分配。但是采用傳統(tǒng)算法對HDFS系統(tǒng)中的數(shù)據(jù)進行分配時,存在以卜問題:一方面,一些冷數(shù)據(jù)可能被存儲在SSD上,導致系統(tǒng)中SSD的命中率不高,無法充分發(fā)揮SSD作用,造成SSD硬件資源的浪費,影響HDFS的性能...
【文章來源】：北方工業(yè)大學北京市
【文章頁數(shù)】：61 頁
【學位級別】：碩士
【部分圖文】：
圖２－１?ＨＤＦＳ體系結構示意圖??在ＨＤＦＳ中，對義件的基本訪問過程是：??１．川戶的應川程序通過ＨＤＦＳ?Ｃｌｉｅｎｔ程序將耍訪問的文件名發(fā)送至??
２．２．２客戶端寫入數(shù)據(jù)過程??當客戶端寫入一個ＨＤＦＳ文件時，Ｎａｍｅｎｏｄｅ和Ｄａｔａｎｏｄｅ也都會參與到整個??交互過程中，如圖２－４所示。??和讀取數(shù)據(jù)相比，寫入數(shù)據(jù)過程比較復雜，主要過程如下。??１?？首先，客戶端會調用ＤｉｓｔｒｉｂｕｔｅｄＦｉｌｅＳｙｓｔｅｍ類的ｃｒｅａｔｅ（）方法在ＨＤＦＳ文??件系統(tǒng)中創(chuàng)建一個新的空文件，該類經(jīng)過一系列的底層調用后，會返回??一個ＤＦＳＯｕｔｐｕｔＳｔｒｅａｍ數(shù)據(jù)流給客戶端，即真正進行數(shù)據(jù)塊寫入操作??的是?ＤＦＳＯｕｔｐｕｔＳｔｒｅａｍ?對象。??２．
第三章ＨＤＦＳ數(shù)據(jù)動態(tài)分配策略的設計與實現(xiàn)??ＢＰ調整文件熱度值的處理流程如圖３－３所示。算法１描述了?ＢＰ的具體實??現(xiàn)。??輸入層丨ｎｐｕｔ?隱藏層丨丨ｉｄｄｃｎ?輸出層Ｏｕｔｐｕｔ??ａｃｃｅｓｓｅｓ??ｔｙｐｅ?／?＇Ｖ?Ｖ＇．－＇Ｖ＇７?Ｈｏ（Ｖａｌｕｃ（ｃｕｒｒｅｎｔ）??一??ｓｕｍｔｖｐｅ?／／／??圖３－３?ＢＰ調整流程圖??／ｉｆ算法１中，第１－２行描述了整個ＢＰ祌經(jīng)網(wǎng)絡的“輸入”和“輸出”�！拜�??入”是前而提到的五個因素，把它們表示為－個五元組??〈ａｃｃｅｓｓｅｓ，ａｃｃｅｓｓｅｓ／ｓｉｚｅ，ｔｙｐｅ，ｓｕｍｔｙｐｅ，ｓｕｍｔｙｐｅ／ｓｉｚｅ＞；?“輸出”是被訪問文件的當前??熱度值。??第３－９行設置了?ＢＰ神經(jīng)網(wǎng)絡的－些參數(shù)：因為“輸入”是一個五元組和“輸??丨丨ｒ只冇．個元素，所以設置輸入節(jié)點數(shù)＝５，隱藏層節(jié)點數(shù)＝４，輸出層節(jié)點數(shù)＝１，??學習半＞０．?５。參數(shù)Ｗｉｊ表示隱藏層中．元ｊ到輸入層單元ｉ?（或輸出層單元ｊ到隱藏??層單元ｉ）的連接權重。該算法設置激活函數(shù)為Ｓｉｇｍｏｉｄ函數(shù)，并設置了?一個目??標函數(shù)Ｆ（０〇用Ｔ？汁算被訪問義件的期望熱度位。在ＢＰ中，使川真實的文件訪??問次數(shù)來計算文件的當前熱度值。例如：在規(guī)定一個特定的時間段，收集在該時??間段內訪問最頻繁和訪問敁＋頻繁的文件
【參考文獻】：
期刊論文
[1]HDFS異構集群中的分級存儲調度機制[J]. 楊冬菊,李青,鄧崇彬. 小型微型計算機系統(tǒng). 2017(01)
[2]HDFS下海量小文件高效存儲與索引方法[J]. 肖玉澤,張利軍,潘巍,張小芳,李戰(zhàn)懷. 小型微型計算機系統(tǒng). 2015(10)
[3]HDFS中高效存儲小文件的方法[J]. 尹穎,林慶,林涵陽. 計算機工程與設計. 2015(02)
[4]云計算環(huán)境下的分布存儲關鍵技術[J]. 王意潔,孫偉東,周松,裴曉強,李小勇. 軟件學報. 2012(04)
[5]基于trace的網(wǎng)絡存儲系統(tǒng)評測研究[J]. 趙曉南,李戰(zhàn)懷,張曉,曾雷杰. 計算機科學. 2010(02)
碩士論文
[1]面向HDFS的訪問控制與小文件存儲策略的研究與實現(xiàn)[D]. 李蒙.哈爾濱工業(yè)大學 2017
[2]基于HDFS的云存儲系統(tǒng)的實現(xiàn)與優(yōu)化[D]. 鄒振宇.中國科學技術大學 2016
[3]基于HDFS的分布式存儲系統(tǒng)的研究與實現(xiàn)[D]. 崔園.電子科技大學 2016
[4]HDFS分布式文件系統(tǒng)存儲策略研究[D]. 周小玉.電子科技大學 2015
[5]基于HDFS的分布式文件系統(tǒng)存儲研究與優(yōu)化[D]. 黎斌.電子科技大學 2015
本文編號：2958794
【文章來源】：北方工業(yè)大學北京市
【文章頁數(shù)】：61 頁
【學位級別】：碩士
【部分圖文】：
圖２－１?ＨＤＦＳ體系結構示意圖??在ＨＤＦＳ中，對義件的基本訪問過程是：??１．川戶的應川程序通過ＨＤＦＳ?Ｃｌｉｅｎｔ程序將耍訪問的文件名發(fā)送至??
２．２．２客戶端寫入數(shù)據(jù)過程??當客戶端寫入一個ＨＤＦＳ文件時，Ｎａｍｅｎｏｄｅ和Ｄａｔａｎｏｄｅ也都會參與到整個??交互過程中，如圖２－４所示。??和讀取數(shù)據(jù)相比，寫入數(shù)據(jù)過程比較復雜，主要過程如下。??１?？首先，客戶端會調用ＤｉｓｔｒｉｂｕｔｅｄＦｉｌｅＳｙｓｔｅｍ類的ｃｒｅａｔｅ（）方法在ＨＤＦＳ文??件系統(tǒng)中創(chuàng)建一個新的空文件，該類經(jīng)過一系列的底層調用后，會返回??一個ＤＦＳＯｕｔｐｕｔＳｔｒｅａｍ數(shù)據(jù)流給客戶端，即真正進行數(shù)據(jù)塊寫入操作??的是?ＤＦＳＯｕｔｐｕｔＳｔｒｅａｍ?對象。??２．
第三章ＨＤＦＳ數(shù)據(jù)動態(tài)分配策略的設計與實現(xiàn)??ＢＰ調整文件熱度值的處理流程如圖３－３所示。算法１描述了?ＢＰ的具體實??現(xiàn)。??輸入層丨ｎｐｕｔ?隱藏層丨丨ｉｄｄｃｎ?輸出層Ｏｕｔｐｕｔ??ａｃｃｅｓｓｅｓ??ｔｙｐｅ?／?＇Ｖ?Ｖ＇．－＇Ｖ＇７?Ｈｏ（Ｖａｌｕｃ（ｃｕｒｒｅｎｔ）??一??ｓｕｍｔｖｐｅ?／／／??圖３－３?ＢＰ調整流程圖??／ｉｆ算法１中，第１－２行描述了整個ＢＰ祌經(jīng)網(wǎng)絡的“輸入”和“輸出”�！拜�??入”是前而提到的五個因素，把它們表示為－個五元組??〈ａｃｃｅｓｓｅｓ，ａｃｃｅｓｓｅｓ／ｓｉｚｅ，ｔｙｐｅ，ｓｕｍｔｙｐｅ，ｓｕｍｔｙｐｅ／ｓｉｚｅ＞；?“輸出”是被訪問文件的當前??熱度值。??第３－９行設置了?ＢＰ神經(jīng)網(wǎng)絡的－些參數(shù)：因為“輸入”是一個五元組和“輸??丨丨ｒ只冇．個元素，所以設置輸入節(jié)點數(shù)＝５，隱藏層節(jié)點數(shù)＝４，輸出層節(jié)點數(shù)＝１，??學習半＞０．?５。參數(shù)Ｗｉｊ表示隱藏層中．元ｊ到輸入層單元ｉ?（或輸出層單元ｊ到隱藏??層單元ｉ）的連接權重。該算法設置激活函數(shù)為Ｓｉｇｍｏｉｄ函數(shù)，并設置了?一個目??標函數(shù)Ｆ（０〇用Ｔ？汁算被訪問義件的期望熱度位。在ＢＰ中，使川真實的文件訪??問次數(shù)來計算文件的當前熱度值。例如：在規(guī)定一個特定的時間段，收集在該時??間段內訪問最頻繁和訪問敁＋頻繁的文件
【參考文獻】：
期刊論文
[1]HDFS異構集群中的分級存儲調度機制[J]. 楊冬菊,李青,鄧崇彬. 小型微型計算機系統(tǒng). 2017(01)
[2]HDFS下海量小文件高效存儲與索引方法[J]. 肖玉澤,張利軍,潘巍,張小芳,李戰(zhàn)懷. 小型微型計算機系統(tǒng). 2015(10)
[3]HDFS中高效存儲小文件的方法[J]. 尹穎,林慶,林涵陽. 計算機工程與設計. 2015(02)
[4]云計算環(huán)境下的分布存儲關鍵技術[J]. 王意潔,孫偉東,周松,裴曉強,李小勇. 軟件學報. 2012(04)
[5]基于trace的網(wǎng)絡存儲系統(tǒng)評測研究[J]. 趙曉南,李戰(zhàn)懷,張曉,曾雷杰. 計算機科學. 2010(02)
碩士論文
[1]面向HDFS的訪問控制與小文件存儲策略的研究與實現(xiàn)[D]. 李蒙.哈爾濱工業(yè)大學 2017
[2]基于HDFS的云存儲系統(tǒng)的實現(xiàn)與優(yōu)化[D]. 鄒振宇.中國科學技術大學 2016
[3]基于HDFS的分布式存儲系統(tǒng)的研究與實現(xiàn)[D]. 崔園.電子科技大學 2016
[4]HDFS分布式文件系統(tǒng)存儲策略研究[D]. 周小玉.電子科技大學 2015
[5]基于HDFS的分布式文件系統(tǒng)存儲研究與優(yōu)化[D]. 黎斌.電子科技大學 2015
本文編號：2958794
本文鏈接：http://www.wukwdryxk.cn/kejilunwen/jisuanjikexuelunwen/2958794.html
最近更新
教材專著
