a国产,中文字幕久久波多野结衣AV,欧美粗大猛烈老熟妇,女人av天堂

當前位置:主頁 > 科技論文 > 計算機論文 >

異構平臺下基于HDFS的數(shù)據(jù)動態(tài)分配策略研究

發(fā)布時間:2021-01-05 13:58
  隨著信息化社會的快速發(fā)展,互聯(lián)網(wǎng)中的數(shù)據(jù)量急速增長。由于傳統(tǒng)存儲模式難以突破其存儲限制,分布式存儲系統(tǒng)便越來越受歡迎,其中HDFS(Hadoop Distributed File System)是目前應用比較廣泛的一個分布式文件存儲系統(tǒng)。隨著先進存儲設備的發(fā)展,具有高讀寫性能的SSD和普通磁盤等異構設備作為目前主流的存儲介質,已被廣泛應用于HDFS系統(tǒng)中。HDFS有效解決了大數(shù)據(jù)處理面臨的海量數(shù)據(jù)存儲問題,并通過提供不同的數(shù)據(jù)存儲策略和相應的存儲接口來對冷熱度不同的數(shù)據(jù)進行存放,這樣開發(fā)人員就可以利用這些接口實現(xiàn)對數(shù)據(jù)的分類存儲。然而,如何精確地對HDFS系統(tǒng)中的冷數(shù)據(jù)和熱數(shù)據(jù)進行分配成為當前最為關鍵的問題。經(jīng)過研究與分析發(fā)現(xiàn),在對HDFS系統(tǒng)中數(shù)據(jù)進行分配時,現(xiàn)階段通常采用的分配算法是首先為所有數(shù)據(jù)統(tǒng)一分配存儲策略,然后根據(jù)數(shù)據(jù)的訪問頻率去動態(tài)調整其存儲策略,從而實現(xiàn)對冷熱數(shù)據(jù)的分配。但是采用傳統(tǒng)算法對HDFS系統(tǒng)中的數(shù)據(jù)進行分配時,存在以卜問題:一方面,一些冷數(shù)據(jù)可能被存儲在SSD上,導致系統(tǒng)中SSD的命中率不高,無法充分發(fā)揮SSD作用,造成SSD硬件資源的浪費,影響HDFS的性能... 

【文章來源】:北方工業(yè)大學北京市

【文章頁數(shù)】:61 頁

【學位級別】:碩士

【部分圖文】:

異構平臺下基于HDFS的數(shù)據(jù)動態(tài)分配策略研究


圖2-1?HDFS體系結構示意圖??在HDFS中,對義件的基本訪問過程是:??1.川戶的應川程序通過HDFS?Client程序將耍訪問的文件名發(fā)送至??

流程圖,數(shù)據(jù)節(jié)點,名字,交互過程


2.2.2客戶端寫入數(shù)據(jù)過程??當客戶端寫入一個HDFS文件時,Namenode和Datanode也都會參與到整個??交互過程中,如圖2-4所示。??和讀取數(shù)據(jù)相比,寫入數(shù)據(jù)過程比較復雜,主要過程如下。??1??首先,客戶端會調用DistributedFileSystem類的create()方法在HDFS文??件系統(tǒng)中創(chuàng)建一個新的空文件,該類經(jīng)過一系列的底層調用后,會返回??一個DFSOutputStream數(shù)據(jù)流給客戶端,即真正進行數(shù)據(jù)塊寫入操作??的是?DFSOutputStream?對象。??2.

流程圖,“輸入”,算法,流程圖


第三章HDFS數(shù)據(jù)動態(tài)分配策略的設計與實現(xiàn)??BP調整文件熱度值的處理流程如圖3-3所示。算法1描述了?BP的具體實??現(xiàn)。??輸入層丨nput?隱藏層丨丨iddcn?輸出層Output??accesses??type?/?'V?V'.-'V'7?Ho(Valuc(current)??一??sumtvpe?///??圖3-3?BP調整流程圖??/if算法1中,第1-2行描述了整個BP祌經(jīng)網(wǎng)絡的“輸入”和“輸出”!拜??入”是前而提到的五個因素,把它們表示為-個五元組??〈accesses,accesses/size,type,sumtype,sumtype/size>;?“輸出”是被訪問文件的當前??熱度值。??第3-9行設置了?BP神經(jīng)網(wǎng)絡的-些參數(shù):因為“輸入”是一個五元組和“輸??丨丨r只冇.個元素,所以設置輸入節(jié)點數(shù)=5,隱藏層節(jié)點數(shù)=4,輸出層節(jié)點數(shù)=1,??學習半>0.?5。參數(shù)Wij表示隱藏層中.元j到輸入層單元i?(或輸出層單元j到隱藏??層單元i)的連接權重。該算法設置激活函數(shù)為Sigmoid函數(shù),并設置了?一個目??標函數(shù)F(0〇用T?汁算被訪問義件的期望熱度位。在BP中,使川真實的文件訪??問次數(shù)來計算文件的當前熱度值。例如:在規(guī)定一個特定的時間段,收集在該時??間段內訪問最頻繁和訪問敁+頻繁的文件

【參考文獻】:
期刊論文
[1]HDFS異構集群中的分級存儲調度機制[J]. 楊冬菊,李青,鄧崇彬.  小型微型計算機系統(tǒng). 2017(01)
[2]HDFS下海量小文件高效存儲與索引方法[J]. 肖玉澤,張利軍,潘巍,張小芳,李戰(zhàn)懷.  小型微型計算機系統(tǒng). 2015(10)
[3]HDFS中高效存儲小文件的方法[J]. 尹穎,林慶,林涵陽.  計算機工程與設計. 2015(02)
[4]云計算環(huán)境下的分布存儲關鍵技術[J]. 王意潔,孫偉東,周松,裴曉強,李小勇.  軟件學報. 2012(04)
[5]基于trace的網(wǎng)絡存儲系統(tǒng)評測研究[J]. 趙曉南,李戰(zhàn)懷,張曉,曾雷杰.  計算機科學. 2010(02)

碩士論文
[1]面向HDFS的訪問控制與小文件存儲策略的研究與實現(xiàn)[D]. 李蒙.哈爾濱工業(yè)大學 2017
[2]基于HDFS的云存儲系統(tǒng)的實現(xiàn)與優(yōu)化[D]. 鄒振宇.中國科學技術大學 2016
[3]基于HDFS的分布式存儲系統(tǒng)的研究與實現(xiàn)[D]. 崔園.電子科技大學 2016
[4]HDFS分布式文件系統(tǒng)存儲策略研究[D]. 周小玉.電子科技大學 2015
[5]基于HDFS的分布式文件系統(tǒng)存儲研究與優(yōu)化[D]. 黎斌.電子科技大學 2015



本文編號:2958794

資料下載
論文發(fā)表

本文鏈接:http://www.wukwdryxk.cn/kejilunwen/jisuanjikexuelunwen/2958794.html


Copyright(c)文論論文網(wǎng)All Rights Reserved | 網(wǎng)站地圖 |

版權申明:資料由用戶a9d75***提供,本站僅收錄摘要或目錄,作者需要刪除請E-mail郵箱bigeng88@qq.com
久久久久久久人妻无码中文字幕爆| 亚洲视频在线观看| 欧美人与动性xxxxx杂性| 久久夜色精品国产噜噜噜亚洲av| 三年片最新电影免费观看 | 中文字幕无码一区二区免费| 妺妺窝人体色WWW视频| 欧美日韩精品一区二区视频| 新河县| 山阳县| 甘德县| 绵竹市| 土默特右旗| 房山区| 亚洲熟妇另类久久久久久| 靖江市| 久久久久亚洲AV无码尤物 | 欧美综合网站| 国产一二区视频| 黄色高清网站| 55电影网| 日韩一级在线| 夜夜看人久看2022| 老色鬼网站| 97香蕉碰碰人妻国产欧美| 亚洲十八禁| av一道本| 国产美女一区二区三区| www.xxoo色黄av| 变态另类| 国产内射| 91精品国产日韩91久久久久久| 97人妻人人揉人人澡人人学生| 中卫市| 女狠狠噜天天噜日日噜| 无码熟妇人妻AV在线影片最多| 色一乱一伦一图一区二区精品| 又长又大又粗又硬3p免费视频| 久久97超碰人人澡人人爱| 91老熟女老女人国产老太毛多| 在线v|