發(fā)布時(shí)間：2018-07-20 18:48

【摘要】：為了預(yù)測(cè)云計(jì)算環(huán)境下的作業(yè)資源與時(shí)間消耗,根據(jù)MapReduce的資源消耗模式,量化了MapReduce作業(yè)的資源使用,提出了一種預(yù)估Hadoop的MapReduce作業(yè)的中央處理器(CPU)利用率和運(yùn)行時(shí)間的模型.使用多項(xiàng)式回歸的方法,可以在云計(jì)算環(huán)境下,對(duì)不同配置的MapReduce作業(yè)的CPU利用率和運(yùn)行時(shí)間作出預(yù)判.使用不同配置條件下CPU密集型的Hadoop基準(zhǔn)測(cè)試驗(yàn)證了該模型的有效性,最后使用誤差平方和、平均絕對(duì)百分誤差、標(biāo)準(zhǔn)差和確定系數(shù)4種評(píng)估方法計(jì)算了模型預(yù)測(cè)的精準(zhǔn)度.
[Abstract]:In order to predict the resource and time consumption of jobs in cloud computing environment, according to the resource consumption mode of MapReduce, this paper quantifies the resource usage of MapReduce jobs, and proposes a model for estimating CPU utilization and running time of MapReduce jobs in Hadoop. Using polynomial regression method, the CPU utilization and running time of MapReduce jobs with different configurations can be forecasted in cloud computing environment. The validity of the model is verified by using CPU-intensive Hadoop benchmark under different configuration conditions. Finally, the accuracy of the model prediction is calculated by using four evaluation methods: the sum of square error, the average absolute percent error, the standard deviation and the determinate coefficient.
【作者單位】： 北京郵電大學(xué)信息與通信工程學(xué)院;
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(61072061) 國(guó)家科技重大專項(xiàng)項(xiàng)目(2012ZX03002008) 高等學(xué)校學(xué)科創(chuàng)新引智計(jì)劃項(xiàng)目(B08004) 中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金項(xiàng)目(2011RC0117)
【分類號(hào)】：TP338.6

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺(tái)關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

2 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

3 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報(bào);2013年03期

4 周國(guó)亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺(tái)下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

5 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計(jì)算與數(shù)據(jù)的協(xié)作機(jī)制[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

6 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

7 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學(xué)學(xué)報(bào);2014年01期

8 丁玉成;諸葛晴鳳;沙行勉;;云計(jì)算環(huán)境下排序算法的性能分析[J];重慶大學(xué)學(xué)報(bào);2014年04期

9 劉瓊;趙榮;孫立堅(jiān);;Map/Reduce框架下的粗糙集空間數(shù)據(jù)挖掘改進(jìn)算法[J];測(cè)繪科學(xué);2014年05期

10 孟令璽;李洪亮;;基于CA-PSO算法的云計(jì)算資源調(diào)度策略[J];計(jì)算機(jī)仿真;2013年10期

相關(guān)博士學(xué)位論文 前10條

1 李健;云計(jì)算環(huán)境下最小化運(yùn)營(yíng)開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

2 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

3 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

4 李韌;基于Hadoop的大規(guī)模語(yǔ)義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

5 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計(jì)算關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

6 孫鵬;動(dòng)車組維修物聯(lián)網(wǎng)及其關(guān)鍵技術(shù)研究[D];中國(guó)鐵道科學(xué)研究院;2013年

7 肖奎;維基百科大數(shù)據(jù)的知識(shí)挖掘與管理方法研究[D];武漢大學(xué);2013年

8 程興國(guó);仿生算法的動(dòng)態(tài)反饋機(jī)制及其并行化實(shí)現(xiàn)方法研究[D];華南理工大學(xué);2013年

9 馬馮;數(shù)據(jù)密集型計(jì)算環(huán)境下貝葉斯網(wǎng)的學(xué)習(xí)、推理及應(yīng)用[D];云南大學(xué);2013年

10 韓海雯;MapReduce計(jì)算任務(wù)調(diào)度的資源配置優(yōu)化研究[D];華南理工大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 楊婷;基于MapReduce的好友推薦系統(tǒng)的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

2 李延光;基于Hadoop的海量工程數(shù)據(jù)處理技術(shù)研究[D];北京交通大學(xué);2013年

3 陳貞;HDFS環(huán)境下的訪問(wèn)控制技術(shù)研究[D];重慶大學(xué);2013年

4 張丹;HDFS中文件存儲(chǔ)優(yōu)化的相關(guān)技術(shù)研究[D];南京師范大學(xué);2013年

5 潘吳斌;基于云計(jì)算的并行K-means氣象數(shù)據(jù)挖掘研究與應(yīng)用[D];南京信息工程大學(xué);2013年

6 趙洪昌;云計(jì)算下的關(guān)聯(lián)分析和模糊聚類研究[D];南京信息工程大學(xué);2013年

7 汪洋;通信網(wǎng)云計(jì)算平臺(tái)資源調(diào)度策略與算法研究[D];南昌大學(xué);2013年

8 呂天然;基于MapReduce的可視化工作流遙感并行處理平臺(tái)及關(guān)鍵技術(shù)研究[D];河南大學(xué);2013年

9 但光祥;云計(jì)算環(huán)境下混合加密算法研究與實(shí)現(xiàn)[D];重慶大學(xué);2013年

10 周濤;基于Hadoop的遙感數(shù)字圖像處理方法研究[D];東北師范大學(xué);2013年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李倩;;云計(jì)算與網(wǎng)格計(jì)算[J];山西電子技術(shù);2010年05期

2 賈海燕;;云計(jì)算在互動(dòng)電視上的應(yīng)用[J];產(chǎn)業(yè)與科技論壇;2011年01期

3 鄭牡丹;;云計(jì)算理論初探[J];硅谷;2011年12期

4 吳吉義;傅建慶;張明西;平玲娣;;云數(shù)據(jù)管理研究綜述[J];電信科學(xué);2010年05期

5 喬文寶;;云計(jì)算應(yīng)用中的不足及改進(jìn)建議[J];電腦知識(shí)與技術(shù);2010年16期

6 袁婧;;云計(jì)算在信息技術(shù)教育教學(xué)中的應(yīng)用與展望[J];教育教學(xué)論壇;2010年18期

7 祝建武;;基于云計(jì)算的存儲(chǔ)服務(wù)器技術(shù)與趨勢(shì)分析[J];軟件導(dǎo)刊;2011年04期

8 朱超;;基于虛擬化技術(shù)構(gòu)建高校分布式云計(jì)算數(shù)據(jù)中心[J];武漢工程大學(xué)學(xué)報(bào);2011年04期

9 甘鵬飛;;云環(huán)境下的個(gè)人知識(shí)管理探討[J];軟件導(dǎo)刊;2011年05期

10 郭培賢;;云計(jì)算在航空氣象領(lǐng)域的展望[J];數(shù)字技術(shù)與應(yīng)用;2011年10期

相關(guān)會(huì)議論文 前10條

1 王劍鋒;;“虛擬”豐“云”——虛擬化和云計(jì)算技術(shù)淺析[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)五屆一次理事會(huì)暨學(xué)術(shù)年會(huì)論文集（上篇）[C];2009年

2 涂艷麗;;云計(jì)算及在IT支撐系統(tǒng)中的應(yīng)用[A];中國(guó)通信學(xué)會(huì)第六屆學(xué)術(shù)年會(huì)論文集（上）[C];2009年

3 崔云飛;劉東;李昀;;云計(jì)算:一種新型服務(wù)計(jì)算模式[A];2008年中國(guó)高校通信類院系學(xué)術(shù)研討會(huì)論文集（下冊(cè)）[C];2009年

4 高世峰;吳迪;陳正捷;;“云計(jì)算”及其應(yīng)用研究初探[A];全國(guó)第二屆信號(hào)處理與應(yīng)用學(xué)術(shù)會(huì)議�？痆C];2008年

5 王新燕;范金剛;;初探云計(jì)算[A];兩化融合與物聯(lián)網(wǎng)發(fā)展學(xué)術(shù)研討會(huì)論文集[C];2010年

6 丁輝;趙煒妹;;基于云計(jì)算應(yīng)用一級(jí)部署的研究[A];2011電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2011年

7 曾文英;趙躍龍;尚敏;;云計(jì)算及云存儲(chǔ)生態(tài)系統(tǒng)研究[A];2010年第16屆全國(guó)信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

8 孫巍;孫寶華;;企業(yè)云計(jì)算調(diào)研與應(yīng)用[A];中國(guó)通信學(xué)會(huì)信息通信網(wǎng)絡(luò)技術(shù)委員會(huì)2011年年會(huì)論文集（上冊(cè)）[C];2011年

9 何川;羅新華;秦虎;高彬;;云計(jì)算在裝備科研領(lǐng)域的應(yīng)用[A];2011年全國(guó)通信安全學(xué)術(shù)會(huì)議論文集[C];2011年

10 陳紅;任怡;劉曉建;;云計(jì)算平臺(tái)下計(jì)費(fèi)機(jī)制研究[A];CCF NCSC 2011——第二屆中國(guó)計(jì)算機(jī)學(xué)會(huì)服務(wù)計(jì)算學(xué)術(shù)會(huì)議論文集[C];2011年

相關(guān)博士學(xué)位論文 前10條

1 陳海波;云計(jì)算平臺(tái)可信性增強(qiáng)技術(shù)的研究[D];復(fù)旦大學(xué);2008年

2 劉航;WMSNs在云計(jì)算中心節(jié)能減排中的關(guān)鍵技術(shù)研究[D];大連理工大學(xué);2011年

3 張小慶;基于云計(jì)算環(huán)境的資源提供優(yōu)化方法研究[D];武漢理工大學(xué);2013年

4 馮振乾;云計(jì)算數(shù)據(jù)中心的網(wǎng)絡(luò)帶寬隔離技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

5 劉曉茜;云計(jì)算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機(jī)制研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年

6 孫鑫;面向云環(huán)境數(shù)據(jù)中心的高效資源調(diào)度機(jī)制研究[D];北京郵電大學(xué);2012年

7 王智明;云數(shù)據(jù)中心資源調(diào)度機(jī)制研究[D];北京郵電大學(xué);2012年

8 吳吉義;基于DHT的開放對(duì)等云存儲(chǔ)服務(wù)系統(tǒng)研究[D];浙江大學(xué);2011年

9 楊際祥;并行與分布式計(jì)算負(fù)載均衡問(wèn)題研究[D];大連理工大學(xué);2012年

10 李錚;多媒體云計(jì)算平臺(tái)關(guān)鍵技術(shù)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 趙志雄;基于云計(jì)算的電信通信網(wǎng)絡(luò)關(guān)系分析技術(shù)研究與應(yīng)用[D];北京郵電大學(xué);2012年

2 柳妃妃;云計(jì)算環(huán)境下可證明數(shù)據(jù)持有技術(shù)研究[D];上海交通大學(xué);2011年

3 白超;基于并行計(jì)算的海量日志分析系統(tǒng)實(shí)現(xiàn)[D];安徽大學(xué);2013年

4 裴曉強(qiáng);云計(jì)算環(huán)境下的容錯(cuò)存儲(chǔ)技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

5 張晨;云計(jì)算在IDC中的應(yīng)用與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

6 潘鈺;云計(jì)算平臺(tái)中的能耗管理方法[D];南京郵電大學(xué);2013年

7 汪楠;基于OpenStack云平臺(tái)的計(jì)算資源動(dòng)態(tài)調(diào)度及管理[D];大連理工大學(xué);2013年

8 劉海平;基于主從備份的云計(jì)算容錯(cuò)調(diào)度算法研究[D];浙江工商大學(xué);2010年

9 張密密;MapReduce模型在Hadoop實(shí)現(xiàn)中的性能分析及改進(jìn)優(yōu)化[D];電子科技大學(xué);2010年

10 閆新河;云計(jì)算下自主診斷與自我修復(fù)研究[D];電子科技大學(xué);2011年

，

本文編號(hào)：2134429