發(fā)布時(shí)間：2025-01-03 23:02

　　MapReduce是目前最流行的云計(jì)算框架,其調(diào)度優(yōu)化問(wèn)題一直是云計(jì)算領(lǐng)域的重要研究問(wèn)題。MapReduce調(diào)度優(yōu)化的主要目標(biāo)是,提高M(jìn)apReduce作業(yè)的運(yùn)行效率。針對(duì)這一目標(biāo),本文研究了面向MapReduce的數(shù)據(jù)分配、Map任務(wù)調(diào)度、非精確應(yīng)用加速和串行程序的并行執(zhí)行等四個(gè)問(wèn)題。MapReduce原模型中,數(shù)據(jù)分配只考慮Map任務(wù)的負(fù)載均衡和數(shù)據(jù)本地化需求。然而,數(shù)據(jù)分配既會(huì)影響Map任務(wù)的運(yùn)行效率,也會(huì)影響Shuffle的數(shù)據(jù)傳輸時(shí)間。針對(duì)Map任務(wù)運(yùn)行和Shuffle數(shù)據(jù)傳輸?shù)母咝�性�?wèn)題,本文提出了一種面向MapReduce計(jì)算過(guò)程的最優(yōu)數(shù)據(jù)分配方法OPTAS,以獲得最短的Map+Shuffle的運(yùn)行時(shí)間。其基本思路是:(1)利用作業(yè)數(shù)據(jù)分配方案(Data Placement Instance,DPI)的Map時(shí)間值的離散化特征,將所有數(shù)據(jù)分配方案劃分成若干個(gè)DPI子空間,通過(guò)比較子空間最優(yōu)DPI來(lái)獲得最優(yōu)數(shù)據(jù)分配方案,提高搜索效率;(2)基于子空間的Map時(shí)間值,確定子空間最優(yōu)DPI的Shuffle時(shí)間下界,以快速構(gòu)造子空間最優(yōu)數(shù)據(jù)分配方案;(3)按照Map時(shí)間值的大小順序...

【文章頁(yè)數(shù)】：125 頁(yè)

【學(xué)位級(jí)別】：博士

【部分圖文】：

圖1.2MapReduce作業(yè)流程

圖1.2MapReduce作業(yè)流程.2MapReduce任務(wù)調(diào)度方法

圖2.5Map-Reduce-Merge模型

圖2.5Map-Reduce-Merge模型educe能夠?qū)ν瑯?gòu)數(shù)據(jù)源進(jìn)行高效處理。但是，存在很多需要

圖2.6Haloop體系結(jié)構(gòu)

圖2.6Haloop體系結(jié)構(gòu)

圖2.7HadoopDB體系結(jié)構(gòu)圖

圖2.7HadoopDB體系結(jié)構(gòu)圖

本文編號(hào)：4022515