發(fā)布時(shí)間：2024-11-14 20:05

　　近10年來對(duì)于大規(guī)模數(shù)據(jù)處理的需求變的日益迫切,等待處理的數(shù)據(jù)如雪崩一般不斷增長。據(jù)權(quán)威咨詢公司IDC于2007年統(tǒng)計(jì),截至2006年存儲(chǔ)于電子介質(zhì)中的數(shù)據(jù)量達(dá)到驚人的161艾字節(jié)(Exabyte),并且預(yù)計(jì)至2010年這一數(shù)字將來到998艾字節(jié)。毫無疑問數(shù)據(jù)密集型應(yīng)用已經(jīng)成為當(dāng)今最為重要的計(jì)算機(jī)應(yīng)用之一。 與此同時(shí),隨著多核技術(shù)的日益普及,片上核數(shù)目的快速增長,多核平臺(tái)在大規(guī)模數(shù)據(jù)處理領(lǐng)域呈現(xiàn)出極為廣闊的應(yīng)用前景。然而這些以多核形式提供的強(qiáng)大計(jì)算能力,只有通過并行程序才能得以充分利用,發(fā)揮出與核數(shù)目的增長一致的實(shí)際效果。高效并行程序的編寫歷來是困擾程序員的難題,因?yàn)槌�了業(yè)務(wù)邏輯本身,程序員還必須面對(duì)包括數(shù)據(jù)分布、可伸縮性、負(fù)載平衡和系統(tǒng)容錯(cuò)在內(nèi)的大量與并行性相關(guān)的復(fù)雜問題。權(quán)威調(diào)研機(jī)構(gòu)Gartner于2008年列出了未來25年IT市場(chǎng)面臨的七大挑戰(zhàn),多核時(shí)代的并行編程位居第二。 面向數(shù)據(jù)并行編程模型無疑是這一挑戰(zhàn)的最好解答,通過合理的抽象向應(yīng)用程序員隱藏并行性相關(guān)問題,在將業(yè)務(wù)邏輯開發(fā)留給應(yīng)用程序員的同時(shí),將實(shí)現(xiàn)并行的挑戰(zhàn)留給并行計(jì)算專家。然而現(xiàn)有的面向數(shù)據(jù)并行編程模型和運(yùn)...

【文章頁數(shù)】：132 頁

【學(xué)位級(jí)別】：博士

【文章目錄】：
目錄
摘要
Abstract
第一章 緒論
    1.1 多核平臺(tái)
    1.2 面向數(shù)據(jù)并行編程模型
        1.2.1 面向數(shù)據(jù)并行編程模型
        1.2.2 多核平臺(tái)帶來的挑戰(zhàn)
    1.3 相關(guān)研究
        1.3.1 多核平臺(tái)
        1.3.2 面向數(shù)據(jù)并行編程模型
    1.4 本文的主要貢獻(xiàn)
        1.4.1 之前研究工作的不足
        1.4.2 本文的主要貢獻(xiàn)
    1.5 本文結(jié)構(gòu)安排
第二章 基于分治策略的MapReduce模型擴(kuò)展
    2.1 背景知識(shí)
        2.1.1 MapReduce并行編程模型
        2.1.2 Phoenix多核運(yùn)行時(shí)環(huán)境
        2.1.3 分治策略
    2.2 MapReduce模型在多核平臺(tái)上存在的主要問題
    2.3 分治MapReduce并行編程模型
        2.3.1 模型設(shè)計(jì)
        2.3.2 運(yùn)行時(shí)實(shí)現(xiàn)
        2.3.3 執(zhí)行流程
        2.3.4 容錯(cuò)支持
    2.4 小結(jié)
第三章 分治MapReduce模型的運(yùn)行時(shí)優(yōu)化
    3.1 內(nèi)存負(fù)載優(yōu)化
        3.1.1 現(xiàn)有實(shí)現(xiàn)分析
        3.1.2 輸入緩沖區(qū)重用技術(shù)
    3.2 緩存局部性優(yōu)化
        3.2.1 現(xiàn)有實(shí)現(xiàn)分析
        3.2.2 背景知識(shí)
        3.2.3 面向非一致緩存/內(nèi)存訪問調(diào)度器
    3.3 任務(wù)并行性優(yōu)化
        3.3.1 現(xiàn)有實(shí)現(xiàn)分析
        3.3.2 軟件流水線技術(shù)
        3.3.3 任務(wù)竊取調(diào)度
    3.4 小結(jié)
第四章 分治MapReduce模型和實(shí)現(xiàn)的評(píng)測(cè)
    4.1 評(píng)測(cè)環(huán)境和方法
        4.1.1 評(píng)測(cè)環(huán)境
        4.1.2 測(cè)試用例
    4.2 易用性評(píng)測(cè)
    4.3 性能和可伸縮性評(píng)測(cè)
        4.3.1 整體性能
        4.3.2 可伸縮性
        4.3.3 內(nèi)存資源消耗
        4.3.4 緩存局部性
        4.3.5 任務(wù)并行性
    4.4 容錯(cuò)技術(shù)評(píng)測(cè)
        4.4.1 性能開銷
        4.4.2 存儲(chǔ)開銷
        4.4.3 容錯(cuò)恢復(fù)
    4.5 小結(jié)
第五章 分治MapReduce模型對(duì)應(yīng)用的支持
    5.1 案例一:在線聚集計(jì)算
        5.1.1 在線聚集計(jì)算簡介
        5.1.2 HOP在線聚集系統(tǒng)
        5.1.3 Oops在線聚集系統(tǒng)
        5.1.4 評(píng)測(cè)
    5.2 案例二:增量計(jì)算
        5.2.1 增量計(jì)算簡介
        5.2.2 DryadInc增量計(jì)算系統(tǒng)
        5.2.3 OstrichInc增量計(jì)算系統(tǒng)
        5.2.4 評(píng)測(cè)
    5.3 小結(jié)
第六章 總結(jié)與展望
    6.1 工作總結(jié)
    6.2 工作展望
        6.2.1 軟件棧各層優(yōu)化支持
        6.2.2 虛擬化環(huán)境優(yōu)化研究
        6.2.3 異構(gòu)平臺(tái)支持研究
        6.2.4 更多應(yīng)用領(lǐng)域和計(jì)算需求的支持
參考文獻(xiàn)
發(fā)表文章目錄
致謝



本文編號(hào)：4012048