發(fā)布時間：2024-04-20 09:24

　　近年來,在數(shù)據(jù)泛濫的時代,從電子商務(wù)到社交網(wǎng)絡(luò)等移動互聯(lián)網(wǎng)技術(shù)的應(yīng)用,用戶以前所未有的規(guī)模產(chǎn)生了大量的數(shù)據(jù)。傳統(tǒng)的通過增加服務(wù)器并采用基于分庫分表的方法來解決數(shù)據(jù)庫擴(kuò)展性問題需要大量的人工維護(hù)成本和硬件開銷。為了降低開銷和分庫分表帶來的各種問題,業(yè)界通常利用新型數(shù)據(jù)庫系統(tǒng)替換原有的系統(tǒng)。其中,基于日志結(jié)構(gòu)合并樹存儲的數(shù)據(jù)庫系統(tǒng)(例如:OceanBase)被廣泛采用,這類系統(tǒng)磁盤上存儲的數(shù)據(jù)塊一般呈現(xiàn)全局有序的特征。在從傳統(tǒng)數(shù)據(jù)庫切換到新型數(shù)據(jù)庫過程中,需要將大量數(shù)據(jù)加載到新型數(shù)據(jù)庫系統(tǒng)中,并且長時間加載過程中可能出現(xiàn)存儲節(jié)點故障或加載進(jìn)程故障。為了減少總加載時間和故障恢復(fù)時間,本文提出一種負(fù)載均衡且支持高效故障恢復(fù)的數(shù)據(jù)加載方法。為了支持負(fù)載均衡的數(shù)據(jù)加載,考慮到目標(biāo)系統(tǒng)默認(rèn)存儲塊大小,本文采用一種預(yù)計算分區(qū)數(shù)目方法,這種方法基于目標(biāo)系統(tǒng)默認(rèn)存儲塊大小和加載數(shù)據(jù)文件大小,同時利用數(shù)據(jù)在分庫分表的系統(tǒng)中導(dǎo)出通常局部有序的特點,選擇一些采樣塊并等間隔選樣本來確定分區(qū)間邊界點,減少選取所有采樣塊并在每個采樣塊中頭部或隨機(jī)選樣本引起的高開銷。為了處理不同的故障類型,加快故障恢復(fù)速度,特別是存儲...

【文章頁數(shù)】：95 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖4.5采樣塊數(shù)

華東師范大學(xué)碩士學(xué)位論文（圖4.5中的陰影塊）進(jìn)行采樣來估計數(shù)據(jù)集的大致分布情況，相當(dāng)于在每個分區(qū)中選擇一個采樣塊。圖4.5采樣塊數(shù)樣本選取在確定了采樣塊的數(shù)目后，需要進(jìn)一步從所有數(shù)據(jù)塊中選擇需要數(shù)目的數(shù)據(jù)塊作為采樣塊，然后在每個采樣塊中按照一定方法選擇樣本，通常有以下三種方法可....

圖4.6樣本選取部選取樣本，在每個采樣塊中選擇前個作為樣本，雖然效率高，但不適用

華東師范大學(xué)碩士學(xué)位論文圖4.6樣本選取部選取樣本，在每個采樣塊中選擇前n個key作為樣本，雖然效率高，但不適用于有序數(shù)據(jù)，因此，本文采用等間隔選取樣本。在收集所有樣本數(shù)據(jù)后，需要對樣本集合進(jìn)行一個排序，然后根據(jù)分區(qū)數(shù)目確定分區(qū)之間的邊界點，即生成的邊界點等于分區(qū)數(shù)目減去1。4.....

圖5.2遷移過程中存儲節(jié)點故障

?.6的故障恢復(fù)時間Tr來近似表示。由定義3.2中式3.6可得，當(dāng)數(shù)據(jù)量比較大時，一個存儲節(jié)點上分配的副本數(shù)量也比較多，如果存儲節(jié)點發(fā)生故障，則會導(dǎo)致大量副本數(shù)據(jù)需要重新加載，即Np值較大。雖然可以并行分配給其它正常工作的存儲節(jié)點來并行恢復(fù)，但單個存儲節(jié)點恢復(fù)的副本量仍然比較大，....

圖5.3存儲節(jié)點故障下基于重啟全局故障恢復(fù)

華東師范大學(xué)碩士學(xué)位論文圖5.3存儲節(jié)點故障下基于重啟全局故障恢復(fù)圖5.4存儲節(jié)點故障下基于副本局部故障恢復(fù)5.2.2基于副本局部故障恢復(fù)在上一節(jié)中，我們主要討論了在數(shù)據(jù)遷移過程中存儲節(jié)點發(fā)生故障時基于重啟全局故障恢復(fù)方法下的恢復(fù)時間的分析，而這種方法通常需要重新從數(shù)據(jù)源拉取所有....

本文編號：3959209