發(fā)布時(shí)間：2024-04-20 09:24

　　近年來(lái),在數(shù)據(jù)泛濫的時(shí)代,從電子商務(wù)到社交網(wǎng)絡(luò)等移動(dòng)互聯(lián)網(wǎng)技術(shù)的應(yīng)用,用戶以前所未有的規(guī)模產(chǎn)生了大量的數(shù)據(jù)。傳統(tǒng)的通過增加服務(wù)器并采用基于分庫(kù)分表的方法來(lái)解決數(shù)據(jù)庫(kù)擴(kuò)展性問題需要大量的人工維護(hù)成本和硬件開銷。為了降低開銷和分庫(kù)分表帶來(lái)的各種問題,業(yè)界通常利用新型數(shù)據(jù)庫(kù)系統(tǒng)替換原有的系統(tǒng)。其中,基于日志結(jié)構(gòu)合并樹存儲(chǔ)的數(shù)據(jù)庫(kù)系統(tǒng)(例如:OceanBase)被廣泛采用,這類系統(tǒng)磁盤上存儲(chǔ)的數(shù)據(jù)塊一般呈現(xiàn)全局有序的特征。在從傳統(tǒng)數(shù)據(jù)庫(kù)切換到新型數(shù)據(jù)庫(kù)過程中,需要將大量數(shù)據(jù)加載到新型數(shù)據(jù)庫(kù)系統(tǒng)中,并且長(zhǎng)時(shí)間加載過程中可能出現(xiàn)存儲(chǔ)節(jié)點(diǎn)故障或加載進(jìn)程故障。為了減少總加載時(shí)間和故障恢復(fù)時(shí)間,本文提出一種負(fù)載均衡且支持高效故障恢復(fù)的數(shù)據(jù)加載方法。為了支持負(fù)載均衡的數(shù)據(jù)加載,考慮到目標(biāo)系統(tǒng)默認(rèn)存儲(chǔ)塊大小,本文采用一種預(yù)計(jì)算分區(qū)數(shù)目方法,這種方法基于目標(biāo)系統(tǒng)默認(rèn)存儲(chǔ)塊大小和加載數(shù)據(jù)文件大小,同時(shí)利用數(shù)據(jù)在分庫(kù)分表的系統(tǒng)中導(dǎo)出通常局部有序的特點(diǎn),選擇一些采樣塊并等間隔選樣本來(lái)確定分區(qū)間邊界點(diǎn),減少選取所有采樣塊并在每個(gè)采樣塊中頭部或隨機(jī)選樣本引起的高開銷。為了處理不同的故障類型,加快故障恢復(fù)速度,特別是存儲(chǔ)...

【文章頁(yè)數(shù)】：95 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖4.5采樣塊數(shù)

華東師范大學(xué)碩士學(xué)位論文（圖4.5中的陰影塊）進(jìn)行采樣來(lái)估計(jì)數(shù)據(jù)集的大致分布情況，相當(dāng)于在每個(gè)分區(qū)中選擇一個(gè)采樣塊。圖4.5采樣塊數(shù)樣本選取在確定了采樣塊的數(shù)目后，需要進(jìn)一步從所有數(shù)據(jù)塊中選擇需要數(shù)目的數(shù)據(jù)塊作為采樣塊，然后在每個(gè)采樣塊中按照一定方法選擇樣本，通常有以下三種方法可....

圖4.6樣本選取部選取樣本，在每個(gè)采樣塊中選擇前個(gè)作為樣本，雖然效率高，但不適用

華東師范大學(xué)碩士學(xué)位論文圖4.6樣本選取部選取樣本，在每個(gè)采樣塊中選擇前n個(gè)key作為樣本，雖然效率高，但不適用于有序數(shù)據(jù)，因此，本文采用等間隔選取樣本。在收集所有樣本數(shù)據(jù)后，需要對(duì)樣本集合進(jìn)行一個(gè)排序，然后根據(jù)分區(qū)數(shù)目確定分區(qū)之間的邊界點(diǎn)，即生成的邊界點(diǎn)等于分區(qū)數(shù)目減去1。4.....

圖5.2遷移過程中存儲(chǔ)節(jié)點(diǎn)故障

?.6的故障恢復(fù)時(shí)間Tr來(lái)近似表示。由定義3.2中式3.6可得，當(dāng)數(shù)據(jù)量比較大時(shí)，一個(gè)存儲(chǔ)節(jié)點(diǎn)上分配的副本數(shù)量也比較多，如果存儲(chǔ)節(jié)點(diǎn)發(fā)生故障，則會(huì)導(dǎo)致大量副本數(shù)據(jù)需要重新加載，即Np值較大。雖然可以并行分配給其它正常工作的存儲(chǔ)節(jié)點(diǎn)來(lái)并行恢復(fù)，但單個(gè)存儲(chǔ)節(jié)點(diǎn)恢復(fù)的副本量仍然比較大，....

圖5.3存儲(chǔ)節(jié)點(diǎn)故障下基于重啟全局故障恢復(fù)

華東師范大學(xué)碩士學(xué)位論文圖5.3存儲(chǔ)節(jié)點(diǎn)故障下基于重啟全局故障恢復(fù)圖5.4存儲(chǔ)節(jié)點(diǎn)故障下基于副本局部故障恢復(fù)5.2.2基于副本局部故障恢復(fù)在上一節(jié)中，我們主要討論了在數(shù)據(jù)遷移過程中存儲(chǔ)節(jié)點(diǎn)發(fā)生故障時(shí)基于重啟全局故障恢復(fù)方法下的恢復(fù)時(shí)間的分析，而這種方法通常需要重新從數(shù)據(jù)源拉取所有....

本文編號(hào)：3959209