發(fā)布時間：2024-06-29 13:39

　　隨著LHAASO高海拔宇宙線等高能物理實(shí)驗(yàn)規(guī)模的不斷擴(kuò)大,每年需要存儲PB級的海量物理數(shù)據(jù)。高能物理海量存儲系統(tǒng)一般采用隨機(jī)的數(shù)據(jù)放置策略,沒有考慮數(shù)據(jù)訪問場景和服務(wù)器節(jié)點(diǎn)、存儲設(shè)備的差異性。針對以上問題,提出一種異構(gòu)存儲環(huán)境下基于隨機(jī)森林算法的數(shù)據(jù)放置策略,根據(jù)存儲設(shè)備性能差異劃分快慢存儲池,同時對后期文件的讀寫訪問場景進(jìn)行預(yù)測和識別,綜合考慮當(dāng)前設(shè)備負(fù)載為數(shù)據(jù)找到最佳的放置位置。使用真實(shí)物理實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證了算法的有效性。

【文章頁數(shù)】：5 頁

【部分圖文】：

圖1高能物理計算系統(tǒng)典型結(jié)構(gòu)

海量實(shí)驗(yàn)數(shù)據(jù)存儲在I/O服務(wù)器中，通過EOS分布式存儲系統(tǒng)來管理，計算節(jié)點(diǎn)通過高速網(wǎng)絡(luò)從I/O服務(wù)器中獲取數(shù)據(jù)[8]。中科院高能物理研究所計算中心開發(fā)了基于DNS負(fù)載均衡的前端登錄系統(tǒng)[9]，提供大規(guī)模用戶登錄服務(wù)，作為用戶在計算和存儲集群的單一入口點(diǎn)。用戶在前端登錄節(jié)點(diǎn)可以進(jìn)行....

圖2EOS典型架構(gòu)

為了滿足PB級甚至EB級的高能物理數(shù)據(jù)存儲與分析壓力，歐洲核子中心CERN于2010年開發(fā)了EOS文件存儲系統(tǒng)。EOS是一種基于xrootd協(xié)議[10]框架實(shí)現(xiàn)的分布式并行文件系統(tǒng)，采用基于內(nèi)存的元數(shù)據(jù)管理架構(gòu)，節(jié)點(diǎn)支持條帶化、文件多副本，可擴(kuò)展性較好。它提供較高的聚合I/O帶寬....

圖3EOS文件寫入過程

EOS中文件寫入過程如圖3所示�？蛻舳藢⒄埱蟀l(fā)給元數(shù)據(jù)服務(wù)器，元數(shù)據(jù)服務(wù)器收到請求后首先檢查用戶權(quán)限和文件邏輯路徑，如果成功則創(chuàng)建一條元數(shù)據(jù)記錄，包括用戶名uid、用戶組名gid、創(chuàng)建時間、訪問權(quán)限、邏輯路徑、文件名等，但不會記錄文件大小和文件在存儲集群中的物理路徑�？蛻舳顺跏紩r....

圖4基于隨機(jī)森林的文件放置框架結(jié)構(gòu)圖

如圖4所示，在文件寫入本地緩存后，采集文件后綴名、文件大小、文件目錄、訪問權(quán)限、創(chuàng)建時間、文件所屬用戶uid、用戶組gid等信息，經(jīng)過預(yù)處理、特征提取、One-hot編碼[14]作為隨機(jī)森林的輸入數(shù)據(jù)。隨機(jī)森林模型保存了文件訪問場景的識別規(guī)則。例如，同種訪問場景中的高能物理實(shí)驗(yàn)數(shù)....

本文編號：3997636