發(fā)布時(shí)間：2020-12-13 09:59

　　集群作業(yè)管理系統(tǒng)作為高性能計(jì)算領(lǐng)域的核心技術(shù),伴隨著計(jì)算機(jī)技術(shù)的發(fā)展進(jìn)步逐漸成為了計(jì)算機(jī)學(xué)科的熱點(diǎn)研究領(lǐng)域。然而,傳統(tǒng)作業(yè)管理系統(tǒng)大多需要以命令行的方式進(jìn)行管理,用戶需要熟練掌握多種調(diào)度器命令。本文就這些存在的問題,提出了基于Web架構(gòu)的集群管理中間件,來(lái)實(shí)現(xiàn)降低用戶門檻和提高集群利用率的目標(biāo)。通過對(duì)幾種比較成熟的集群作業(yè)管理系統(tǒng)架構(gòu)進(jìn)行了深入分析,并且以SLURM作業(yè)調(diào)度器為例,對(duì)其體系結(jié)構(gòu)、作業(yè)執(zhí)行過程做了重點(diǎn)研究。在此基礎(chǔ)上,對(duì)集群作業(yè)管理中間件系統(tǒng)進(jìn)行了全面的需求分析,并確定了實(shí)現(xiàn)該系統(tǒng)所需應(yīng)用的關(guān)鍵技術(shù),最終設(shè)計(jì)和實(shí)現(xiàn)了該作業(yè)管理中間件系統(tǒng)。除上述主要工作外,本文還針對(duì)傳統(tǒng)作業(yè)管理系統(tǒng)做出了部分優(yōu)化工作,主要是通過該中間件系統(tǒng)實(shí)現(xiàn)了集群管理、作業(yè)管理、資源監(jiān)控、記賬管理、日志管理等基本功能,還實(shí)現(xiàn)了管理員對(duì)集群架構(gòu)、集群節(jié)點(diǎn)控制、用戶管理等高級(jí)功能。這些功能優(yōu)化使得管理員可以輕松管理整個(gè)集群,也為用戶提交任務(wù)提供了統(tǒng)一透明的方式。本文針對(duì)SLURM作業(yè)管理系統(tǒng)做出的研究和優(yōu)化,為用戶提供了方便友好的操作方式,極大的提高了用戶及管理員的工作效率,簡(jiǎn)化了集群的管理工作。 

【文章來(lái)源】：北京工業(yè)大學(xué)北京市 211工程院校

【文章頁(yè)數(shù)】：69 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

技術(shù)架構(gòu)圖

先在四臺(tái)服務(wù)器節(jié)點(diǎn)上全新安裝 CentOS 7.2 操作系統(tǒng)，并選擇開使用的軟件，分配各服務(wù)器的用途，并修改 hostname、網(wǎng)卡信息文件等配置，調(diào)整為默認(rèn)文本登陸模式。所有服務(wù)器節(jié)點(diǎn)創(chuàng)建固定 UID 和 GID 的獨(dú)立用戶以供 SLURM 和 MU，需要注意在四臺(tái)服務(wù)器上建立用戶的 UID 和 GID 是完全一致的通信異常，同時(shí)要注意用戶的目錄權(quán)限，并配置用戶的環(huán)境變量下來(lái)需要安裝 MUNGE 程序軟件，本文是通過 yum 源的方式安裝，因依賴環(huán)境的問題造成的安裝故障，同時(shí)不需要特殊配置，默認(rèn)意此操作需要在所有服務(wù)器節(jié)點(diǎn)上進(jìn)行。待所有節(jié)點(diǎn)均安裝成功點(diǎn)上通過 MUNGE 命令 create-munge-key 創(chuàng)建一個(gè)通信密鑰（此操um 源安裝 rng-tools 來(lái)提供加密算法支持），對(duì)創(chuàng)造的密鑰的權(quán)并拷貝給其他節(jié)點(diǎn)的相應(yīng)目錄下，此時(shí)再賦予 MUNGE 相應(yīng)目錄特改所有 MUNGE 相關(guān)目錄的所有者為提前準(zhǔn)備的用戶并啟動(dòng) MUNGE 過 munge -n | ssh 節(jié)點(diǎn) IP/域名 unmunge 等命令來(lái)測(cè)試節(jié)點(diǎn)間通試通過的情況如圖 5-1 所示。

第 5 章 集群作業(yè)管理中間件系統(tǒng)的實(shí)現(xiàn)2）提取的安裝程序?yàn)?RPM 包形式，保存在/root/rpmbuild/RPMS。用 SLURM 官方提供的在線配置工具生成配置文件，需要配置的信群名稱、管理節(jié)點(diǎn) hostname 及 IP、所有節(jié)點(diǎn)信息、SLURM 管理和目錄等，尤其是節(jié)點(diǎn)信息要根據(jù)各服務(wù)器的配置情況進(jìn)行填寫，點(diǎn)和計(jì)算節(jié)點(diǎn)，通過 Scp 等命令將生成的配置文件傳輸?shù)娇刂乒?jié)節(jié)點(diǎn)相應(yīng)目錄下。接下來(lái)，創(chuàng)建 SLURM 管理和用戶日志存放目錄，修改目錄權(quán)限，并修改所有 SLURM 相關(guān)目錄的所有者為提前準(zhǔn)后通過命令行在各節(jié)點(diǎn)啟動(dòng) SLURMd 服務(wù)，在管理節(jié)點(diǎn)上啟動(dòng) SLUSLURM 提供了 sinfo 命令來(lái)查看集群的分區(qū)和節(jié)點(diǎn)信息來(lái)驗(yàn)證安裝該命令可以在任意節(jié)點(diǎn)上執(zhí)行，同時(shí)該命令也在用戶提交任務(wù)時(shí)證通過的情況如圖 5-2 所示。

【參考文獻(xiàn)】：
期刊論文
[1]高性能計(jì)算集群系統(tǒng)建設(shè)與運(yùn)行管理研究[J]. 孟玲玲.  軟件導(dǎo)刊. 2017(03)
[2]基于Linux的高性能計(jì)算集群MPI并行環(huán)境配置研究[J]. 金能智,者建武,李唐艷,孫一桐.  科技創(chuàng)新導(dǎo)報(bào). 2017(03)
[3]面向Web的高性能計(jì)算集群作業(yè)調(diào)度系統(tǒng)[J]. 李薛劍,蘇素,梁瑞,陳仕綺.  電腦知識(shí)與技術(shù). 2016(27)
[4]基于節(jié)點(diǎn)集計(jì)算能力差異的Hadoop自適應(yīng)任務(wù)調(diào)度算法[J]. 朱潔,李雯睿,王江平,趙紅.  計(jì)算機(jī)應(yīng)用. 2016(04)
[5]面向集群環(huán)境的虛擬化GPU計(jì)算平臺(tái)[J]. 楊經(jīng)緯,馬凱,龍翔.  北京航空航天大學(xué)學(xué)報(bào). 2016(11)
[6]云及高性能計(jì)算集群環(huán)境中配置管理系統(tǒng)設(shè)計(jì)[J]. 趙春燕,孫婧,魏敏.  計(jì)算技術(shù)與自動(dòng)化. 2016(01)
[7]異構(gòu)Spark集群下自適應(yīng)任務(wù)調(diào)度策略[J]. 楊志偉,鄭烇,王嵩,楊堅(jiān),周樂樂.  計(jì)算機(jī)工程. 2016(01)
[8]基于虛擬化集群的核設(shè)計(jì)平臺(tái)作業(yè)調(diào)度系統(tǒng)研究與實(shí)現(xiàn)[J]. 姚建凡,管宇,王一楠,陳俊.  計(jì)算機(jī)與數(shù)字工程. 2015(10)
[9]海南大學(xué) 高性能計(jì)算與云計(jì)算平臺(tái)融合[J]. 李文化,陳討海.  中國(guó)教育網(wǎng)絡(luò). 2015(10)
[10]基于ExtJs的集群作業(yè)調(diào)度策略配置系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 王小龍,劉光明,趙志威.  工業(yè)儀表與自動(dòng)化裝置. 2015(03)

碩士論文
[1]服務(wù)器集群監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 朱瑞斌.北京交通大學(xué) 2015



本文編號(hào)：2914364