發(fā)布時(shí)間：2025-03-18 06:53

　　在如今快速競(jìng)爭(zhēng)的商業(yè)環(huán)境中,用戶更傾向于使用最新的數(shù)據(jù)完成商業(yè)分析,因此實(shí)時(shí)ETL(Extract-Transform-Load)被提出以解決實(shí)時(shí)分析的需求。如今,實(shí)時(shí)ETL相關(guān)的研究層出不窮,但提出的解決方案中都沒(méi)有考慮到數(shù)據(jù)的動(dòng)態(tài)性。在很多實(shí)際場(chǎng)景中,數(shù)據(jù)源的數(shù)據(jù)生產(chǎn)速度隨著時(shí)間波動(dòng)且波動(dòng)區(qū)間較廣。在實(shí)時(shí)ETL系統(tǒng)中,ETL過(guò)程為常駐應(yīng)用程序,如果能夠在ETL過(guò)程運(yùn)行時(shí)彈性調(diào)整ETL過(guò)程的資源,則有利于提高系統(tǒng)整體的資源利用率。因此,本文深入探討了數(shù)據(jù)波動(dòng)較大的場(chǎng)景下,關(guān)于實(shí)時(shí)ETL彈性調(diào)度機(jī)制的研究。本文主要工作分為兩部分:一是單個(gè)用戶的多個(gè)ETL過(guò)程彈性調(diào)度機(jī)制的研究;二是單個(gè)ETL過(guò)程彈性調(diào)度機(jī)制的研究。在單個(gè)用戶的多個(gè)ETL過(guò)程彈性調(diào)度方面,本文首先構(gòu)建了基于歷史數(shù)據(jù)的時(shí)間序列預(yù)測(cè)模型用于預(yù)測(cè)ETL過(guò)程未來(lái)的數(shù)據(jù)生產(chǎn)速度;然后,根據(jù)各個(gè)ETL過(guò)程提交的資源清單,提出基于緊迫度的動(dòng)態(tài)調(diào)度算法,用來(lái)調(diào)整單個(gè)用戶多個(gè)ETL過(guò)程的資源。在單個(gè)ETL過(guò)程彈性調(diào)度方面,本文首先根據(jù)各個(gè)服務(wù)器負(fù)載情況,提出貪婪負(fù)載均衡算法,保證單個(gè)ETL過(guò)程調(diào)度資源時(shí)各個(gè)服務(wù)器負(fù)載能夠均衡;然后,提出基于...

【文章頁(yè)數(shù)】：63 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖 2.1 ETL 發(fā)展歷程1

武漢科技大學(xué)碩士學(xué)位論文7第2章基本理論與相關(guān)知識(shí)2.1實(shí)時(shí)ETL概念如今，快速的商業(yè)競(jìng)爭(zhēng)導(dǎo)致消費(fèi)者需要更快的交易處理、個(gè)性化的體驗(yàn)以及具有最新數(shù)據(jù)訪問(wèn)的自助服務(wù)，數(shù)據(jù)集成方法要求更高效的、更低延遲的收集數(shù)據(jù)并分發(fā)給需要的客戶或程序。因此，越來(lái)越多的數(shù)據(jù)集成將數(shù)據(jù)遷移的解決方案從....

本文編號(hào)：4036174