基于流量預測的日志存儲系統(tǒng)的設計與實現(xiàn)
發(fā)布時間：2020-12-11 22:21
網(wǎng)絡日志是定位網(wǎng)絡安全問題的重要依據(jù)。網(wǎng)絡日志周期性強、瞬時值高的特點易使系統(tǒng)平均訪問時間延長,波動變大。設計適合日志數(shù)據(jù)的存儲方法,對降低訪問時延、提高系統(tǒng)穩(wěn)定性具有重要的意義。當前,日志存儲多使用通用數(shù)據(jù)存儲的方式,存儲策略單一,對日志存儲的特定場景考慮較少,且對固態(tài)硬盤這類新型存儲介質(zhì)的利用較少。為解決上述問題,本課題提出基于流量預測的日志存儲方法,并基于該方法設計、實現(xiàn)基于流量預測的日志存儲系統(tǒng)。具體內(nèi)容如下:首先,提出基于流量預測的日志存儲方法。從日志數(shù)據(jù)的特點出發(fā),充分利用日志數(shù)據(jù)的時間序列特性,將日志流量按照所提方法劃分為高峰期、中間期與低谷期,并使用BP神經(jīng)網(wǎng)絡對日志流量進行預測。然后根據(jù)日志流量的當前值與預測值綜合系統(tǒng)性能狀況計算不同時期中日志在機械硬盤與緩存介質(zhì)間的分配比例、調(diào)整方法以及日志緩存的消費方式。其次,基于所提方法,設計并實現(xiàn)基于流量預測的日志存儲系統(tǒng),包括調(diào)度層、監(jiān)控層與應用層。該系統(tǒng)選取固態(tài)硬盤作為日志緩存,根據(jù)用戶配置自動化完成日志采集、解析、存儲與查看,并根據(jù)日志流量預測值自動選擇相應的存儲介質(zhì)與存儲策略,完成日志存儲。實驗結(jié)果表明,此系統(tǒng)可以有效...
【文章來源】：北京郵電大學北京市 211工程院校 教育部直屬院校
【文章頁數(shù)】：90 頁
【學位級別】：碩士
【部分圖文】：
圖２－１預寫日志工作原理示意圖??
中目前被廣泛應用的種類之一，它使用梯度下降法以獲得最小的實際輸出值與??期望輸出值的誤差均方差。??圖２－２所示是一個三層ＢＰ神經(jīng)網(wǎng)絡的拓撲結(jié)構(gòu)，它包括輸入層、隱含層和??輸出層。每個層中都有一定數(shù)量的神經(jīng)元，＆為輸入層和隱含層之間的連接權??值，％為隱含層和輸出層之間的鏈接權值。??ｉｎ?ｙｖ?ｈｊ?）??－２??圖２－２三層ＢＰ神經(jīng)網(wǎng)絡??ＢＰ神經(jīng)網(wǎng)絡模型的訓練主要由以下兩個過程組成，分別為前向傳播與反向??傳播。??２．２．２前向傳播??前向傳播也即計算實際輸出與期望輸出之間的誤差時按照從輸入到輸出的??方向進行計算，輸入信號通過隱含層作用于輸出節(jié)點，經(jīng)過非線性變換，產(chǎn)生??輸出信號，若誤差符合所設閾值，結(jié)果成立，否則轉(zhuǎn)入反向傳播的過程。設輸??入樣本為＇?＝?…ｚｊ，輸出值為＾＾＾，＾…況＾來計算系統(tǒng)誤??差值，誤差計算公式如公式（２－１）所示：??Ｅ｛ｎ）?＝?＼ｊ＾｛ＯＴｋｐ－Ｏｐｋ）２?（２－１）??＾?Ｐ＝＼?Ｋ＝＼??２．２．３反向傳播??當實際輸出與期望輸出誤差超出所設閾值時
??ｇｏ?ｆｉｍｃ（）語句就可以實現(xiàn)并發(fā)編程。如圖２－３所示，Ｇｏ調(diào)度器主要包括Ｇ／Ｍ／Ｐ??三個部分［２３】。??Ｇ即Ｇｏｒｏｕｔｉｎｅ，它類似于操作系統(tǒng)中的進程控制塊（ＰＣＢ），保存棧、狀態(tài)、??ｉｄ、函數(shù)等信息，它通過ｇｏｆｕｎｃＧ語句被創(chuàng)建，并且只有被綁定到Ｐ才可以被調(diào)??度執(zhí)行。??Ｍ即Ｍａｃｈｉｎｅ，它是實際工作的線程，因此，每當一個Ｍ被創(chuàng)建，一個底??層線程也被創(chuàng)建，而Ｇ最終也是通過Ｍ執(zhí)行的。Ｍ會從運行隊列中取出Ｇ并??運行，如果Ｇ運行完畢或休眠，則從隊列中取下一個Ｇ繼續(xù)運行。??Ｐ即Ｐｒｏｃｅｓｓｏｒ，它是被抽象出來的處理器概念，每個運行的Ｍ必須綁定一??個Ｐ，就像線程必須在一個ＣＰＵ核上執(zhí)行一樣，由Ｐ來調(diào)度Ｇ在Ｍ上的運行，??可以理解為一種多對多的關系。??全局隊列?？？？（§）？？??ｔｎｊ?ｒｚ??Ｇ隊列?Ｍｉ?．．．??Ｇ?Ｉ?Ｇ??？?Ｇ?Ｇ?Ｇ??｜?Ｉ?＾?Ｉ?Ｉ??ｒ＿Ｌ＾?：??ｐ?ｐ?ｐ?ｐ??Ｍ：?．?：Ｍ??圖２－３?Ｇｏ調(diào)度器原理示意圖??Ｇ／Ｍ／Ｐ設計的精妙之處在于每個Ｍ／Ｐ都擁有一個運行隊列
【參考文獻】：
期刊論文
[1]基于閃存的混合存儲系統(tǒng)緩沖區(qū)管理算法[J]. 王光忠,王翰虎,陳梅,馬丹. 計算機工程與設計. 2012(06)
博士論文
[1]針對固態(tài)盤的I/O優(yōu)化技術研究[D]. 李紅艷.華中科技大學 2016
本文編號：2911314
【文章來源】：北京郵電大學北京市 211工程院校 教育部直屬院校
【文章頁數(shù)】：90 頁
【學位級別】：碩士
【部分圖文】：
圖２－１預寫日志工作原理示意圖??
中目前被廣泛應用的種類之一，它使用梯度下降法以獲得最小的實際輸出值與??期望輸出值的誤差均方差。??圖２－２所示是一個三層ＢＰ神經(jīng)網(wǎng)絡的拓撲結(jié)構(gòu)，它包括輸入層、隱含層和??輸出層。每個層中都有一定數(shù)量的神經(jīng)元，＆為輸入層和隱含層之間的連接權??值，％為隱含層和輸出層之間的鏈接權值。??ｉｎ?ｙｖ?ｈｊ?）??－２??圖２－２三層ＢＰ神經(jīng)網(wǎng)絡??ＢＰ神經(jīng)網(wǎng)絡模型的訓練主要由以下兩個過程組成，分別為前向傳播與反向??傳播。??２．２．２前向傳播??前向傳播也即計算實際輸出與期望輸出之間的誤差時按照從輸入到輸出的??方向進行計算，輸入信號通過隱含層作用于輸出節(jié)點，經(jīng)過非線性變換，產(chǎn)生??輸出信號，若誤差符合所設閾值，結(jié)果成立，否則轉(zhuǎn)入反向傳播的過程。設輸??入樣本為＇?＝?…ｚｊ，輸出值為＾＾＾，＾…況＾來計算系統(tǒng)誤??差值，誤差計算公式如公式（２－１）所示：??Ｅ｛ｎ）?＝?＼ｊ＾｛ＯＴｋｐ－Ｏｐｋ）２?（２－１）??＾?Ｐ＝＼?Ｋ＝＼??２．２．３反向傳播??當實際輸出與期望輸出誤差超出所設閾值時
??ｇｏ?ｆｉｍｃ（）語句就可以實現(xiàn)并發(fā)編程。如圖２－３所示，Ｇｏ調(diào)度器主要包括Ｇ／Ｍ／Ｐ??三個部分［２３】。??Ｇ即Ｇｏｒｏｕｔｉｎｅ，它類似于操作系統(tǒng)中的進程控制塊（ＰＣＢ），保存棧、狀態(tài)、??ｉｄ、函數(shù)等信息，它通過ｇｏｆｕｎｃＧ語句被創(chuàng)建，并且只有被綁定到Ｐ才可以被調(diào)??度執(zhí)行。??Ｍ即Ｍａｃｈｉｎｅ，它是實際工作的線程，因此，每當一個Ｍ被創(chuàng)建，一個底??層線程也被創(chuàng)建，而Ｇ最終也是通過Ｍ執(zhí)行的。Ｍ會從運行隊列中取出Ｇ并??運行，如果Ｇ運行完畢或休眠，則從隊列中取下一個Ｇ繼續(xù)運行。??Ｐ即Ｐｒｏｃｅｓｓｏｒ，它是被抽象出來的處理器概念，每個運行的Ｍ必須綁定一??個Ｐ，就像線程必須在一個ＣＰＵ核上執(zhí)行一樣，由Ｐ來調(diào)度Ｇ在Ｍ上的運行，??可以理解為一種多對多的關系。??全局隊列?？？？（§）？？??ｔｎｊ?ｒｚ??Ｇ隊列?Ｍｉ?．．．??Ｇ?Ｉ?Ｇ??？?Ｇ?Ｇ?Ｇ??｜?Ｉ?＾?Ｉ?Ｉ??ｒ＿Ｌ＾?：??ｐ?ｐ?ｐ?ｐ??Ｍ：?．?：Ｍ??圖２－３?Ｇｏ調(diào)度器原理示意圖??Ｇ／Ｍ／Ｐ設計的精妙之處在于每個Ｍ／Ｐ都擁有一個運行隊列
【參考文獻】：
期刊論文
[1]基于閃存的混合存儲系統(tǒng)緩沖區(qū)管理算法[J]. 王光忠,王翰虎,陳梅,馬丹. 計算機工程與設計. 2012(06)
博士論文
[1]針對固態(tài)盤的I/O優(yōu)化技術研究[D]. 李紅艷.華中科技大學 2016
本文編號：2911314
本文鏈接：http://www.wukwdryxk.cn/kejilunwen/jisuanjikexuelunwen/2911314.html
最近更新
教材專著
