微博信息可視化系統(tǒng)的設(shè)計與實現(xiàn)
發(fā)布時間：2020-12-08 20:43
隨著移動互聯(lián)網(wǎng)的發(fā)展,參與微博類社交平臺的用戶數(shù)呈指數(shù)級增長。據(jù)新浪微博去年第二季度財報統(tǒng)計,微博用戶月活躍規(guī)模己達4.31億。面對浩瀚如海的微博文本集,如何根據(jù)關(guān)鍵字、話題等查詢需求,對檢索結(jié)果集精確高效分析、可視化處理,是目前亟需的功能。而當前各微博平臺的檢索功能,只能返回文檔形式的結(jié)果集。如何根據(jù)查詢需求,對所有查詢結(jié)果集做更有效的可視化處理,是微博信息平臺目前面臨的最大挑戰(zhàn)。針對該挑戰(zhàn),本文構(gòu)建了微博信息可視化系統(tǒng),主要研究工作包括以下兩個部分:第一,話題趨勢與地域分析:首先使用WebCollector爬蟲下載微博原始帖子,并根據(jù)規(guī)則預(yù)處理;然后再利用中文IK分詞器插件和自定義擴展詞典,對語料庫中每篇短文本做分詞、消歧、去停用詞等處理,并生成對應(yīng)的倒排記錄表和詞典;之后再利用ELK技術(shù)棧搭建分布式索引庫和搜索引擎平臺,將倒排記錄表和詞典中所有數(shù)據(jù)存儲在該平臺中;最后根據(jù)信息檢索模型查詢結(jié)果集,利用可視化組件Kibana對查詢結(jié)果集做數(shù)據(jù)統(tǒng)計分析與可視化處理。通過該功能,可以幫助用戶快速從結(jié)果集中獲取與其相關(guān)的用戶地域分布、話題發(fā)展趨勢以及關(guān)注程度。第二,話題聚類:首先利用檢索功...
【文章來源】：華中師范大學(xué)湖北省 211工程院校 教育部直屬院校
【文章頁數(shù)】：63 頁
【學(xué)位級別】：碩士
【部分圖文】：
圖２．１通用型網(wǎng)絡(luò)爬蟲系統(tǒng)結(jié)構(gòu)圖??
??圖２．１通用型網(wǎng)絡(luò)爬蟲系統(tǒng)結(jié)構(gòu)圖??２．?１．?２深層網(wǎng)絡(luò)爬蟲??根據(jù)訪問網(wǎng)站中網(wǎng)頁的方式，可將網(wǎng)頁分為深層與表層網(wǎng)頁。表層網(wǎng)頁是指??不需用戶經(jīng)過注冊登錄、權(quán)限驗證可直接落地訪問，或可通過ＵＲＬ鏈接直接落地??訪問，或由靜態(tài)網(wǎng)頁構(gòu)成的Ｗｅｂ頁面。同時，也包括那些能被搜索引擎直接索引??的網(wǎng)頁。對于深層頁面，則指哪些隱藏在表單后面，或需要登錄后才能訪問的??Ｗｅｂ頁面；另外，它也是互聯(lián)網(wǎng)環(huán)境中訪問量最大、發(fā)展最快的資源。這里著重??介紹爬取深層網(wǎng)頁的網(wǎng)絡(luò)爬蟲——深層網(wǎng)絡(luò)爬蟲，從系統(tǒng)功能角度來看，其主要??由表單處理器、表單填充與提交、主題分類器、ＵＲＬ隊列、響應(yīng)結(jié)果分析、頁面??分析器、主題詞庫組成［９］，系統(tǒng)結(jié)構(gòu)設(shè)計如圖２．２所示。涉及到的數(shù)據(jù)結(jié)構(gòu)主要包??括ＵＲＬ隊列、填充表單數(shù)據(jù)源的主題詞庫
妒墾?宦畚模崳姡停粒櫻裕牛遙В櫻牐裕齲牛櫻桑櫻崳?過濾模塊、內(nèi)容分析器、倒排索引庫、評價模塊、頁面內(nèi)容數(shù)據(jù)庫、搜索策略處??理器、ＵＲＬ緩存共九個模塊組成［１２］，對應(yīng)的系統(tǒng)結(jié)構(gòu)設(shè)計如圖２．３所示。??＾?頁面?（??Ｉ?Ｔｖ?????Ｉ頁面內(nèi)容數(shù)據(jù)庫??頁面陡取橫塊??搜索策略處理器??內(nèi)容分析器?￣｜?ＵＲＬ緩存?ｆ?狐隊列?ｆ?ｒ—??主歴詞??？?ＩＲ１．過濾挨塊?種子陳??ｉ??ｆ?索引庫?Ｑ??？評價模塊????圖２．３主題型網(wǎng)絡(luò)爬蟲結(jié)構(gòu)圖??２．１．４增量式網(wǎng)絡(luò)爬蟲??增量式爬蟲是一種以抓取保存的網(wǎng)頁內(nèi)容和鏈接為基礎(chǔ)，只爬取網(wǎng)頁內(nèi)容發(fā)??生改變或新增的爬蟲。其目標就是保證當前存儲內(nèi)容的質(zhì)量，以及與網(wǎng)絡(luò)頁面內(nèi)??容的一致性。為了實現(xiàn)內(nèi)容一致性，通常使用這三種策略，第一是所有爬蟲以相??同的周期，訪問ＵＲＬ消費隊列中所有資源；第二是根據(jù)頁面內(nèi)容更新周期的大小，??分為不同區(qū)域的子集ＵＲＬ隊列，用不同的周期訪問各個子集；第三是根據(jù)每個網(wǎng)??頁的更新周期，重新抓取各個頁面。為了提聞內(nèi)容的質(zhì)量，則需根據(jù)業(yè)務(wù)需求選??擇恰當?shù)呐廊〔呗�，對網(wǎng)頁爬取順序做出排序。與其它類爬蟲相比，增量式網(wǎng)絡(luò)??爬蟲以相應(yīng)的爬行策略實現(xiàn)了內(nèi)容去重
【參考文獻】：
期刊論文
[1]基于搜索引擎的中文歧義詞收集系統(tǒng)研究[J]. 吉向東. 現(xiàn)代情報. 2010(06)
[2]基于統(tǒng)計語言模型的信息檢索[J]. 李曉光,王大玲,于戈. 計算機科學(xué). 2005(08)
[3]文本信息檢索中的概率模型[J]. 張文進. 情報雜志. 2005(03)
[4]信息檢索的概率模型[J]. 邢永康,馬少平. 計算機科學(xué). 2003(08)
碩士論文
[1]微博輿情可視化系統(tǒng)的研究與實現(xiàn)[D]. 黃冠華.江蘇大學(xué) 2016
[2]基于微博用戶行為的興趣模型構(gòu)建和可視化方法研究[D]. 何苾菲.哈爾濱工業(yè)大學(xué) 2013
[3]社會標注中標簽語義分析研究[D]. 吳曉芳.大連理工大學(xué) 2011
本文編號：2905659
【文章來源】：華中師范大學(xué)湖北省 211工程院校 教育部直屬院校
【文章頁數(shù)】：63 頁
【學(xué)位級別】：碩士
【部分圖文】：
圖２．１通用型網(wǎng)絡(luò)爬蟲系統(tǒng)結(jié)構(gòu)圖??
??圖２．１通用型網(wǎng)絡(luò)爬蟲系統(tǒng)結(jié)構(gòu)圖??２．?１．?２深層網(wǎng)絡(luò)爬蟲??根據(jù)訪問網(wǎng)站中網(wǎng)頁的方式，可將網(wǎng)頁分為深層與表層網(wǎng)頁。表層網(wǎng)頁是指??不需用戶經(jīng)過注冊登錄、權(quán)限驗證可直接落地訪問，或可通過ＵＲＬ鏈接直接落地??訪問，或由靜態(tài)網(wǎng)頁構(gòu)成的Ｗｅｂ頁面。同時，也包括那些能被搜索引擎直接索引??的網(wǎng)頁。對于深層頁面，則指哪些隱藏在表單后面，或需要登錄后才能訪問的??Ｗｅｂ頁面；另外，它也是互聯(lián)網(wǎng)環(huán)境中訪問量最大、發(fā)展最快的資源。這里著重??介紹爬取深層網(wǎng)頁的網(wǎng)絡(luò)爬蟲——深層網(wǎng)絡(luò)爬蟲，從系統(tǒng)功能角度來看，其主要??由表單處理器、表單填充與提交、主題分類器、ＵＲＬ隊列、響應(yīng)結(jié)果分析、頁面??分析器、主題詞庫組成［９］，系統(tǒng)結(jié)構(gòu)設(shè)計如圖２．２所示。涉及到的數(shù)據(jù)結(jié)構(gòu)主要包??括ＵＲＬ隊列、填充表單數(shù)據(jù)源的主題詞庫
妒墾?宦畚模崳姡停粒櫻裕牛遙В櫻牐裕齲牛櫻桑櫻崳?過濾模塊、內(nèi)容分析器、倒排索引庫、評價模塊、頁面內(nèi)容數(shù)據(jù)庫、搜索策略處??理器、ＵＲＬ緩存共九個模塊組成［１２］，對應(yīng)的系統(tǒng)結(jié)構(gòu)設(shè)計如圖２．３所示。??＾?頁面?（??Ｉ?Ｔｖ?????Ｉ頁面內(nèi)容數(shù)據(jù)庫??頁面陡取橫塊??搜索策略處理器??內(nèi)容分析器?￣｜?ＵＲＬ緩存?ｆ?狐隊列?ｆ?ｒ—??主歴詞??？?ＩＲ１．過濾挨塊?種子陳??ｉ??ｆ?索引庫?Ｑ??？評價模塊????圖２．３主題型網(wǎng)絡(luò)爬蟲結(jié)構(gòu)圖??２．１．４增量式網(wǎng)絡(luò)爬蟲??增量式爬蟲是一種以抓取保存的網(wǎng)頁內(nèi)容和鏈接為基礎(chǔ)，只爬取網(wǎng)頁內(nèi)容發(fā)??生改變或新增的爬蟲。其目標就是保證當前存儲內(nèi)容的質(zhì)量，以及與網(wǎng)絡(luò)頁面內(nèi)??容的一致性。為了實現(xiàn)內(nèi)容一致性，通常使用這三種策略，第一是所有爬蟲以相??同的周期，訪問ＵＲＬ消費隊列中所有資源；第二是根據(jù)頁面內(nèi)容更新周期的大小，??分為不同區(qū)域的子集ＵＲＬ隊列，用不同的周期訪問各個子集；第三是根據(jù)每個網(wǎng)??頁的更新周期，重新抓取各個頁面。為了提聞內(nèi)容的質(zhì)量，則需根據(jù)業(yè)務(wù)需求選??擇恰當?shù)呐廊〔呗�，對網(wǎng)頁爬取順序做出排序。與其它類爬蟲相比，增量式網(wǎng)絡(luò)??爬蟲以相應(yīng)的爬行策略實現(xiàn)了內(nèi)容去重
【參考文獻】：
期刊論文
[1]基于搜索引擎的中文歧義詞收集系統(tǒng)研究[J]. 吉向東. 現(xiàn)代情報. 2010(06)
[2]基于統(tǒng)計語言模型的信息檢索[J]. 李曉光,王大玲,于戈. 計算機科學(xué). 2005(08)
[3]文本信息檢索中的概率模型[J]. 張文進. 情報雜志. 2005(03)
[4]信息檢索的概率模型[J]. 邢永康,馬少平. 計算機科學(xué). 2003(08)
碩士論文
[1]微博輿情可視化系統(tǒng)的研究與實現(xiàn)[D]. 黃冠華.江蘇大學(xué) 2016
[2]基于微博用戶行為的興趣模型構(gòu)建和可視化方法研究[D]. 何苾菲.哈爾濱工業(yè)大學(xué) 2013
[3]社會標注中標簽語義分析研究[D]. 吳曉芳.大連理工大學(xué) 2011
本文編號：2905659
本文鏈接：http://www.wukwdryxk.cn/guanlilunwen/ydhl/2905659.html
最近更新
教材專著
