發(fā)布時(shí)間：2020-06-07 03:36

【摘要】：隨著大數(shù)據(jù)時(shí)代的到來(lái),數(shù)據(jù)量與日俱增,推薦系統(tǒng)也迎來(lái)了發(fā)展和挑戰(zhàn)。比如,推薦系統(tǒng)暴露出重合點(diǎn)數(shù)比例高、冷啟動(dòng)、數(shù)據(jù)稀疏性等問(wèn)題。本文根據(jù)協(xié)同過(guò)濾推薦算法的特點(diǎn),研究協(xié)同過(guò)濾算法中的各種推薦技術(shù)。針對(duì)上述問(wèn)題提出了不同的解決方案,即相似度計(jì)算公式的優(yōu)化。首先,為解決重合點(diǎn)數(shù)比例過(guò)高的問(wèn)題,對(duì)協(xié)同過(guò)濾推薦算法的相似度計(jì)算公式提出兩點(diǎn)優(yōu)化。經(jīng)過(guò)優(yōu)化得到兩個(gè)相似度計(jì)算公式:Euclidean-CPARW和Concurrence-RW。在MovieLens100K數(shù)據(jù)集上進(jìn)行測(cè)試,使用均方根誤差作為評(píng)價(jià)指標(biāo),公式Euclidean-CPARW的推薦精度比其他四種相似度公式的計(jì)算結(jié)果提高1%左右;公式Concurrence-RW使用準(zhǔn)確率作為評(píng)價(jià)標(biāo)準(zhǔn),推薦結(jié)果的準(zhǔn)確率比其他四種相似度公式提高3%左右。其次,為緩和冷啟動(dòng)問(wèn)題和數(shù)據(jù)稀疏性問(wèn)題,提出一種優(yōu)化的混合協(xié)同過(guò)濾算法。該算法結(jié)合了電影標(biāo)簽信息,基于優(yōu)化的混合相似度公式BAJ-DCMS,通過(guò)評(píng)分表中共同評(píng)分的數(shù)量,自適應(yīng)的選取一種利于當(dāng)前評(píng)分?jǐn)?shù)的相似度公式。公式BAJ-DCMS在MovieLens數(shù)據(jù)集上證明了算法的效果,使用均方根誤差作為評(píng)價(jià)指標(biāo),計(jì)算出的推薦精度比其他兩種相似度公式提高2%左右。最終,實(shí)現(xiàn)一個(gè)基于Spark大數(shù)據(jù)處理平臺(tái)的個(gè)性化電影推薦系統(tǒng)。包括Spark大數(shù)據(jù)處理和Scrapy網(wǎng)絡(luò)爬蟲(chóng),推薦引擎采用前文敘述的優(yōu)化的混合相似度公式BAJ-DCMS。系統(tǒng)框架使用SSM框架,數(shù)據(jù)存儲(chǔ)使用數(shù)據(jù)庫(kù)MySQL和分布式存儲(chǔ)系統(tǒng)HDFS,通過(guò)Web瀏覽器與用戶進(jìn)行人機(jī)交互,通過(guò)Web可以看到為用戶推薦的個(gè)性化電影列表以及每一部電影海報(bào)、主頁(yè)等信息。
【圖文】：

圖 1-1 各類推薦系統(tǒng)優(yōu)缺點(diǎn)對(duì)比圖Netflix，IMDb，，MovieLens 等 Web 網(wǎng)站是一些流行的推薦系統(tǒng)，它們利用數(shù)據(jù)挖掘和數(shù)據(jù)分析的功能來(lái)分析與其用戶和電影相關(guān)的各種因素，并根據(jù)這些因素提出建議。伴隨著推薦系統(tǒng)的提出，推薦系統(tǒng)也如雨后春筍般發(fā)展，常見(jiàn)的幾種推薦系統(tǒng)優(yōu)缺點(diǎn)對(duì)比如圖 1-1 所示。中國(guó)對(duì)于協(xié)同過(guò)濾算法的探索剛起步不久，目前尚沒(méi)有完全成熟且有體系的推薦系統(tǒng)。隨著計(jì)算機(jī)科學(xué)的發(fā)展以及推薦系統(tǒng)不斷被推廣，推薦系統(tǒng)的技術(shù)一定會(huì)取得更進(jìn)一步的實(shí)質(zhì)性的成果，他可以有效的應(yīng)用在電商中，為用戶推薦出適合他們的產(chǎn)品。1.3 本文的系統(tǒng)需求分析1.3.1 推薦引擎的需求

電子科技大學(xué)碩士學(xué)位論文（3）瀏覽相似電影，瀏覽與觀看過(guò)電影相似的電影。（4）瀏覽電影想詳情，查看電影的詳情頁(yè)，如電影的介紹、演員情況、電影的其他鏈接等。（5）搜索電影，在搜索框輸入電影名字對(duì)數(shù)據(jù)庫(kù)中電影的搜索。可以按類別搜索、按熱度搜索、按時(shí)間搜索、按名稱搜索、按時(shí)間搜索。（6）瀏覽相關(guān)資訊，查看與當(dāng)前電影相關(guān)的評(píng)價(jià)等。（7）瀏覽推薦電影，根據(jù)用戶平時(shí)的電影評(píng)分和興趣標(biāo)簽對(duì)用戶推薦默認(rèn)的10 部電影。（8）個(gè)人主頁(yè)，對(duì)個(gè)人主頁(yè)的信息進(jìn)行更改。比如編輯個(gè)人資料、查看收藏電影、查看評(píng)價(jià)電影。（9）評(píng)價(jià)、收藏電影，對(duì)觀看或未觀看過(guò)的電影做出評(píng)價(jià)或評(píng)分以及收藏等操作。
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：J943;TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 師秦龍;陳偉;魏浩;;基于物品協(xié)同過(guò)濾推薦系統(tǒng)的研究[J];福建電腦;2015年07期

2 查九;李振博;徐桂瓊;;基于組合相似度的優(yōu)化協(xié)同過(guò)濾算法[J];計(jì)算機(jī)應(yīng)用與軟件;2014年12期

3 冷亞軍;陸青;梁昌勇;;協(xié)同過(guò)濾推薦技術(shù)綜述[J];模式識(shí)別與人工智能;2014年08期

4 榮輝桂;火生旭;胡春華;莫進(jìn)俠;;基于用戶相似度的協(xié)同過(guò)濾推薦算法[J];通信學(xué)報(bào);2014年02期

5 李芬;朱志祥;劉盛輝;;大數(shù)據(jù)發(fā)展現(xiàn)狀及面臨的問(wèn)題[J];西安郵電大學(xué)學(xué)報(bào);2013年05期

6 鄔賀銓;;大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)[J];求是;2013年04期

7 孫冬婷;何濤;張福海;;推薦系統(tǒng)中的冷啟動(dòng)問(wèn)題研究綜述[J];計(jì)算機(jī)與現(xiàn)代化;2012年05期

8 朱郁筱;呂琳媛;;推薦系統(tǒng)評(píng)價(jià)指標(biāo)綜述[J];電子科技大學(xué)學(xué)報(bào);2012年02期

9 許棣華;王志堅(jiān);林巧民;黃衛(wèi)東;;一種基于偏好的個(gè)性化標(biāo)簽推薦系統(tǒng)[J];計(jì)算機(jī)應(yīng)用研究;2011年07期

10 湯效琴;;數(shù)據(jù)挖掘中的軟計(jì)算方法及其應(yīng)用[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2008年03期

相關(guān)博士學(xué)位論文 前1條

1 練建勛;基于多樣化內(nèi)容數(shù)據(jù)的個(gè)性化推薦系統(tǒng)[D];中國(guó)科學(xué)技術(shù)大學(xué);2018年

相關(guān)碩士學(xué)位論文 前6條

1 李巧巧;面向負(fù)載均衡的Spark任務(wù)劃分與調(diào)度策略研究[D];湖南大學(xué);2017年

2 武志強(qiáng);基于SpringMVC和MyBatis框架的理財(cái)規(guī)劃系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京交通大學(xué);2016年

3 朱明;基于Hadoop2.0的海量數(shù)據(jù)處理[D];遼寧科技大學(xué);2015年

4 李文棟;基于Spark的大數(shù)據(jù)挖掘技術(shù)的研究與實(shí)現(xiàn)[D];山東大學(xué);2015年

5 胡于響;基于Spark的推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2015年

6 宋瑞平;混合推薦算法的研究[D];蘭州大學(xué);2014年

本文編號(hào)：2700777