發(fā)布時間：2020-08-10 23:04

【摘要】：互聯(lián)網(wǎng)大數(shù)據(jù)時代,廣告投入方和廣告展示商會根據(jù)廣告點擊率作出競拍決策,因此CTR預測的準確性對公司有很高的商業(yè)價值。機器學習在預測廣告點擊率方面起核心作用,CTR預估模型的研究具有實際商業(yè)應用價值以及理論研究價值。CTR預估中常用的模型是邏輯回歸,但是在廣告問題方面,首先數(shù)據(jù)維度高,數(shù)據(jù)量非常大,并且特征之間存在相關信息。以前,實際應用中需要快速處理數(shù)據(jù)并進行特征選擇,很大程度需要依靠人工經(jīng)驗,花費精力的同時不一定能帶來好的效果。另一方面,特征之間存在一些關聯(lián)信息,增加有效信息能提高預測的準確性。因此如何快速自動發(fā)現(xiàn)有效特征及構(gòu)建有效特征組合是CTR預估的關鍵問題。本文在現(xiàn)有常用GBDT構(gòu)建特征組合并通過LR進行預測的回歸模型基礎上,將可并行化的XGBoost算法代替?zhèn)鹘y(tǒng)GBDT,并加入特征之間的相關信息,用〈wi,fj',fi〉xixj表示特征二階交叉信息,即構(gòu)建了 FFM模型,添加到sigmoid函數(shù)得到預測概率值。本文還研究了集成學習的方式和有效性,將FFM模型的預測值作為新特征和已有特征一起輸入RF模型和XGBoost模型學習,由此建立了 XGBoost+FFM,FFM+RF,FFM+XGBoost的集成學習模型。在實證方面,主要使用logloss評估指標,與先前模型作對比,從準確性、運算速度、穩(wěn)定性分析所建模型的優(yōu)點。本文模型的主要優(yōu)點有三個。第一,本文考慮了特征之間的相關信息,考慮廣告數(shù)據(jù)的稀疏性,引入因子分解的方式構(gòu)建FFM模型,相比傳統(tǒng)的LR模型,FFM模型有更好的非線性擬合能力。第二,XGBoost的近似直方圖算法實現(xiàn)了提升法的并行計算,比之前的GBDT的運算速度明顯加快,并且準確性也高。第三,集成學習的方式大大提升了模型的泛化能力,且準確性有一定保證。
【學位授予單位】：浙江大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：C81
【圖文】：

一起輸入ＲＦ模型和ＸＧＢｏｏｓｔ模型學習，并且通過ＸＧＢｏｏｓｔ模型構(gòu)造新特征組合，和原逡逑始特征一起作為ＦＦＭ的輸入，由此建立了邋ＸＧＢｏｏｓｔ＋ＦＦＭ，邋ＦＦＭ＋ＲＦ，ＦＦＭ＋ＸＧＢｏｏｓｔ的逡逑集成學習模型。主要的模型結(jié)構(gòu)如下圖１－１所示：逡逑４逡逑

圖３－１：邋Ｂａｇｇｉｎｇ學習流程示意圖逡逑述，給出Ｂａｇｇｉｎｇ的學習算法（以回歸問題為例）：逡逑ｉｔｈｍ邋３－３：邋Ｂａｇｇｉｎｇ算法（以回歸問題為例）逡逑訓練集￡＞邋＝邋｛（力，％）私１，參數(shù)８，基學習算法逡逑基學習器的組合結(jié)果逡逑樣得到Ｂ個Ｂｏｏｔｓｔｒａｐ訓練集丨Ｄ＾＝１逡逑ｒ邋ｂ邋＝邋１，２，邋．．．，Ｂ邋ｄｏ：逡逑用Ｂｏｏｓｔｒａｐ訓練集Ｚ）ｂ得到基學習器（ｘ）逡逑ｄＦｏｒ逡逑合ｂ個學習器得到最終模型＝逡逑驗證明Ｂａｇｇｉｎｇ通常比單學習器的效果會有很大提升，雖然效果通ｎｇ，但是Ｂａｇｇｉｎｇ中的各個基學習器可以獨立進行，簡單適合并行計算，

邐Ｔ２（ｘ）逡逑（Ｓ邋八－ｅ２，邐—２＞）逡逑一＼邐＝逡逑＼（＝口：一咖」逡逑圖３－１：邋Ｂａｇｇｉｎｇ學習流程示意圖逡逑綜上所述，給出Ｂａｇｇｉｎｇ的學習算法（以回歸問題為例）：逡逑Ａｌｇｏｒｉｔｈｍ邋３－３：邋Ｂａｇｇｉｎｇ算法（以回歸問題為例）逡逑輸入：訓練集￡＞邋＝邋｛（力，％）私１，參數(shù)８，基學習算法逡逑輸出：基學習器的組合結(jié)果逡逑１．

【相似文獻】

相關期刊論文 前10條

1 徐繼偉;楊云;;集成學習方法:研究綜述[J];云南大學學報(自然科學版);2018年06期

2 武玉英;嚴勇;蔣國瑞;;基于動態(tài)選擇性集成學習的供應鏈產(chǎn)銷協(xié)商優(yōu)化策略[J];計算機工程;2017年05期

3 張滄生;崔麗娟;楊剛;倪志宏;;集成學習算法的比較研究[J];河北大學學報(自然科學版);2007年05期

4 郭福亮;周鋼;;集成學習中預測精度的影響因素分析[J];兵工自動化;2019年01期

5 米碩;孫瑞彬;李欣;明曉;;集成學習在文本分類問題中的應用[J];中國新通信;2018年09期

6 李曄;劉勝利;張兆林;;基于漂移檢測和集成學習的木馬檢測模型[J];信息工程大學學報;2017年06期

7 徐桂云;陳躍;張曉光;劉云楷;;基于選擇性集成學習的焊接缺陷識別研究[J];中國礦業(yè)大學學報;2011年06期

8 張春霞;張講社;;選擇性集成學習算法綜述[J];計算機學報;2011年08期

9 饒峰;;核機器集成學習算法的誤差分析[J];重慶文理學院學報(自然科學版);2010年04期

10 史雙睿;;異質(zhì)集成學習器在鳶尾花卉分類中的應用[J];電子制作;2019年02期

相關會議論文 前10條

1 關鵬洲;王夢毫;李倩;;基于集成學習和深度學習的短期降雨預測模型[A];2017年（第五屆）全國大學生統(tǒng)計建模大賽獲獎論文選[C];2017年

2 杜方鍵;楊宏暉;;K均值聚類優(yōu)化集成學習[A];2011'中國西部聲學學術交流會論文集[C];2011年

3 倪志偉;張琛;倪麗萍;;基于螢火蟲群優(yōu)化算法的選擇性集成霾天氣預報方法[A];中國系統(tǒng)工程學會第十八屆學術年會論文集——A12系統(tǒng)科學與系統(tǒng)工程理論在各個領域中的應用研究[C];2014年

4 李燁;蔡云澤;許曉鳴;;基于支持向量機集成的故障診斷[A];第16屆中國過程控制學術年會暨第4屆全國故障診斷與安全性學術會議論文集[C];2005年

5 吳龍飛;孫浩;計科峰;;基于集成映射的半監(jiān)督圖像分類方法[A];第八屆全國信號和智能信息處理與應用學術會議會刊[C];2014年

6 邱誠;倪子偉;陳珂;蘇旋;鄒權;;基于聚類方法的基分類器選擇策略研究[A];第29屆中國數(shù)據(jù)庫學術會議論文集（B輯）（NDBC2012）[C];2012年

7 張紅梅;;基于粗糙集特征約簡的SVM集成入侵檢測模型[A];2009中國控制與決策會議論文集（3）[C];2009年

8 程麗麗;張健沛;楊靜;馬駿;;一種提高支持向量機集成差異性的學習方法[A];第二十五屆中國數(shù)據(jù)庫學術會議論文集（一）[C];2008年

9 劉錕;邢延;蔡延光;;一種針對交互式學習系統(tǒng)日志數(shù)據(jù)的輕型化挖掘方法[A];2011年中國智能自動化學術會議論文集（第一分冊）[C];2011年

10 劉伍穎;王挺;;一種多過濾器集成學習垃圾郵件過濾方法[A];第三屆全國信息檢索與內(nèi)容安全學術會議論文集[C];2007年

相關重要報紙文章 前1條

1 本報記者 張曄;人腦比電腦更重要[N];科技日報;2008年

相關博士學位論文 前10條

1 李艷秋;基于集成學習的人臉識別研究[D];合肥工業(yè)大學;2018年

2 趙鶴;面向高維大數(shù)據(jù)的子空間集成學習方法研究[D];中國科學院大學(中國科學院深圳先進技術研究院);2017年

3 劉天羽;基于特征選擇技術的集成學習方法及其應用研究[D];上海大學;2007年

4 侯勇;特征提取與集成學習算法的研究及應用[D];北京科技大學;2015年

5 孫永宣;集成學習下的圖像分析關鍵問題研究[D];合肥工業(yè)大學;2013年

6 尹華;面向高維和不平衡數(shù)據(jù)分類的集成學習研究[D];武漢大學;2012年

7 阿里木·賽買提(Alim.Samat);基于集成學習的全極化SAR圖像分類研究[D];南京大學;2015年

8 劉沖;模擬電路故障診斷AdaBoost集成學習方法研究[D];大連海事大學;2011年

9 鈕冰;基于集成學習算法的若干生物信息學問題研究[D];上海大學;2009年

10 程麗麗;支持向量機集成學習算法研究[D];哈爾濱工程大學;2009年

相關碩士學位論文 前10條

1 王雪萍;基于RF、XGBoost和FFM集成的CTR預估[D];浙江大學;2018年

2 宋佳智;基于集成學習的膜蛋白金屬離子結(jié)合位點預測[D];東北師范大學;2018年

3 趙振賀;基于集成學習思想的礦產(chǎn)資源預測模型研究[D];吉林大學;2018年

4 趙帥;基于集成學習的高斯過程回歸軟測量建模方法研究[D];江南大學;2018年

5 鄭旭曼;基于集成學習的O_3濃度逐小時預測模型研究[D];華東師范大學;2018年

6 劉毅;基于集成學習算法的冠心病早期篩查方法研究[D];山東大學;2018年

7 李鵬鵬;基于集成學習的文本分類方法研究[D];西安工業(yè)大學;2018年

8 王軍;具有概念漂移的數(shù)據(jù)流分類研究[D];安徽工程大學;2018年

9 王茹雪;基于集成學習的不平衡數(shù)據(jù)分類算法的研究[D];吉林大學;2018年

10 劉文森;基于集成學習的短文本分類問題研究[D];國防科學技術大學;2016年

本文編號：2788726