發(fā)布時(shí)間：2021-01-18 06:41

　　隨著大數(shù)據(jù)的發(fā)展,數(shù)據(jù)的高維性和不平衡性成為常態(tài),經(jīng)典分類算法在處理這樣的高維不平衡數(shù)據(jù)時(shí)效果不理想,主要表現(xiàn)在分類結(jié)果向多數(shù)類樣本傾斜。但是在實(shí)際分類問題中,少數(shù)類樣本往往是關(guān)注的重點(diǎn)。因此如何在高維不平衡數(shù)據(jù)分類問題中提高少數(shù)類樣本的分類能力已經(jīng)成為當(dāng)前研究的熱點(diǎn)問題�，F(xiàn)有對(duì)高維不平衡數(shù)據(jù)的研究主要從數(shù)據(jù)、特征和算法等三個(gè)層面進(jìn)行,本文首先對(duì)這三個(gè)方面的研究現(xiàn)狀及相關(guān)理論背景進(jìn)行介紹,然后通過對(duì)京東大數(shù)據(jù)競(jìng)賽基于移動(dòng)網(wǎng)絡(luò)通訊行為的風(fēng)險(xiǎn)用戶識(shí)別數(shù)據(jù)進(jìn)行研究發(fā)現(xiàn),由于距離度量的引入使得傳統(tǒng)數(shù)據(jù)平衡化方法難以在高維不平衡數(shù)據(jù)上發(fā)揮作用,而且數(shù)據(jù)的高維性帶來了大量無關(guān)特征和冗余特征,使得經(jīng)典分類模型在高維不平衡數(shù)據(jù)分類問題上表現(xiàn)不佳。為了解決以上問題,本文提出了基于Filter-Embedded模式的二階段特征選擇復(fù)合lightGBM模型。首先在特征層面針對(duì)Filter模式特征選擇方法精度低和Embedded模式特征選擇方法計(jì)算復(fù)雜度高的問題提出了基于Filter-Embedded模式的二階段特征選擇方法,即先通過mRMR算法進(jìn)行Filter階段的特征選擇,刪除部分冗余特征和無關(guān)特征,然后... 

【文章來源】：山西大學(xué)山西省

【文章頁數(shù)】：52 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Filter階段特征選擇結(jié)果評(píng)價(jià)指標(biāo)折線圖

圖 4.3 特征重要度累積貢獻(xiàn)率圖看出，僅僅需要 260 個(gè)特征就可以取到模型子決策分特征屬于低重要度特征和零重要度特征，這部分特響模型分類結(jié)果，不利于模型訓(xùn)練，需要對(duì)此進(jìn)行

標(biāo)準(zhǔn)化后特征重要度top12的特征

【參考文獻(xiàn)】：
期刊論文
[1]新的基于代價(jià)敏感集成學(xué)習(xí)的非平衡數(shù)據(jù)集分類方法NIBoost[J]. 王莉,陳紅梅,王生武.  計(jì)算機(jī)應(yīng)用. 2019(03)
[2]不平衡數(shù)據(jù)分類方法綜述[J]. 李艷霞,柴毅,胡友強(qiáng),尹宏鵬.  控制與決策. 2019(04)
[3]基于CPD-SMOTE的類不平衡數(shù)據(jù)分類算法研究[J]. 彭如香,楊濤,孔華鋒,姜國(guó)慶,凡友榮.  計(jì)算機(jī)應(yīng)用與軟件. 2018(12)
[4]基于SVM的高維不平衡數(shù)據(jù)集分類算法[J]. 趙小強(qiáng),張露.  南京大學(xué)學(xué)報(bào)(自然科學(xué)). 2018(02)
[5]基于客戶細(xì)分和AdaBoost的電子商務(wù)客戶流失預(yù)測(cè)研究[J]. 武小軍,孟蘇芳.  工業(yè)工程. 2017(02)
[6]基于代價(jià)敏感的AdaBoost算法改進(jìn)[J]. 王學(xué)玲,王建林.  計(jì)算機(jī)應(yīng)用與軟件. 2013(10)
[7]一種基于混合重取樣策略的非均衡數(shù)據(jù)集分類算法[J]. 谷瓊,袁磊,寧彬,吳釗,華麗,李文新.  計(jì)算機(jī)工程與科學(xué). 2012(10)
[8]滾動(dòng)軸承故障診斷中數(shù)據(jù)不均衡問題的研究[J]. 劉天羽,李國(guó)正.  計(jì)算機(jī)工程與科學(xué). 2010(05)
[9]不均衡數(shù)據(jù)集中基于Adaboost的過抽樣算法[J]. 韓慧,王文淵,毛炳寰.  計(jì)算機(jī)工程. 2007(10)

博士論文
[1]面向高維和不平衡數(shù)據(jù)分類的集成學(xué)習(xí)研究[D]. 尹華.武漢大學(xué) 2012

碩士論文
[1]非平衡數(shù)據(jù)集分類算法的改進(jìn)和并行化研究[D]. 王莉.西南交通大學(xué) 2018
[2]面向高維大數(shù)據(jù)的特征選擇方法研究[D]. 張笑朋.太原理工大學(xué) 2018
[3]面向高維不平衡數(shù)據(jù)的特征選擇算法研究[D]. 王國(guó)權(quán).哈爾濱工業(yè)大學(xué) 2017
[4]大規(guī)模不均衡數(shù)據(jù)分類方法研究[D]. 浮盼盼.遼寧師范大學(xué) 2014
[5]不平衡數(shù)據(jù)集分類的Random-SMOTE方法研究[D]. 董燕杰.大連理工大學(xué) 2009



本文編號(hào)：2984481