發(fā)布時間：2020-04-16 17:28

【摘要】：高斯過程作為一種柔性貝葉斯非參數(shù)化模型,近年來已被逐漸應用于機器學習等相關領域中,并取得了良好的效果。然而現(xiàn)存的相關模型,如高斯過程回歸模型、高斯過程分類模型、高斯過程隱變量模型等,僅簡單地將高斯過程先驗應用于模型構建中,忽略了機器學習任務自身的特殊性和其包含的各種信息,從而無法滿足各種機器學習任務的需求。因此為解決上述問題,本文分別從多任務學習、度量學習、多視圖學習、特征相關性學習四個機器學習具體任務角度對高斯過程及高斯過程隱變量模型的擴展方法進行了探索,進一步擴展了高斯過程和高斯過程隱變量模型的應用范圍。本文的主要工作包括如下幾個方面:(1)提出了一種面向多任務學習的層次高斯過程隱變量模型。與普通的高斯過程多任務學習模型不同,該模型包含兩個層次:共享特征學習層和任務相關性構建層。其中,前者用于多任務共享特征的學習;后者用于顯式構建和利用任務之間的相關性�；�于這種層次結構,模型不僅可以明確的嵌入任務相關性,同時有效避免了交叉協(xié)方差矩陣高斯過程多任務學習模型的較高計算及存儲復雜度問題。實驗結果表明,本文提出的模型具有明顯優(yōu)于其他高斯過程多任務學習模型的性能。(2)提出了一種面向度量學習的高斯過程隱變量模型。在模型構建過程中,本文使用高斯過程對雙線性相似度學習模型進行了重新刻畫,進而實現(xiàn)了非參數(shù)化的度量學習方法。不同于現(xiàn)有的參數(shù)化度量學習模型,本文提出的模型有效解決了參數(shù)化模型的參數(shù)化假設導致的模型易過擬合以及柔性不足等問題。同時該模型也繼承了高斯過程模型的非線性學習和不確定性預測等優(yōu)點。實驗結果表明,本文提出的模型具有較好的非線性特征學習和相似性預測能力。(3)提出了一種面向不完整多視圖數(shù)據(jù)聚類的共享高斯過程隱變量模型。該模型針對包含缺失實例的多視圖數(shù)據(jù)聚類問題,通過在共享高斯過程隱變量模型中引入若干對齊的輔助點的方式來彌補缺失數(shù)據(jù)造成的信息損失并實現(xiàn)組級(goup-level)約束,進而提升隱變量模型在不完整多視圖數(shù)據(jù)學習任務中的性能。實驗結果表明,本文提出的模型具有明顯優(yōu)于現(xiàn)有不完整多視圖數(shù)據(jù)聚類模型的性能。同時其可以直接地被擴展并應用于包含多于兩個視圖的數(shù)據(jù)學習任務中。(4)提出了一種面向特征相關性學習的高斯過程隱變量模型。為了有效地學習和利用數(shù)據(jù)原始輸入特征的相關性、提升隱變量模型的特征學習能力,本文首先在高斯過程隱變量模型中引入一系列額外的隱變量(特征描述變量)來顯式地刻畫數(shù)據(jù)原始特征的相關性,進而構建出一個聯(lián)合的目標函數(shù)并將其用于低維隱變量和特征描述變量的同時學習。該模型不僅可以用于無監(jiān)督學習中,同時也可以利用數(shù)據(jù)的標記信息進一步提升模型的特征學習能力。實驗結果表明,在無監(jiān)督和有監(jiān)督兩種學習場景中,本文提出的模型均有優(yōu)良的特征學習能力,同時能夠自動地學習及預測樣本輸入特征的相關性。此外,本文在稀疏高斯過程求解方面進行了一定的探索,使用變分推理及隨機變分推理方法分別對(3)和(4)提出的模型進行了擴展,使其可用于包含大規(guī)模數(shù)據(jù)樣本的學習任務中。
【圖文】：

圖１．１本文的技術路線圖

＃邋ｏｆ邋ｔｒａｉｎｉｎｇ邋ｔａｓｋｓ逡逑圖２．３在Ｓｃｈｏｏｌ數(shù)據(jù)上，各模型在不同任務數(shù)下的平均解釋方差。逡逑到模型在不同的訓練樣本下平均解釋方差如圖２．４所示�？梢钥闯觯�ｓ在訓練集樣本較少時，所有逡逑模型的精度都較低。然而，隨著樣本數(shù)的不斷增加，，所有的模型的性能均顯著提升。且在多數(shù)情逡逑況下．，ＨＧＰＭＴ和ｒｅｇｕｌａｒｉｚｅｄ－ＨＧＰＭＴ的精度明顯由于其它模型逡逑３３邐Ｉ邐ｋ邐Ｉ邐１邐Ｉ邐Ｉ邐ｉ邐ｉ邐＊逡逑Ｔ邋邐．｝邐—＊ｌ邐邐＾逡逑３６－逡逑３４－邐＾逡逑ｉ：邐：逡逑ｉ２６－邐——＾逡逑°邋２４－邐邐ｆｏｃｕｓｅｄ邋ＭＴ－ＧＰ逡逑—＇—邋Ｋｒｏｎｅｃｋｅｒ邋ＧＰ逡逑２２邋－邐—＊—邋ＧＰＭＴＦＳ逡逑￣４１—邋ＭＴＭＫＬ逡逑２０邋－邐－６—邋ＨＧＰＭＴ逡逑Ｉ邐—Ｔ—邋ｒｅｇｕｌａｒｉｚｅｄ－ＨＧＰＭＴ逡逑１８１邐１邐１邐１邐＊邐＇邐丨邐ｉ邐．丨邐■逡逑１０邐２０邐３０邐４０邐５０邐６０邐７０邐８０邐９０邐１００邐１１０逡逑＃邋ｏｆ邋ｔｒａｉｎｉｎｇ邋ｅｘａｍｐｌｅｓ邋（％）逡逑圖２．４在Ｓｃｈｏｏｌ數(shù)據(jù)上
【學位授予單位】：南京航空航天大學
【學位級別】：博士
【學位授予年份】：2018
【分類號】：TP181

【相似文獻】

相關期刊論文 前10條

1 董軍超;陳津虎;胡彥平;楊學印;;基于逆高斯過程的加速退化試驗失效機理一致性判定[J];強度與環(huán)境;2019年05期

2 鐘美;趙兵濤;黃朔;;基于高斯過程回歸的燃煤煙氣汞排放預測[J];動力工程學報;2016年12期

3 李慧瓊;;d維平穩(wěn)高斯過程極集的充分條件及維數(shù)[J];數(shù)學雜志;2007年05期

4 胡愛平;伍度志;;平穩(wěn)高斯過程最大值的極限分布[J];西南師范大學學報(自然科學版);2006年06期

5 謝盛榮;一類高斯過程在高水平u上的逗留[J];科學通報;1998年13期

6 陳振龍,徐賜文;d維平穩(wěn)高斯過程相交局部時的幾個性質[J];武漢工業(yè)大學學報;1999年06期

7 侯炳旭;俞冀陽;徐沾杰;江光明;鄒志強;;利用高斯過程回歸對燃爆單元寬度的預測方法研究[J];核動力工程;2017年02期

8 李棕;崔得龍;;基于高斯過程回歸和強化學習的云資源調度算法[J];電子設計工程;2017年11期

9 吳明;宋博;王鋒;唐紅;;基于高斯過程分類的調制識別方法[J];計算機仿真;2015年10期

10 陳宗帥;楊昌明;閆利宇;;基于計算機模擬與高斯過程回歸的優(yōu)化設計方法[J];計算機光盤軟件與應用;2014年14期

相關會議論文 前4條

1 周曉康;吳少川;;基于高斯過程回歸的室內無線信號源定位[A];2018中國信息通信大會論文摘要集[C];2018年

2 劉信恩;;高斯過程響應面法及其應用研究[A];中國工程物理研究院科技年報（2010年版）[C];2011年

3 何志昆;劉光斌;姚志成;趙曦晶;;基于高斯過程回歸的FOG標度因數(shù)溫度漂移建模新方法[A];第25屆中國控制與決策會議論文集[C];2013年

4 龐夢非;唐國安;張美艷;;參數(shù)不確定性對橋梁振動特性的影響[A];第十屆動力學與控制學術會議摘要集[C];2016年

相關博士學位論文 前10條

1 李平;面向任務的高斯過程隱變量模型擴展研究[D];南京航空航天大學;2018年

2 孫立劍;基于高斯過程的復雜光學曲面重建和多傳感器數(shù)據(jù)融合方法研究[D];上海交通大學;2018年

3 王洪橋;高斯過程回歸在不確定性量化中的應用[D];上海交通大學;2018年

4 陳凱;面向多任務模式學習與外推的自適應高斯過程算法研究[D];中國科學院大學(中國科學院深圳先進技術研究院);2019年

5 于曉默;面向制造生產(chǎn)過程的高斯過程優(yōu)化理論研究及應用[D];廣西大學;2015年

6 洪曉丹;基于復雜噪聲的高斯過程回歸建模方法研究[D];東華大學;2018年

7 潘偉;基于高斯過程的高爐煉鐵過程辨識與預測[D];浙江大學;2012年

8 賀建軍;基于高斯過程模型的機器學習算法研究及應用[D];大連理工大學;2012年

9 房晟辰;基于高斯過程回歸及Trust-Tech的短期風電功率預測方法[D];天津大學;2016年

10 趙偉;復雜工程結構可靠度分析的高斯過程動態(tài)響應面方法研究[D];廣西大學;2014年

相關碩士學位論文 前10條

1 鐘友玲;基于高斯過程回歸模型的深基坑變形預測方法研究[D];江西理工大學;2019年

2 李勇;雜波環(huán)境下基于高斯過程的擴展目標跟蹤技術[D];杭州電子科技大學;2019年

3 張宇;基于高斯過程回歸的高鐵制動過程速度預測[D];北京交通大學;2019年

4 李爍;考慮測量誤差的逆高斯過程退化建模與加速退化試驗設計[D];上海交通大學;2018年

5 夏嘉欣;基于帶有噪聲輸入稀疏高斯過程的人體姿態(tài)分析[D];上海交通大學;2018年

6 姜珊;基于高斯過程的偏微分方程數(shù)值解法構造[D];云南財經(jīng)大學;2019年

7 朱泓鈺;高斯過程模型對股票價格的預測研究[D];云南大學;2017年

8 楊成飛;基于高斯過程的智能采樣策略研究[D];中國科學技術大學;2019年

9 范簫鴻;基于PSO算法和高斯過程的微波器件優(yōu)化設計[D];江蘇科技大學;2019年

10 周雪;基于高斯過程模型的室內定位方法研究[D];東北師范大學;2019年

本文編號：2629848