發(fā)布時間：2018-06-19 18:40

  本文選題：玻爾茲曼機 + 信息幾何��； 參考：《天津大學(xué)》2016年博士論文

【摘要】：深度學(xué)習模型已經(jīng)在眾多應(yīng)用領(lǐng)域取得了引人矚目的成功。相對于經(jīng)驗意義上的成功,深度學(xué)習在模型設(shè)計和訓(xùn)練方法等方面的理論基礎(chǔ)相對薄弱。實際中,研究者需要通過大量試錯來設(shè)定模型結(jié)構(gòu)和控制模型訓(xùn)練過程。由于缺乏理論指導(dǎo)所造成的設(shè)計復(fù)雜性已成為限制深度學(xué)習更廣泛應(yīng)用的瓶頸。本文旨在解決無監(jiān)督設(shè)置下神經(jīng)網(wǎng)絡(luò)的參數(shù)選擇(約簡)問題:利用盡量少的參數(shù),保留盡量多的目標概率分布的信息,用以提高應(yīng)用模型的計算效率和泛化能力。論文將玻爾茲曼機作為研究對象,因為:1)其作為基本構(gòu)件廣泛應(yīng)用于很多深度學(xué)習模型中;2)信息幾何理論為其提供了較完備統(tǒng)一的理論分析工具和解釋視角。基于信息幾何理論,我們將模型的參數(shù)選擇問題轉(zhuǎn)化為統(tǒng)計流形上幾何結(jié)構(gòu)的最大化保持問題。具體的,本文的主要研究內(nèi)容包括:1.提出了多元布爾分布族的一般性參數(shù)選擇準則。參數(shù)的相對重要程度定義為Fisher-Rao信息距離在該參數(shù)方向的貢獻分量(稱為可信度)。我們可以保留可信度高的參數(shù),而給低可信度的參數(shù)賦予中立值(通常為0)。上述參數(shù)選擇準則稱為可信信息優(yōu)先原則。我們證明可信信息優(yōu)先原則所實現(xiàn)的子流形可以最大程度地保持概率單純形上任意一點與其小ε-鄰域球上各點之間的期望Fisher-Rao信息距離。2.解析了不同類型玻爾茲曼機對可信信息優(yōu)先原則的實現(xiàn)方式,進而揭示玻爾茲曼機估計多元布爾分布的優(yōu)化意義。3.提出了在給定樣本情況下玻爾茲曼機的高效模型選擇算法。我們可以依可信度確定模型參數(shù)的優(yōu)先順序,并設(shè)計了假設(shè)檢驗方法用以自動辨識參數(shù)可信度的顯著性水平,顯著降低了模型選擇的時間復(fù)雜度。4.提出了針對深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)正則化方法,用于解決訓(xùn)練過程中的過擬合問題。我們通過保留可信度高的邊組成可信網(wǎng)絡(luò)(稱為ConfNet),并設(shè)計訓(xùn)練算法實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的動態(tài)調(diào)整,達致模型復(fù)雜性與訓(xùn)練樣本規(guī)模之間的平衡。
[Abstract]:Based on the theory of information geometry , we propose a method for selecting the parameters of the neural network .
【學(xué)位授予單位】：天津大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TP18

【相似文獻】

相關(guān)期刊論文 前3條

1 劉建偉;劉媛;羅雄麟;;玻爾茲曼機研究進展[J];計算機研究與發(fā)展;2014年01期

2 劉來福，，唐志宇，匡錦瑜;向量玻爾茲曼機[J];北京師范大學(xué)學(xué)報(自然科學(xué)版);1996年04期

3 秦勝君;盧志平;;基于限制玻爾茲曼機的無極性標注情感分類研究[J];科學(xué)技術(shù)與工程;2013年35期

相關(guān)博士學(xué)位論文 前1條

1 趙曉朝;玻爾茲曼機的參數(shù)選擇理論及應(yīng)用[D];天津大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 糜帥;基于曲率信息的受限玻爾茲曼機訓(xùn)練算法[D];天津大學(xué);2016年

2 李娟;基于RBM的小分子活性及選擇性研究[D];蘭州大學(xué);2015年

3 葉睿;基于深度學(xué)習的人臉檢測方法研究[D];哈爾濱工業(yè)大學(xué);2015年

4 張衛(wèi)東;深度信念網(wǎng)絡(luò)及其在手寫字體識別中的應(yīng)用[D];成都理工大學(xué);2015年

5 施維劏;門限玻爾茲曼機在人臉識別中的魯棒性研究[D];北京交通大學(xué);2015年

6 萬程;自適應(yīng)基數(shù)受限玻爾茲曼機[D];清華大學(xué);2015年

7 李亦錟;受限的玻爾茲曼機在背景建模和文本建模中的研究與應(yīng)用[D];中國科學(xué)技術(shù)大學(xué);2016年

8 張艷霞;基于受限玻爾茲曼機的深度學(xué)習模型及其應(yīng)用[D];電子科技大學(xué);2016年

9 朱常寶;基于深度玻爾茲曼機的特征學(xué)習算法研究[D];北京化工大學(xué);2016年

10 張怡康;基于受限玻爾茲曼機的深度學(xué)習方法研究[D];北京化工大學(xué);2016年

本文編號：2040883