發(fā)布時間：2025-02-11 17:40

　　由于具有對目標函數(shù)的假設(shè)較弱,收斂速度快和易于實現(xiàn)等特點,一階優(yōu)化算法被廣泛應(yīng)用于求解機器學(xué)習(xí)模型參數(shù)。然而傳統(tǒng)的一階優(yōu)化算法在實現(xiàn)時會遇到各種各樣的問題。一方面,隨著數(shù)據(jù)規(guī)模的爆發(fā)式增長和深度神經(jīng)網(wǎng)絡(luò)等機器學(xué)習(xí)模型中參數(shù)規(guī)模不斷增加,傳統(tǒng)的確定性數(shù)值優(yōu)化算法有計算量過大的問題。另一方面,數(shù)值優(yōu)化領(lǐng)域中討論的一階算法分析往往基于最壞計算復(fù)雜度。由于實際當(dāng)中最壞情況往往不會出現(xiàn),實際中傳統(tǒng)的隨機梯度下降等方法在求解過程中可能浪費大量的迭代。為此,機器學(xué)習(xí)領(lǐng)域的研究者們提出了ADAGRAD等針對凸問題的隨機自適應(yīng)算法,這些方法通過利用隨機梯度的歷史信息來自適應(yīng)地更新步長,在實際應(yīng)用中通常有更好的性能。但是,目前大量的機器學(xué)習(xí)任務(wù)(如深度神經(jīng)網(wǎng)絡(luò))的目標函數(shù)為非凸函數(shù),在非凸情況下大部分上述算法在理論層面尚缺乏收斂性保證。綜上,研究實用、收斂速度更快的優(yōu)化算法是機器學(xué)習(xí)理論中的一個重要挑戰(zhàn)。為此,本文重點研究能同時提升理論收斂速度和實際表現(xiàn)的一階優(yōu)化算法,具體包括四個方面:1)研究了 KL不等式在非凸矩陣秩最小化問題上的應(yīng)用,證明了當(dāng)目標函數(shù)滿足KL性質(zhì)時關(guān)于奇異值的非凸規(guī)范化項可被傳統(tǒng)的近鄰...

【文章頁數(shù)】：137 頁

【學(xué)位級別】：博士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 基本問題描述
    1.2 本文貢獻
第2章 背景介紹
    2.1 基本性質(zhì)和標記定義
        2.1.1 計算復(fù)雜度和收斂速度
        2.1.2 標記定義
    2.2 相關(guān)工作
        2.2.1 誤差界和Kurdyka-Lojasiewicz性質(zhì)
        2.2.2 隨機梯度下降法和自適應(yīng)算法簡介
        2.2.3 非凸優(yōu)化算法簡介
        2.2.4 方差減小的隨機一階算法
第3章 基于迭代閾值收縮的非凸矩陣秩最小化算法
    3.1 矩陣秩最小化問題和非凸規(guī)范化項
    3.2 重加權(quán)的非凸奇異值規(guī)范化項收斂結(jié)果分析
    3.3 多個矩陣的秩最小化問題
    3.4 實際實現(xiàn)中的問題和解決方案
    3.5 矩陣補全問題中的算法驗證
        3.5.1 人造數(shù)據(jù)集
        3.5.2 圖像數(shù)據(jù)集
        3.5.3 多個域的推薦問題
第4章 SADAGRAD:強自適應(yīng)的隨機梯度算法
    4.1 二階增長條件下的強自適應(yīng)的隨機次梯度算法
    4.2 SADAGRAD算法基于近鄰算法的變種
    4.3 實際應(yīng)用中的SADAGRAD算法變種
    4.4 SADAGRAD算法在滿足局部誤差界假設(shè)下的擴展
    4.5 實驗驗證
第5章 非凸優(yōu)化中統(tǒng)一的階段化學(xué)習(xí)方法框架
    5.1 階段化優(yōu)化算法框架
    5.2 具體的階段化優(yōu)化算法
        5.2.1 階段化的隨機梯度下降法
        5.2.2 階段化的動量隨機梯度法
        5.2.3 階段化的自適應(yīng)算法
    5.3 實驗驗證
第6章 Stagewise-Katyusha:階段化的加速的方差減小隨機梯度下降法
    6.1 Stagewise-Katyusha算法和假設(shè)
    6.2 收斂性分析
第7章 總結(jié)
參考文獻
附錄A 第3章證明
    A.1 定理3.6證明
    A.2 引理3.7證明
    A.3 定理3.9證明
附錄B 第4章證明
    B.1 命題4.1證明
    B.2 定理4.2證明
    B.3 定理4.4證明
    B.4 定理4.5證明
    B.5 定理4.7證明
    B.6 定理4.8證明
附錄C 第5章證明
    C.1 定理5.3證明
    C.2 定理5.5證明
    C.3 定理5.7證明
    C.4 引理5.4證明
    C.5 引理5.6證明
致謝
在讀期間發(fā)表的學(xué)術(shù)論文與取得的研究成果



本文編號：4033617