發(fā)布時間：2025-06-26 05:33

　　神經(jīng)機器翻譯(NMT)是機器翻譯領(lǐng)域的最新技術(shù),需要大規(guī)模的雙語平行數(shù)據(jù)作為訓練語料�，F(xiàn)有的公開雙語平行數(shù)據(jù)集的種類較多,數(shù)據(jù)的質(zhì)量各有不同。然而,規(guī)模較大的數(shù)據(jù)集中會出現(xiàn)數(shù)據(jù)冗余的問題,質(zhì)量低的數(shù)據(jù)集則包含較多的噪聲,這些數(shù)據(jù)問題會增加模型的訓練成本以及影響模型的性能。為了降低雙語平行數(shù)據(jù)集對NMT的影響,本文將從數(shù)據(jù)規(guī)模和數(shù)據(jù)質(zhì)量兩個方面展開面向神經(jīng)機器翻譯的數(shù)據(jù)縮減研究,主要工作包括:(1)基于句子向量的靜態(tài)數(shù)據(jù)選擇方法。大規(guī)模的雙語平行數(shù)據(jù)集中通常會出現(xiàn)很多語義相似的平行句對,相似的平行句對對于模型的貢獻也是相似的。這些相似的平行句對的存在并不一定能幫助模型提升性能,反而會增加模型的訓練成本。為了減少雙語平行數(shù)據(jù)集中相似的平行句對,本文提出了一種靜態(tài)的數(shù)據(jù)選擇方法,在句子語義的基礎(chǔ)上縮減雙語平行數(shù)據(jù)集的規(guī)模。在聯(lián)合國的中英翻譯任務上,靜態(tài)的數(shù)據(jù)選擇方法幫助模型縮減了訓練時間,同時實現(xiàn)了模型在大規(guī)模數(shù)據(jù)集上訓練的模型性能。(2)基于訓練損失的動態(tài)數(shù)據(jù)選擇方法。NMT的一個特性是需要大規(guī)模的雙語平行數(shù)據(jù)集作為訓練數(shù)據(jù)。根據(jù)這一特性,本文提出了基于訓練損失的動態(tài)數(shù)據(jù)選擇方法,在訓練過程...

【文章頁數(shù)】：72 頁

【學位級別】：碩士

【部分圖文】：

圖２－１基于注意力機制的神經(jīng)機器翻譯模型架構(gòu)圖??

ｅｃｕｒｒｅｎｔ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ，?ＲＮＮ?）構(gòu)成的Ｓｅｑ２Ｓｅｑ模型、基于卷積神經(jīng)網(wǎng)絡??（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ，?ＣＮＮ）構(gòu)建的?Ｓｅｑ２Ｓｅｑ?模型｜２｜丨以及完全基?ｊ？自注意??力機制（Ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ?Ｍｅ....

圖２－３?ＶＤＰＷＩ模型框架圖??（１）?Ｂｉ－ＬＳＴＭｓ?Ｎ絡（Ｂｉｄｉｒｅｃｔｉｏｎａｌ?Ｌｏｎｇ?Ｓｈｏｒｔ－Ｔｅｍｉ?Ｍｅｍｏｒｙ?Ｎｅｔｗｏｒｋｓ）丨３８－３９１：??ＬＳＴＭ是循環(huán)祌經(jīng)Ｎ絡的－種變休，吋以捕獲１Ｔ１?

?ｓｉｔ?ｃａｔｓ＾＜０＾＾?Ｃａｔｓ?ｓｉｔ?ｏｎ?ｔｈｅ?ｍａｔ??ｒＪ｜ｋ?｜??、丫，’?２．?Ｐａｉｒｗｉｓｅ?Ｗｏｒｄ??ｚ，—?＼?Ｉｎｔｅｒａｃｔｉｏｎ?Ｍｏｄｅｌｉｎｇ??ｓｉｍＣｕｂｅ??ｔ??Ｏｎ?ｔｈｅ?ｍａｔ?ｔｈｅｒｅ?ｓｉｔ?ｃａｔｓ?Ｃａｔｓ?ｓｉ....

圖３－ｌｙ不同規(guī)模的數(shù)據(jù)下的ＢＬＥＵ值變化??為／解決模型在大規(guī)模數(shù)據(jù)上訓練成本過高的問題和數(shù)據(jù)冗余問題，多種數(shù)據(jù)選??

神經(jīng)機器翻譯的數(shù)據(jù)縮減方法研宄?第－－章基于句子向量的靜態(tài)數(shù)據(jù)選擇方法??第三章基于句子向量的靜態(tài)數(shù)據(jù)選擇方法??３．１引言??隨著越來越多的可獲取的雙語平行數(shù)據(jù)，機器翻譯的質(zhì)量得到了很大的提升。但??是由于計算機的內(nèi)存、處理能力以及速度方面的限制，導致翻譯模型在大規(guī)模數(shù)據(jù)上??....

圖３－３句子向量的分布圖??２２??

第二章基于句子向量的靜態(tài)數(shù)據(jù)選擇方法?面向神經(jīng)機器翻譯的數(shù)據(jù)縮減方法研究??語義相近的兩個句子在語義向量空間中更加接近彼此。??本文使用Ｌｅ和Ｍｉｋｏｌｏｖ?（２０１４）?［２８］提出的ＰＶ－ＤＭ模型來訓練句子向量，該模型??同時考慮了句子的語義和語法信息。圖３－３給出了?ＰＶ－....

本文編號：4053241