發(fā)布時(shí)間：2024-06-15 02:34

　　平行語(yǔ)料庫(kù)是機(jī)器翻譯、跨語(yǔ)言檢索和跨語(yǔ)言自動(dòng)問(wèn)答等自然語(yǔ)言處理(Natural Language Processing,NLP)任務(wù)的核心基礎(chǔ)資源。平行語(yǔ)料庫(kù)的規(guī)模和質(zhì)量決定了這些系統(tǒng)的性能上限。然而人工構(gòu)建大規(guī)模的平行語(yǔ)料庫(kù)既昂貴又耗時(shí)�？上驳氖�,網(wǎng)絡(luò)中(維基百科、多語(yǔ)言字幕網(wǎng)站等)存在海量蘊(yùn)含部分平行資源的可比語(yǔ)料,若能從其中自動(dòng)檢測(cè)并獲取平行語(yǔ)料將極大地豐富平行數(shù)據(jù)的來(lái)源,有效提升機(jī)器翻譯等自然語(yǔ)言處理系統(tǒng)的性能。因此,本文的研究具有重要的科學(xué)意義和應(yīng)用價(jià)值。近年來(lái),研究者們使用基于神經(jīng)網(wǎng)絡(luò)的方法研究新的高效的句子對(duì)齊方法。基本思路都為通過(guò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)句子的向量表示,然后比較向量間的相似度判斷是否為平行句對(duì)。然而,通過(guò)神經(jīng)網(wǎng)絡(luò)生成的句子的向量表示的維度是固定的,不能充分表示句子的信息,比如句子長(zhǎng)度的信息等。另一方面,在比較向量相似度時(shí),使用余弦相似度或曼哈頓距離等單一的度量方式未能充分挖掘向量之間的相似關(guān)系。本文提出了一種基于跨語(yǔ)言詞向量的兩級(jí)句子對(duì)齊方法,該方法可以從不同噪音分布的可比語(yǔ)料庫(kù)中抽取平行句對(duì)。具體來(lái)說(shuō),兩級(jí)是指詞語(yǔ)級(jí)別和句子級(jí)別。在詞語(yǔ)級(jí)別上,我們巧妙地結(jié)合了余弦...

【文章頁(yè)數(shù)】：57 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖1-1維基百科的“社會(huì)語(yǔ)言學(xué)”詞條的中文與英語(yǔ)網(wǎng)頁(yè)節(jié)選Fig.1-1ExcerptsfromtheChineseandEnglishentryofSociolinguisticsonthewebpagesofWikipedia

哈爾濱理工大學(xué)工學(xué)碩士學(xué)位論文-2-中可比語(yǔ)料成為了平行語(yǔ)料資源的重要補(bǔ)充資源，研究者們提出了一系列的句子對(duì)齊方法，從網(wǎng)絡(luò)上大量存在的可比語(yǔ)料中抽取出可用于跨語(yǔ)言自然語(yǔ)言處理任務(wù)的平行語(yǔ)料。圖1-1維基百科的“社會(huì)語(yǔ)言學(xué)”詞條的中文與英語(yǔ)網(wǎng)頁(yè)節(jié)選Fig.1-1Excerptsfr....

圖2-1兩種基于神經(jīng)網(wǎng)絡(luò)的句子對(duì)齊方法結(jié)構(gòu)

哈爾濱理工大學(xué)工學(xué)碩士學(xué)位論文-9-進(jìn)行英語(yǔ)和德語(yǔ)間的雙向的翻譯。在訓(xùn)練好NMT模型后，丟棄解碼器，使用編碼器將任意語(yǔ)言的句子表示為一個(gè)固定長(zhǎng)度的連續(xù)的向量表示，得到句子的向量表示后計(jì)算向量間的距離作為句對(duì)的相似度得分[17-21]。a)雙編碼器結(jié)構(gòu)b)編碼器-解碼器結(jié)構(gòu)a)Th....

圖2-2四個(gè)西班牙詞的上下文相關(guān)的詞向量的二維主成分分析示例圖

哈爾濱理工大學(xué)工學(xué)碩士學(xué)位論文-12-下文相關(guān)的詞向量ELMo的訓(xùn)練方法，訓(xùn)練一種源語(yǔ)言s和一種目標(biāo)語(yǔ)言t的上下文相關(guān)的詞向量，然后在此基礎(chǔ)上提出了三種語(yǔ)義向量對(duì)齊方法，將兩種語(yǔ)言的上下文相關(guān)的詞向量進(jìn)行語(yǔ)義空間上的對(duì)齊。圖2-2四個(gè)西班牙詞的上下文相關(guān)的詞向量的二維主成分分析示....

圖3-1基于跨語(yǔ)言詞向量的句子相似度計(jì)算方法整體流程

哈爾濱理工大學(xué)工學(xué)碩士學(xué)位論文-16-別上，我們提出了一種結(jié)合向量角度和絕對(duì)距離兩者的優(yōu)勢(shì)的詞向量相似度計(jì)算方法。其次，在句子級(jí)別上，我們基于上一步詞級(jí)別的相似度計(jì)算方法，提出了基于聚合方法的雙語(yǔ)句對(duì)的相似度計(jì)算方法。最后介紹了基于邊距的方法，并在句子相似度實(shí)驗(yàn)上驗(yàn)證我們提出的方....

本文編號(hào)：3994793