發(fā)布時間：2020-04-03 11:18

【摘要】：語音情感識別是從給定語音段中自動獲取情感類型的技術,隨著商業(yè)和教育等領域對情感識別需求的不斷增加,發(fā)展高準確率的語音情感識別系統(tǒng)成為了語音領域的一個熱門研究方向。而基于深度學習的語音情感識別方法,特別是卷積神經網絡(Convolutional Neural Network,CNN)在這一領域得到了研究者們的重視,一些初步研究取得了良好效果,表現出比較大的研究潛力。然而對于CNN語音情感識別模型仍然有幾個方面需要研究和探索,首先,什么樣的特征更適合于CNN語音情感識別模型。其次,如何合理地設計網絡結構,使其能有效學習到情感區(qū)分性信息,最后數據不足的問題是制約語音情感識別發(fā)展的一大難題,因此如何利用更多輔助數據來提高識別準確率的方法有待于去探索。針對這這些問題,本文展開了研究和實驗。為了探究特征對情感識別的影響,本文首先建立了一個端到端CNN語音情感識別系統(tǒng),并且在多種特征上進行實驗,發(fā)現語譜圖特征對于語音情感識別有著最佳的性能。在此基礎之上本文進一步對于語譜圖的不同頻域段進行了探索,發(fā)現低頻率段對于情感識別有著重要的作用。同時本文還對不同情感類別的CNN的激活值進行了研究,以探索不同高層特征區(qū)別。這些研究有助于理解不同情感在時頻區(qū)域上的分布特性。為了進一步利用CNN模型所輸出的高層時頻信息,產生更有效的情感區(qū)分性特征,本文使用雙線性池化方法來對CNN語音情感識別模型的高層特征進行建模,它能計算情感高層特征各維度之間的相關性,產生更為豐富的情感特征表示。然而由于情感數據集規(guī)模的限制,造成雙線性池化的訓練較為困難,因此本文使用分解雙線性池化對輸出特征進行降維,明顯提升了語音情感識別的準確率�；�于雙線性池化理論,本文又進一步提出了基于注意力機制的注意力池化語音情感識別模型,通過引入自頂向下和自底向上注意力權重圖,使得各個情感類別得到更好的區(qū)分,提升了識別性能。為了利用額外信息,解決情感識別數據不足的問題,同時提高識別準確率,本文提出了利用音素信息和說話人信息的語音情感識別方法。針對音素特征,使用了具有兩個分支的CNN網絡來協(xié)同訓練語音和音素特征。針對說話人信息,本文提出了使用殘差適應模型進行說話人到情感的域適應。這一方法先通過帶有說話人標簽的數據集訓練一個深度殘差網絡,再使用情感數據集訓練適應模塊,以此利用說話人數據集提供的輔助信息來提升情感識別性能。實驗驗證表明利用音素和說話人的情感識別模型均大幅超過僅利用語音特征的模型。
【學位授予單位】：中國科學技術大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TN912.34;TP18

【相似文獻】

相關期刊論文 前10條

1 陳婧;李海峰;馬琳;陳肖;陳曉敏;;多粒度特征融合的維度語音情感識別方法[J];信號處理;2017年03期

2 李銀河;李雪暉;徐楠;鐘文雅;趙新仕;程曉燕;孫峰;袁鍵;;語音情感識別分類算法研究綜述[J];南陽師范學院學報;2017年06期

3 何秉羲;;語音情感識別研究現狀綜述[J];辦公自動化;2015年10期

4 趙力;黃程韋;;實用語音情感識別中的若干關鍵技術[J];數據采集與處理;2014年02期

5 張石清;李樂民;趙知勁;;人機交互中的語音情感識別研究進展[J];電路與系統(tǒng)學報;2013年02期

6 李杰;周萍;;語音情感識別中特征參數的研究進展[J];傳感器與微系統(tǒng);2012年02期

7 趙臘生;張強;魏小鵬;;語音情感識別研究進展[J];計算機應用研究;2009年02期

8 王茜;;一個語音情感識別系統(tǒng)的設計與實現[J];大眾科技;2006年08期

9 陳建廈,李翠華;語音情感識別的研究進展[J];計算機工程;2005年13期

10 宋鵬;鄭文明;趙力;;基于特征遷移學習方法的跨庫語音情感識別[J];清華大學學報(自然科學版);2016年11期

相關會議論文 前10條

1 羅武駿;包永強;趙力;;基于模糊支持向量機的語音情感識別方法[A];2012'中國西部聲學學術交流會論文集(Ⅱ)[C];2012年

2 陳建廈;;語音情感識別綜述[A];第一屆中國情感計算及智能交互學術會議論文集[C];2003年

3 王青;謝波;陳根才;;基于神經網絡的漢語語音情感識別[A];第一屆中國情感計算及智能交互學術會議論文集[C];2003年

4 龔靈杰;袁家政;劉宏哲;;基于加權最近鄰的語音情感識別方法[A];中國計算機用戶協(xié)會網絡應用分會2017年第二十一屆網絡新技術與應用年會論文集[C];2017年

5 宋鵬;鄭文明;趙力;;基于子空間學習和特征選擇融合的語音情感識別[A];第十四屆全國人機語音通訊學術會議（NCMMSC’2017）論文集[C];2017年

6 張鼎天;徐明星;;基于調制頻譜特征的自動語音情感識別[A];需將論文集名稱修改為“第十二屆全國人機語音通訊學術會議（NCMMSC2013）論文集[C];2013年

7 宋鵬;鄭文明;趙力;;基于特征遷移學習方法的跨庫語音情感識別[A];第十三屆全國人機語音通訊學術會議(NCMMSC2015)論文集[C];2015年

8 劉博;范鈺超;徐明星;;基于特征級決策級雙層融合的語音情感識別[A];第十三屆全國人機語音通訊學術會議(NCMMSC2015)論文集[C];2015年

9 楊桃香;楊鑒;畢福昆;;基于模糊聚類的語音情感識別[A];第三屆和諧人機環(huán)境聯合學術會議（HHME2007）論文集[C];2007年

10 張波;倪佳敏;樓穎禎;陳慧霖;張石清;;基于深度置信網絡的語音情感識別研究[A];第十三屆全國人機語音通訊學術會議(NCMMSC2015)論文集[C];2015年

相關博士學位論文 前10條

1 查誠;基于特征學習的語音情感識別算法研究[D];東南大學;2017年

2 徐新洲;基于情感特征信息增強的語音情感識別研究[D];東南大學;2017年

3 張衛(wèi);基于模糊認知圖的語音情感識別關鍵問題研究[D];太原理工大學;2017年

4 謝波;普通話語音情感識別關鍵技術研究[D];浙江大學;2006年

5 尤鳴宇;語音情感識別的關鍵技術研究[D];浙江大學;2007年

6 陶華偉;基于譜圖特征的語音情感識別若干問題的研究[D];東南大學;2017年

7 韓文靜;語音情感識別關鍵技術研究[D];哈爾濱工業(yè)大學;2013年

8 劉佳;語音情感識別的研究與應用[D];浙江大學;2009年

9 孫亞新;語音情感識別中的特征提取與識別算法研究[D];華南理工大學;2015年

10 張昕然;跨庫語音情感識別若干關鍵技術研究[D];東南大學;2016年

相關碩士學位論文 前10條

1 盧艷;基于神經網絡與注意力機制結合的語音情感識別研究[D];北京郵電大學;2019年

2 李鵬程;基于深度學習的語音情感識別研究[D];中國科學技術大學;2019年

3 沈凌潔;基于音韻表征的語音情感識別改進研究[D];南京師范大學;2018年

4 龔若愚;語音情感識別訓練系統(tǒng)設計與實現[D];湖南大學;2014年

5 周曉曉;基于神經網絡與多特征融合的維度語音情感識別研究[D];湖南大學;2018年

6 李曉琴;基于支持向量機的語音情感識別[D];哈爾濱理工大學;2018年

7 鄭麗;語音情感識別及其在服務機器人中的應用研究[D];東北師范大學;2018年

8 郝梓嵐;基于安卓的語音情感識別系統(tǒng)設計與實現[D];廣西師范大學;2018年

9 陳曉敏;基于時序深度學習模型的語音情感識別方法研究[D];哈爾濱工業(yè)大學;2018年

10 孫洪文;語音情感識別技術的研究與應用[D];哈爾濱工業(yè)大學;2017年

，

本文編號：2613304