基于CNN的鋼琴音樂(lè)自動(dòng)記譜算法的研究與實(shí)現(xiàn)
發(fā)布時(shí)間：2020-08-10 20:28
【摘要】：隨著生活水平的提高,人們學(xué)習(xí)鋼琴演奏的熱情不斷高漲,興起了鋼琴教育的熱潮。鋼琴音樂(lè)自動(dòng)記譜技術(shù)可以檢測(cè)鋼琴音樂(lè)聲音信號(hào)中各個(gè)音符的音高和起始點(diǎn),可以用于自動(dòng)、客觀地評(píng)價(jià)鋼琴演奏的正確性,幫助鋼琴學(xué)習(xí)者及時(shí)發(fā)現(xiàn)自己的演奏錯(cuò)誤,提高學(xué)習(xí)效率。但是實(shí)現(xiàn)一種準(zhǔn)確的鋼琴音樂(lè)自動(dòng)記譜算法仍然是一個(gè)具有挑戰(zhàn)性的問(wèn)題。本文研究并實(shí)現(xiàn)了一種基于卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetwork,CNN)的鋼琴音樂(lè)自動(dòng)記譜算法。對(duì)輸入的鋼琴音樂(lè)聲音信號(hào),首先進(jìn)行時(shí)頻分析,將鋼琴音樂(lè)聲音信號(hào)的原始時(shí)域波形變換為頻率分布隨時(shí)間變化的表示;然后進(jìn)行音符起始點(diǎn)檢測(cè);最后進(jìn)行多基音檢測(cè),分別檢測(cè)各個(gè)音符起始點(diǎn)處新彈奏的音符的音高。本文的主要工作包括:(1)對(duì)國(guó)內(nèi)外的研究現(xiàn)狀與相關(guān)工作進(jìn)行了廣泛的調(diào)研,并對(duì)自動(dòng)音樂(lè)記譜技術(shù)進(jìn)行了綜述;(2)分別實(shí)現(xiàn)了短時(shí)傅里葉變換和常數(shù)Q變換時(shí)頻分析方法,并且基于CNN模型分別實(shí)現(xiàn)了音符起始點(diǎn)檢測(cè)和多基音檢測(cè),對(duì)CNN的網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練方法和后處理方法進(jìn)行了優(yōu)化;(3)實(shí)驗(yàn)對(duì)比了分別采用不同的輸入時(shí)頻表示和不同的訓(xùn)練方法時(shí)CNN網(wǎng)絡(luò)的準(zhǔn)確度,并分析了本文算法的檢測(cè)錯(cuò)誤。本文提出的鋼琴音樂(lè)自動(dòng)記譜算法在MAPS ENSTDkCl中鋼琴曲的前30s上的F值為86.80%(音符起始點(diǎn)允許偏差范圍取±100ms)。測(cè)試表明,本文實(shí)現(xiàn)的算法的準(zhǔn)確度是目前基于CNN的鋼琴音樂(lè)自動(dòng)記譜算法中最高的,為實(shí)現(xiàn)計(jì)算機(jī)輔助鋼琴教學(xué)提供了技術(shù)支持。
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類(lèi)號(hào)】：J624.1;TP183
【圖文】：
中Ｂ科學(xué)院語(yǔ)言聲學(xué)與內(nèi)容理解重點(diǎn)實(shí)驗(yàn)室邐周若華、顏永紅等逡逑電子科技大學(xué)邐郭奕［２４］、陳靜Ｐ５】、嚴(yán)亮ｗ等逡逑西南交通大學(xué)邐｜壬建英、陳強(qiáng)唐靜＿、楊靜ｐ９］等逡逑多音杳樂(lè)的基音檢測(cè)仍然是一個(gè)具有挑戰(zhàn)性的問(wèn)題。因?yàn)槎嘁粢魳?lè)的聲耆＃比較復(fù)雜，多個(gè)音符在時(shí)域重疊，并且在頻域互相影響。此外，多音組合的輸出空非常大，進(jìn)一＊ki加大了建模難度。音樂(lè)信息檢索領(lǐng)域的頂級(jí)國(guó)際比賽ＭＩＲＥＸ邋（ＭｕｓｉＩｎｆｏｒｍａｔｉｏｎ邋Ｒｅｔｒｉｅｖａｌ邋Ｅｖａｌｕａｔｉｏｎ邋ｅＸｃｈａｎｇｅ）邋１邋是^悖嘸蔥隼中畔⒓燜饗低稱淚芄攀滴蹋ǎ桑睿簦澹潁睿幔簦椋錚睿幔戾澹停酰螅椋沐澹桑睿媯錚潁恚幔簦椋錚鑠澹遙澹簦潁椋澹觶幔戾澹櫻螅簦澹恚簀澹牛觶幔歟酰幔簦椋錚鑠澹蹋幔猓錚潁幔簦錚潁�，邋ＩＭＩ＿b櫻牛蹋┲靼斕�。ＭＩ＿b牛乇熱衾中畔⒓燜髁煊虻畝嘀秩撾裉峁┝送騁�、正箣光c啦餛教āｅ義希咤澹玻埃埃紡昶穡停桑遙牛乇熱屑尤肓碩嗷倒蘭樸敫偃撾�，其中包含钢琴音类嵾动记谱子葥腭。哇E保備雋隋澹停桑遙牛乇熱懈智僖衾腫遠(yuǎn)瞧茲撾衩磕輳罾氳鈉瀾峁ǎ停桑遙牛厥菁�，铺m凼敝豢悸且舴鶚嫉愕惱沸裕豢悸莣符的結(jié)束時(shí)刻），逡逑其中最高的Ｆ值為８１．９９％。最近幾年，ＡＭＴ算法的準(zhǔn)確度似乎已經(jīng)集體到達(dá)了一．穩(wěn)定水平。逡逑
２．２音樂(lè)信號(hào)時(shí)頻分析逡逑ＡＭＴ算法逋常先將音樂(lè)信號(hào)前原始時(shí)域波形變換為時(shí)頻表示，ＳＴＦＴ和ＣＱＴ是逡逑廣泛使用的兩種時(shí)頻分析方法＾逡逑２．２．１短時(shí)傅里葉變換逡逑因?yàn)殡x散傅里葉變換（Ｄｉｓｃｒｅｔｅ邋Ｆｏｕｒｉｅｒ邋Ｔｒａｎｓｆｏｒｍ，ＤＦＴ）是數(shù)字信號(hào)處理領(lǐng)域最逡逑常用的分析方法之一，詳細(xì)的介紹可以參看相關(guān)的書(shū)籍（比如《數(shù)字信號(hào)處理》［４２］）。逡逑長(zhǎng)度為＃的信號(hào)的ＤＦＴ表達(dá)式為逡逑Ｎ－ｌ邐－ｉ—ｋｎ逡逑Ｖｘ（ｎ）Ｑ邋Ｎ邋，邋Ｑ＜ｋ＜Ｎ＿＼逡逑雄）邋＝邋ＤＦＴ＿＝臺(tái)、；邐，邐（２．２）逡逑0，邐其它逡逑Ｘ（々）表浪aず牛�？）碘c燈�，第Ａ？庚_愣雜Φ鈉德飾義
本文編號(hào)：2788571
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類(lèi)號(hào)】：J624.1;TP183
【圖文】：
中Ｂ科學(xué)院語(yǔ)言聲學(xué)與內(nèi)容理解重點(diǎn)實(shí)驗(yàn)室邐周若華、顏永紅等逡逑電子科技大學(xué)邐郭奕［２４］、陳靜Ｐ５】、嚴(yán)亮ｗ等逡逑西南交通大學(xué)邐｜壬建英、陳強(qiáng)唐靜＿、楊靜ｐ９］等逡逑多音杳樂(lè)的基音檢測(cè)仍然是一個(gè)具有挑戰(zhàn)性的問(wèn)題。因?yàn)槎嘁粢魳?lè)的聲耆＃比較復(fù)雜，多個(gè)音符在時(shí)域重疊，并且在頻域互相影響。此外，多音組合的輸出空非常大，進(jìn)一＊ki加大了建模難度。音樂(lè)信息檢索領(lǐng)域的頂級(jí)國(guó)際比賽ＭＩＲＥＸ邋（ＭｕｓｉＩｎｆｏｒｍａｔｉｏｎ邋Ｒｅｔｒｉｅｖａｌ邋Ｅｖａｌｕａｔｉｏｎ邋ｅＸｃｈａｎｇｅ）邋１邋是^悖嘸蔥隼中畔⒓燜饗低稱淚芄攀滴蹋ǎ桑睿簦澹潁睿幔簦椋錚睿幔戾澹停酰螅椋沐澹桑睿媯錚潁恚幔簦椋錚鑠澹遙澹簦潁椋澹觶幔戾澹櫻螅簦澹恚簀澹牛觶幔歟酰幔簦椋錚鑠澹蹋幔猓錚潁幔簦錚潁�，邋ＩＭＩ＿b櫻牛蹋┲靼斕�。ＭＩ＿b牛乇熱衾中畔⒓燜髁煊虻畝嘀秩撾裉峁┝送騁�、正箣光c啦餛教āｅ義希咤澹玻埃埃紡昶穡停桑遙牛乇熱屑尤肓碩嗷倒蘭樸敫偃撾�，其中包含钢琴音类嵾动记谱子葥腭。哇E保備雋隋澹停桑遙牛乇熱懈智僖衾腫遠(yuǎn)瞧茲撾衩磕輳罾氳鈉瀾峁ǎ停桑遙牛厥菁�，铺m凼敝豢悸且舴鶚嫉愕惱沸裕豢悸莣符的結(jié)束時(shí)刻），逡逑其中最高的Ｆ值為８１．９９％。最近幾年，ＡＭＴ算法的準(zhǔn)確度似乎已經(jīng)集體到達(dá)了一．穩(wěn)定水平。逡逑
２．２音樂(lè)信號(hào)時(shí)頻分析逡逑ＡＭＴ算法逋常先將音樂(lè)信號(hào)前原始時(shí)域波形變換為時(shí)頻表示，ＳＴＦＴ和ＣＱＴ是逡逑廣泛使用的兩種時(shí)頻分析方法＾逡逑２．２．１短時(shí)傅里葉變換逡逑因?yàn)殡x散傅里葉變換（Ｄｉｓｃｒｅｔｅ邋Ｆｏｕｒｉｅｒ邋Ｔｒａｎｓｆｏｒｍ，ＤＦＴ）是數(shù)字信號(hào)處理領(lǐng)域最逡逑常用的分析方法之一，詳細(xì)的介紹可以參看相關(guān)的書(shū)籍（比如《數(shù)字信號(hào)處理》［４２］）。逡逑長(zhǎng)度為＃的信號(hào)的ＤＦＴ表達(dá)式為逡逑Ｎ－ｌ邐－ｉ—ｋｎ逡逑Ｖｘ（ｎ）Ｑ邋Ｎ邋，邋Ｑ＜ｋ＜Ｎ＿＼逡逑雄）邋＝邋ＤＦＴ＿＝臺(tái)、；邐，邐（２．２）逡逑0，邐其它逡逑Ｘ（々）表浪aず牛�？）碘c燈�，第Ａ？庚_愣雜Φ鈉德飾義
本文編號(hào)：2788571
本文鏈接：http://www.wukwdryxk.cn/wenyilunwen/mzqiyue/2788571.html
最近更新
教材專(zhuān)著
