發(fā)布時間：2020-04-06 12:16

【摘要】：隨著圖像傳感器技術(shù)的發(fā)展,基于圖像的人體動作分析已成為當(dāng)前計(jì)算機(jī)視覺和數(shù)據(jù)挖掘領(lǐng)域的熱門課題。人體三維姿態(tài)估計(jì)作為后續(xù)動作分析和理解的重要前提,通過從圖像中估計(jì)人體關(guān)鍵點(diǎn)的坐標(biāo)、旋轉(zhuǎn)角度等參數(shù),對人體在三維空間中的姿態(tài)進(jìn)行重建,在運(yùn)動分析、虛擬現(xiàn)實(shí)、影視制作等領(lǐng)域有著十分可觀的應(yīng)用前景。本文主要研究基于單目視覺的人體三維姿態(tài)估計(jì)問題,該問題可分為從圖像中抽取人體二維位姿和利用二維位置坐標(biāo)估計(jì)三維姿態(tài)兩個步驟,考慮現(xiàn)有二維人體姿態(tài)估計(jì)方案已相對成熟,因此本文具體針對已知二維人體位置條件下,人體在空間中深度姿態(tài)信息的重建。人體姿態(tài)在時間維度上具有較高的連續(xù)性和相關(guān)性,因此本文首先基于人體二維姿態(tài)的時序數(shù)據(jù),利用Sequence to Sequence框架和LSTM單元,實(shí)現(xiàn)了基于時間序列的人體三維姿態(tài)估計(jì)模型。之后通過引入注意力機(jī)制,以及結(jié)合人體關(guān)節(jié)點(diǎn)的加速度數(shù)據(jù)特征對模型進(jìn)行改進(jìn),最終在TotalCapture數(shù)據(jù)集上的平均誤差為39.03 mm,預(yù)測精度較改進(jìn)前提升6.3%。實(shí)驗(yàn)證明該改進(jìn)能夠有效降低模型的預(yù)測誤差,并提升模型在人體遠(yuǎn)端節(jié)點(diǎn)上的預(yù)測準(zhǔn)確度。神經(jīng)網(wǎng)絡(luò)模型的魯棒性嚴(yán)重依賴于訓(xùn)練數(shù)據(jù)集的規(guī)模和覆蓋程度,而現(xiàn)有三維標(biāo)注數(shù)據(jù)集場景和動作較為單一,因此本文針對人體三維姿態(tài)估計(jì)的無監(jiān)督學(xué)習(xí)方法進(jìn)行研究�；�于生成對抗式網(wǎng)絡(luò)結(jié)構(gòu),借助生成器和判別器的競爭和博弈,以及三維姿態(tài)和二維成像結(jié)果之間的聯(lián)系,通過對人體三維姿態(tài)的估計(jì)結(jié)果進(jìn)行結(jié)合仰角和平面旋轉(zhuǎn)的隨機(jī)投影,實(shí)現(xiàn)了能夠僅使用二維標(biāo)注數(shù)據(jù)集訓(xùn)練的無監(jiān)督模型。同時為了更直觀的評估模型效果,本文結(jié)合現(xiàn)有二維姿態(tài)估計(jì)算法,完成了基于單目圖像的人體三維姿態(tài)估計(jì)的模型可視化工作。
【圖文】：

哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文來進(jìn)行重建，其中 = × ，N 為人體為特征的骨架模型的表示方法將人體和動作參數(shù)化模型的分析來描述人體的運(yùn)動，可以精確表示人體因而常用于描述較為精細(xì)的人體運(yùn)動[25]，在醫(yī)學(xué)領(lǐng)為廣泛的應(yīng)用。人體姿態(tài)估計(jì)的任務(wù)即定位圖像或肘部、手腕等，該任務(wù)將圖像中的人體姿態(tài)信息從體動作理解和分析等更深層次的問題奠定了基礎(chǔ)。姿態(tài)分析而不涉及與周圍環(huán)境的交互，同時人體在坐標(biāo)系的選取，因此本文主要研究人體在三維空間關(guān)節(jié)點(diǎn)作為人體骨骼結(jié)構(gòu)模型的根節(jié)點(diǎn)后，重建以位姿信息。

MPJPE 作為人體三維姿態(tài)估計(jì)的誤差度量，即計(jì)算每個關(guān)節(jié)點(diǎn)預(yù)測值間的歐式空間距離，，并對其計(jì)算平均值，該種度量方法具有明確的物能夠在空間上直觀的表現(xiàn)出預(yù)測值與真值之間的誤差，具有較高的可需要特別注意的是 MPJPE 是在每個關(guān)節(jié)點(diǎn)與根節(jié)點(diǎn)(通常是骨盆)進(jìn)行后進(jìn)行計(jì)算的。圖像傳感器數(shù)據(jù)及其處理 攝像機(jī)模型及其坐標(biāo)系介紹圖像傳感器的基本原理與人類視覺大體相似，發(fā)射源發(fā)出的光線經(jīng)空被物體反射并通過透鏡到達(dá)圖像采集器，這種現(xiàn)象被描述為針孔攝像來自真實(shí)世界的物體的光線通過攝像機(jī)的針孔，在圖像平面形成倒立方便描述，針孔攝像機(jī)模型改為選用針孔前方的虛擬圖像平面作為參 2-2，虛擬圖像的位置位于稱為光軸的水平線上，光軸與圖像平面的形被稱為投影點(diǎn)，攝像機(jī)的焦距則被定義為圖像平面與針孔即光心的距
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP391.41;TP212

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陶麗君;;基于隨機(jī)森林的實(shí)時頭部姿態(tài)估計(jì)方法[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年06期

2 馬瑾;陳立潮;張永梅;;基于分類的頭部姿態(tài)估計(jì)算法的研究[J];科技情報(bào)開發(fā)與經(jīng)濟(jì);2006年02期

3 廖海斌;邱益鳴;陳慶虎;;基于稀疏表示的人臉姿態(tài)估計(jì)研究[J];電視技術(shù);2015年13期

4 趙松;潘可;張培仁;;典型相關(guān)分析在人臉姿態(tài)估計(jì)中的應(yīng)用[J];小型微型計(jì)算機(jī)系統(tǒng);2009年05期

5 劉勇;;一種基于監(jiān)督流形學(xué)習(xí)的頭部姿態(tài)估計(jì)方法[J];電子制作;2013年07期

6 邱麗梅;胡步發(fā);;基于仿射變換和線性回歸的3D人臉姿態(tài)估計(jì)方法[J];計(jì)算機(jī)應(yīng)用;2006年12期

7 陳永康;宋亞男;何嘉俊;徐榮華;黃栩?yàn)I;;基于深度學(xué)習(xí)的動物姿態(tài)估計(jì)和狀態(tài)評估研究[J];電子世界;2019年05期

8 魯鑫;高敬東;李開龍;;不同姿態(tài)表示方法下的姿態(tài)估計(jì)分析[J];艦船科學(xué)技術(shù);2018年05期

9 牛曉霞;;基于三維模型的人臉姿態(tài)估計(jì)[J];微處理機(jī);2014年06期

10 Ying CAI;Meng-long YANG;Jun LI;;基于深度卷積網(wǎng)絡(luò)的多分類法在頭部姿態(tài)估計(jì)中的應(yīng)用(英文)[J];Frontiers of Information Technology & Electronic Engineering;2015年11期

相關(guān)會議論文 前10條

1 呂丹;孫劍峰;李琦;王騏;;基于激光雷達(dá)距離像的目標(biāo)姿態(tài)估計(jì)[A];黑龍江、江蘇、山東、河南、江西 五省光學(xué)（激光）聯(lián)合學(xué)術(shù)‘13年會論文（摘要）集[C];2013年

2 張科備;王大軼;王有懿;;一種航天器星體和快反鏡兩級姿態(tài)估計(jì)方法[A];第37屆中國控制會議論文集（C）[C];2018年

3 姚紅;任元;王衛(wèi)杰;;立方星無陀螺姿態(tài)估計(jì)UKF濾波算法仿真研究[A];第二十屆中國系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)年會論文集（20th CCSSTA 2019）[C];2019年

4 牟忠凱;隋立芬;甘雨;黃賢源;;觀測噪聲為有色噪聲的UKF姿態(tài)估計(jì)算法[A];第二屆中國衛(wèi)星導(dǎo)航學(xué)術(shù)年會電子文集[C];2011年

5 馬獻(xiàn)德;陳強(qiáng);孫振國;張文增;;水輪機(jī)葉片坑內(nèi)修焊機(jī)器人姿態(tài)估計(jì)算法[A];第十五次全國焊接學(xué)術(shù)會議論文集[C];2010年

6 葉蓬;劉方;;一種基于李群的目標(biāo)姿態(tài)估計(jì)方法[A];全國第二屆信號處理與應(yīng)用學(xué)術(shù)會議�？痆C];2008年

7 李嘯煒;劉越;王涌天;鄭偉;;一種使用M估計(jì)祛除特征野點(diǎn)的健壯性方法[A];第三屆全國數(shù)字成像技術(shù)及相關(guān)材料發(fā)展與應(yīng)用學(xué)術(shù)研討會論文摘要集[C];2004年

8 賈英宏;劉勇;徐世杰;;航天器兩自由度掃描鏡圖象運(yùn)動補(bǔ)償技術(shù)研究[A];全國第十二屆空間及運(yùn)動體控制技術(shù)學(xué)術(shù)會議論文集[C];2006年

9 譚波;李勛;黃榮輝;張欣;李聰;王紅雨;;三軸自穩(wěn)云臺智能控制仿真研究[A];2017智能電網(wǎng)發(fā)展研討會論文集[C];2017年

10 吳中紅;石章松;傅冰;劉健;;MAVs多源信息融合無跡姿態(tài)估計(jì)方法[A];第四屆中國指揮控制大會論文集[C];2016年

相關(guān)重要報(bào)紙文章 前1條

1 清華大學(xué) 李迎春;多姿態(tài)人臉圖像的估計(jì)及合成[N];計(jì)算機(jī)世界;2006年

相關(guān)博士學(xué)位論文 前10條

1 徐魯輝;基于標(biāo)簽分布的頭部姿態(tài)估計(jì)算法研究及其應(yīng)用[D];華中師范大學(xué);2019年

2 張亞慶;面向視頻監(jiān)控場景的目標(biāo)空間結(jié)構(gòu)語義感知[D];浙江大學(xué);2018年

3 崔錦實(shí);基于三維模型的關(guān)節(jié)式物體姿態(tài)估計(jì)與跟蹤方法研究[D];清華大學(xué);2004年

4 劉袁緣;自然環(huán)境下頭部姿態(tài)估計(jì)方法的研究與應(yīng)用[D];華中師范大學(xué);2015年

5 胡春龍;基于人臉圖像的頭部姿態(tài)估計(jì)與年齡估計(jì)方法研究[D];華中科技大學(xué);2014年

6 李成龍;基于RGB-D數(shù)據(jù)的頭部姿態(tài)估計(jì)研究[D];山東大學(xué);2017年

7 李娜;面向人機(jī)交互的單目視頻三維人體姿態(tài)估計(jì)研究[D];浙江大學(xué);2008年

8 呂丹;基于點(diǎn)法向量姿態(tài)估計(jì)的激光雷達(dá)距離像目標(biāo)識別算法研究[D];哈爾濱工業(yè)大學(xué);2016年

9 孟柳;基于視覺的復(fù)雜場景中運(yùn)動目標(biāo)檢測與跟蹤算法研究[D];北京郵電大學(xué);2016年

10 劉菲;傘降小型飛行器初始轉(zhuǎn)平飛過程姿態(tài)估計(jì)與融合算法研究[D];北京理工大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 袁鵬泰;多人姿態(tài)估計(jì)算法研究及應(yīng)用[D];南京航空航天大學(xué);2019年

2 馮韜;基于單目視覺的人體三維姿態(tài)估計(jì)[D];哈爾濱工業(yè)大學(xué);2019年

3 張楠;基于點(diǎn)法向量的激光雷達(dá)目標(biāo)三維姿態(tài)估計(jì)算法研究[D];哈爾濱工業(yè)大學(xué);2019年

4 梁大衛(wèi);基于深度學(xué)習(xí)的行人姿態(tài)估計(jì)與重識別算法研究[D];西安電子科技大學(xué);2019年

5 姜緒;基于點(diǎn)云注意力模型的手部姿態(tài)估計(jì)方法研究[D];大連理工大學(xué);2019年

6 夏盼;面向智能車主動安全的行人姿態(tài)估計(jì)[D];電子科技大學(xué);2019年

7 方鵬飛;基于卷積神經(jīng)網(wǎng)絡(luò)框架的室內(nèi)物體目標(biāo)檢測和姿態(tài)估計(jì)[D];杭州師范大學(xué);2019年

8 李聽楓;子類敏感卷積神經(jīng)網(wǎng)絡(luò)研究：目標(biāo)檢測與姿態(tài)估計(jì)[D];上海交通大學(xué);2018年

9 戚杭州;仿人機(jī)械手設(shè)計(jì)與手姿態(tài)估計(jì)研究[D];南京大學(xué);2019年

10 華國光;復(fù)雜場景下的多人實(shí)時姿態(tài)估計(jì)[D];河北工程大學(xué);2019年

本文編號：2616498