【儀表網(wǎng) 研發(fā)快訊】近日，中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所仿生視覺系統(tǒng)實(shí)驗(yàn)室李嘉茂研究員團(tuán)隊(duì)在視覺三維人體姿態(tài)估計(jì)領(lǐng)域取得了重要進(jìn)展。題目為“Rotated Orthographic Projection for Self-Supervised 3D Human Pose Estimation”的成果被機(jī)器視覺領(lǐng)域頂級三大國際學(xué)術(shù)會議之一European Conference on Computer Vision(ECCV)2024錄用。
 

　　三維人體姿態(tài)估計(jì)是機(jī)器視覺理解人體動作的關(guān)鍵技術(shù)，在虛擬現(xiàn)實(shí)、運(yùn)動分析、人機(jī)交互等領(lǐng)域有著廣泛應(yīng)用。直接獲得高精度的三維人體姿態(tài)成本較高，機(jī)器視覺領(lǐng)域往往利用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行自監(jiān)督學(xué)習(xí)，從多視角的二維圖像中預(yù)測三維人體姿態(tài)。
 

　　重投影一致性，是實(shí)現(xiàn)自監(jiān)督學(xué)習(xí)3D人體姿態(tài)的關(guān)鍵。其主要思想是，由虛擬相機(jī)從與預(yù)測到的3D人體姿態(tài)拍攝到的2D人體姿態(tài)，應(yīng)該與輸入圖像中直接得到的2D人體姿態(tài)一致。在實(shí)際操作中，輸入圖像的2D姿態(tài)是由相機(jī)成像的透視投影得到的，然而由于與圖像相匹配的相機(jī)參數(shù)等信息缺失，預(yù)測的3D姿態(tài)無法使用透視投影，現(xiàn)有研究多采用簡化投影模型-正交投影近似獲得2D人體姿態(tài)。這兩種投影模型的差異導(dǎo)致人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與預(yù)測之間出現(xiàn)了偏差，3D人體姿態(tài)估計(jì)存在不可避免的誤差問題。此外，重投影一致性約束缺乏對三維空間中姿態(tài)Z軸方向的有效約束，即使預(yù)測三維姿態(tài)Z軸整體反向，預(yù)測姿態(tài)的二維投影與輸入二維姿態(tài)仍能保持一致，這嚴(yán)重?fù)p害了模型的穩(wěn)定性。
 

　　為解決上述問題，團(tuán)隊(duì)提出了一種旋轉(zhuǎn)正交投影模型，通過增加一個根據(jù)參考點(diǎn)距離圖像中心的偏移計(jì)算的旋轉(zhuǎn)補(bǔ)償，來實(shí)現(xiàn)對透視投影的幾何近似，在保持投影模型簡單的同時縮小與透視投影模型之間的誤差。并在此基礎(chǔ)上根據(jù)人體結(jié)構(gòu)對參考點(diǎn)的選取進(jìn)行了優(yōu)化，提出了分組旋轉(zhuǎn)正交投影方法，即根據(jù)關(guān)節(jié)點(diǎn)之間的相對距離將人體分割成多個部分，并分別計(jì)算參考點(diǎn)和相應(yīng)的旋轉(zhuǎn)補(bǔ)償，進(jìn)一步縮小了與透視投影模型的誤差。對于姿態(tài)Z軸整體反向問題，團(tuán)隊(duì)提出了關(guān)節(jié)反向約束，利用骨骼運(yùn)動學(xué)先驗(yàn)增強(qiáng)對三維空間中人體姿態(tài)的監(jiān)督，彌補(bǔ)二維監(jiān)督的不足。本方法在三維人體姿態(tài)威評測數(shù)據(jù)集Human3.6M上完成了驗(yàn)證，達(dá)到了平均誤差42.9 毫米的最優(yōu)性能，相比基線自監(jiān)督方法(CanonPose)提高了34.9%。
 

團(tuán)隊(duì)三維人體姿態(tài)估計(jì)方法在Human3.6M數(shù)據(jù)集上達(dá)到最優(yōu)性能
 

　　本研究成果得到了科技部科技創(chuàng)新2030、國家自然科學(xué)基金、上海市自然基金、中國科學(xué)院青促會、上海市優(yōu)秀學(xué)術(shù)帶頭人等項(xiàng)目支持。上海微系統(tǒng)所仿生視覺系統(tǒng)實(shí)驗(yàn)室研究生姚瑤為論文第一作者，李嘉茂研究員為通訊作者。