如何讓人形機(jī)器人更像人

在人機(jī)交互中傳遞出

更多的技術(shù)溫度

上?？萍即髮W(xué)技術(shù)團(tuán)隊(duì)

自主研發(fā)的“表情遷移”技術(shù)

為19個(gè)馬達(dá)

操控的機(jī)器人面部

搭建了超寫(xiě)實(shí)表情映射

讓機(jī)器人的臉

不再是冰冷的鐵塊

而是擁有了豐富的表情

上科大信息學(xué)院團(tuán)隊(duì)

開(kāi)發(fā)了一個(gè)表情的映射系統(tǒng)

通過(guò)檢測(cè)

人臉上的上千個(gè)關(guān)鍵點(diǎn)

以及大量的數(shù)據(jù)訓(xùn)練

映射到機(jī)器人

臉部的19個(gè)馬達(dá)上

團(tuán)隊(duì)通過(guò)大量數(shù)據(jù)反復(fù)迭代

得到從人臉

到索菲亞的表情映射

可控光場(chǎng)是

上科大MARS實(shí)驗(yàn)室

主研的一個(gè)科研項(xiàng)目

研究者利用這個(gè)光場(chǎng)

來(lái)拍攝和制作數(shù)字人

未來(lái)計(jì)劃將數(shù)字人的表情

遷移到機(jī)器人上面

在人機(jī)協(xié)同研究領(lǐng)域

做進(jìn)一步開(kāi)發(fā)與探索

除此之外

學(xué)院團(tuán)隊(duì)還開(kāi)發(fā)出

基于UltraStage系統(tǒng)

（由32臺(tái)相機(jī)

與22,080個(gè)可控光源構(gòu)成）

打造了8K多視角

梯度光照數(shù)據(jù)集

并通過(guò)神經(jīng)網(wǎng)絡(luò)

實(shí)現(xiàn)人體幾何

與材質(zhì)的精細(xì)重建

其創(chuàng)新成果發(fā)表于

“IEEE國(guó)際計(jì)算機(jī)

視覺(jué)與模式識(shí)別會(huì)議”

并首次在UltraStage環(huán)境中

將人形機(jī)器人索菲亞引入

通過(guò)ARKit面部捕捉

與機(jī)械關(guān)節(jié)的無(wú)縫聯(lián)動(dòng)

實(shí)現(xiàn)了表演、燈光

與多視角鏡頭的同步控制

并構(gòu)建了首個(gè)

多視角機(jī)器人表演數(shù)據(jù)集

成果發(fā)表于

“ACM國(guó)際多媒體學(xué)術(shù)會(huì)議”