9月10日,上海科技大學(xué)生物醫(yī)學(xué)工程學(xué)院于游課題組和合作者在《科學(xué)進(jìn)展》(Science Advances)上發(fā)表標(biāo)題為“Printed sensing human-machine interface with individualized adaptive machine learning”的研究論文,報(bào)道了一種3D打印技術(shù)制備的多模態(tài)傳感柔性生物電子,結(jié)合個(gè)體間自適應(yīng)的機(jī)器學(xué)習(xí)算法,打通了從控制、手勢(shì)識(shí)別到機(jī)器人觸覺(jué)感知反饋的交互路徑,并且進(jìn)一步在智能假肢方面展現(xiàn)出巨大的應(yīng)用潛力。

人機(jī)交互界面(HMI)是實(shí)現(xiàn)“人-機(jī)-環(huán)境”三元共融的核心,在智能制造、醫(yī)療健康、深空探測(cè)等領(lǐng)域具有廣闊的應(yīng)用前景?,F(xiàn)有的柔性人機(jī)交互界面系統(tǒng)面臨較多瓶頸,如核心傳感部件多依賴(lài)微納加工方法,工藝復(fù)雜、成本高昂;機(jī)器學(xué)習(xí)方法對(duì)個(gè)體生理差異和器件穿戴位置敏感,導(dǎo)致適應(yīng)性差、重置標(biāo)定建立模型的流程繁瑣;機(jī)器端感知維度單一,缺乏仿生皮膚的綜合性觸覺(jué),難以完成精細(xì)的識(shí)別與交互任務(wù)。
在此背景下,團(tuán)隊(duì)結(jié)合多材料墨水直寫(xiě)與精密激光加工技術(shù),實(shí)現(xiàn)了柔性電子與軟體機(jī)器手傳感器陣列的一體化、低成本、大規(guī)模制造。該工藝能夠以微米級(jí)精度打印包含壓力、溫度、電導(dǎo)率等多模態(tài)傳感器的高度集成化柔性器件(圖1A)。集成了柔性傳感陣列的氣動(dòng)軟體手受人體肌電信號(hào)(EMG)控制,可根據(jù)不同意圖執(zhí)行對(duì)應(yīng)動(dòng)作,具備多模態(tài)傳感能力的機(jī)器手可以區(qū)分觸碰到的物體材質(zhì),并經(jīng)由電子皮膚反饋給人體相關(guān)信息。
針對(duì)生理電信號(hào)個(gè)體差異性問(wèn)題,團(tuán)隊(duì)設(shè)計(jì)了一種通道線(xiàn)性映射方法(LMN)結(jié)合遷移學(xué)習(xí)策略的自適應(yīng)機(jī)器學(xué)習(xí)算法(圖1B)。該算法能夠在新用戶(hù)身上實(shí)現(xiàn)“少樣本迅速適應(yīng)”,僅需數(shù)次動(dòng)作校準(zhǔn)即可完成模型的個(gè)性化適配,在14種復(fù)雜手勢(shì)的識(shí)別任務(wù)中,平均準(zhǔn)確率高達(dá)98%以上,且系統(tǒng)延遲低至0.1秒。為了賦予軟體機(jī)器手多維度仿生觸覺(jué),團(tuán)隊(duì)還創(chuàng)新性地融合熱導(dǎo)率和電導(dǎo)率傳感,通過(guò)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)解析,機(jī)器手結(jié)合傳感陣列能夠?qū)Χ噙_(dá)20種日常物品(如金屬、塑料、木材等)進(jìn)行精準(zhǔn)的材質(zhì)識(shí)別,準(zhǔn)確率超過(guò)98%,極大地提升了機(jī)器人的環(huán)境感知與交互能力。
最終在一位前臂截肢的志愿者上開(kāi)展應(yīng)用測(cè)試,全面驗(yàn)證了整個(gè)閉環(huán)交互系統(tǒng)的有效性和魯棒性(圖1C)。結(jié)果表明,即便在患者殘肢肌肉信號(hào)存在衰減和延遲的情況下,系統(tǒng)依然能以94.36%的準(zhǔn)確率穩(wěn)定識(shí)別其手勢(shì)意圖,并驅(qū)動(dòng)機(jī)器手完成相應(yīng)動(dòng)作,充分展示了該技術(shù)在下一代智能義肢領(lǐng)域的應(yīng)用潛力。

圖1,(A)雙向信息采集和交互的柔性傳感生物電子示意圖;(B)自適應(yīng)機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)低樣本量遷移學(xué)習(xí)并完成模型的個(gè)性化適配;(C)智能假肢在前臂截肢者的實(shí)際應(yīng)用。
上??萍即髮W(xué)生物醫(yī)學(xué)工程學(xué)院2024級(jí)博士研究生王國(guó)徽、生命科學(xué)與技術(shù)學(xué)院2021級(jí)本科生唐耀和生物醫(yī)學(xué)工程學(xué)院2023級(jí)碩士研究生羅欣冉為論文共同第一作者。上海交通大學(xué)醫(yī)學(xué)院附屬第六人民醫(yī)院宋文奇、上海科技大學(xué)助理教授于游為共同通訊作者,上??萍即髮W(xué)為第一完成單位。
