上?？萍即髮W(xué)信息科學(xué)與技術(shù)學(xué)院李權(quán)課題組（交互智能與可視分析實(shí)驗(yàn)室ViSeer LAB）致力于構(gòu)建以人為中心的可解釋性人工智能系統(tǒng)，通過(guò)融合交互式可視分析與自動(dòng)機(jī)器學(xué)習(xí)技術(shù)，重點(diǎn)增強(qiáng)模型的可信性、公平性和魯棒性，推動(dòng)人機(jī)協(xié)同的深度發(fā)展；研發(fā)人工智能驅(qū)動(dòng)的可視化及創(chuàng)意設(shè)計(jì)自動(dòng)化技術(shù)，覆蓋視覺(jué)編碼、數(shù)據(jù)敘事生成等創(chuàng)新應(yīng)用；開(kāi)發(fā)面向重大社會(huì)及科學(xué)問(wèn)題的人機(jī)協(xié)同可視分析技術(shù)，提供數(shù)據(jù)驅(qū)動(dòng)的決策支持與解決方案優(yōu)化。近日，課題組在可視化與人機(jī)交互技術(shù)方面的多項(xiàng)創(chuàng)新性研究成果被IEEE Visualization Conference (IEEE VIS) 和 ACM Symposium on User Interface Software and Technology (ACM UIST) 兩大國(guó)際會(huì)議（CCF A類(lèi)會(huì)議）正式接收。

基于混合現(xiàn)實(shí)的ADHD成人溝通障礙實(shí)時(shí)干預(yù)

注意缺陷與多動(dòng)障礙（ADHD）是一種持續(xù)性的神經(jīng)發(fā)育障礙，長(zhǎng)期影響個(gè)體的注意力調(diào)控、行為控制與情緒反應(yīng)?，F(xiàn)有的ADHD干預(yù)方法存在顯著不足：社交技能訓(xùn)練（SST）往往難以遷移到真實(shí)社交場(chǎng)景；認(rèn)知行為療法（CBT）難以應(yīng)對(duì)ADHD特有的執(zhí)行功能障礙；虛擬現(xiàn)實(shí)（VR）系統(tǒng)的應(yīng)用往往導(dǎo)致被動(dòng)學(xué)習(xí)，缺乏主動(dòng)的互動(dòng)性；可穿戴生物反饋設(shè)備則容易干擾自然對(duì)話(huà)的流暢性。

圖1｜Understood系統(tǒng)的完整交互流程概覽。用戶(hù)首先在功能選擇階段開(kāi)啟所需的輔助功能并確認(rèn)進(jìn)入對(duì)話(huà)。對(duì)話(huà)過(guò)程中，用戶(hù)可通過(guò)注視觸發(fā)區(qū)域激活或關(guān)閉支持面板，顏色變化提示當(dāng)前是否偏離話(huà)題。面板激活后，系統(tǒng)將提供詞語(yǔ)建議、自身發(fā)言摘要及對(duì)方發(fā)言摘要。對(duì)話(huà)結(jié)束后，用戶(hù)將收到積極反饋以強(qiáng)化溝通信心。

研究團(tuán)隊(duì)聯(lián)合臨床專(zhuān)家和ADHD患者開(kāi)展設(shè)計(jì)研究，開(kāi)發(fā)了一款名為Understood的MR實(shí)時(shí)溝通輔助系統(tǒng)（https://github.com/Yu-xinz/UIST2025-8878-Understood）。經(jīng)過(guò)多次迭代，實(shí)驗(yàn)室環(huán)境下的受試者研究結(jié)果表明，系統(tǒng)能夠在不打斷自然對(duì)話(huà)的前提下，顯著提升ADHD用戶(hù)的溝通流暢度與自我調(diào)節(jié)能力，展示了混合現(xiàn)實(shí)技術(shù)在支持神經(jīng)多樣性群體中的巨大潛力。與現(xiàn)有的干預(yù)方法相比，Understood不僅實(shí)現(xiàn)了治療效果向真實(shí)場(chǎng)景的可持續(xù)轉(zhuǎn)化，還通過(guò)最小干擾設(shè)計(jì)保障了對(duì)話(huà)的連續(xù)性，有效提升了ADHD成人的社交自信和溝通能力。

圖2｜在現(xiàn)實(shí)中使用Understood的示例場(chǎng)景。

該研究以“Understood: Real-Time Communication Support for Adults with ADHD Using Mixed Reality”為題被ACM UIST 2025接收。信息科學(xué)與技術(shù)學(xué)院2021級(jí)本科生張仕震（yuxinz.vercel.app）和李盛忻（mike3090.GitHub.io）為論文的共同第一作者，李權(quán)教授為通訊作者。南京醫(yī)科大學(xué)附屬腦科醫(yī)院吳思楚博士和上海精神衛(wèi)生中心姚灝博士的專(zhuān)業(yè)建議為本研究提供了關(guān)鍵思路。

文章鏈接：https://arxiv.org/abs/2507.18151

破解醫(yī)學(xué)多標(biāo)簽影像偏見(jiàn)：人機(jī)協(xié)同新范式提升模型診療與醫(yī)工合作

人工智能（AI）在醫(yī)療影像分析領(lǐng)域的應(yīng)用大幅提升了診斷效率，尤其是在X光、CT和MRI等影像的病灶檢測(cè)方面。然而，多標(biāo)簽醫(yī)療影像分類(lèi)（MLMIC）仍面臨技術(shù)挑戰(zhàn)，包括標(biāo)簽分布不平衡問(wèn)題和標(biāo)簽共現(xiàn)現(xiàn)象等。這些問(wèn)題引發(fā)了訓(xùn)練偏差，影響了AI模型的診斷準(zhǔn)確性，降低了臨床醫(yī)生對(duì)其的信任度。傳統(tǒng)的MLMIC流程存在顯著的協(xié)作瓶頸，醫(yī)生應(yīng)專(zhuān)注于驗(yàn)證模型的解釋準(zhǔn)確性，工程師則需要保證模型的實(shí)用性，但跨專(zhuān)業(yè)協(xié)作的障礙使得這一目標(biāo)難以實(shí)現(xiàn)。現(xiàn)有的一些改進(jìn)工具雖然引入了可視化交互界面，但仍要求醫(yī)生具備一定的AI基礎(chǔ)知識(shí)，且無(wú)法確保醫(yī)學(xué)知識(shí)能夠持續(xù)有效地融入模型優(yōu)化過(guò)程。

圖3｜MEDebiaser可視分析系統(tǒng)，旨在引導(dǎo)醫(yī)生以其熟悉的方式直接修正AI模型的診斷偏見(jiàn)，提升模型準(zhǔn)確性與可解釋性，便利醫(yī)生與工程師的合作。

為此，李權(quán)課題組提出了融合人機(jī)協(xié)同與可視分析的新型偏見(jiàn)修正系統(tǒng)——MEDebiaser。該系統(tǒng)通過(guò)重塑醫(yī)生與工程師的協(xié)作模式，顯著降低了多標(biāo)簽醫(yī)學(xué)影像分類(lèi)中的模型偏見(jiàn)，提高了AI輔助診斷的準(zhǔn)確性和可信度。結(jié)果表明，相較于傳統(tǒng)的工程師介入修正模式，使用MEDebiaser的醫(yī)生在修正模型偏見(jiàn)方面效率顯著提升，模型迭代周期明顯縮短。在包含罕見(jiàn)病的測(cè)試集上，經(jīng)過(guò)MEDebiaser修正后的模型在多標(biāo)簽分類(lèi)任務(wù)中的準(zhǔn)確率較基線(xiàn)方法提升了10.1%。實(shí)驗(yàn)反饋顯示，醫(yī)生普遍認(rèn)為通過(guò)直觀(guān)的交互方式直接修正AI的錯(cuò)誤焦點(diǎn)，比與工程師進(jìn)行技術(shù)細(xì)節(jié)溝通更加高效。新工作模式不僅顯著節(jié)省了醫(yī)生的寶貴時(shí)間，也增強(qiáng)了他們對(duì)AI輔助診斷結(jié)果的信賴(lài)度。

圖4｜MEDebiaser 的工作流包括三個(gè)主要階段：加載數(shù)據(jù)集與模型、觀(guān)察與修正注意力，以及評(píng)估模型性能。

該研究成果由李權(quán)課題組與上海中醫(yī)藥大學(xué)附屬曙光醫(yī)院的丁旭醫(yī)生共同開(kāi)展，并以“MEDebiaser: A Human-AI Feedback System for Mitigating Bias in Multi-label Medical Image Classification”為題被ACM UIST 2025正式接收。信息科學(xué)與技術(shù)學(xué)院2023級(jí)碩士研究生史少寒（yocoanto.github.io）為論文的第一作者，李權(quán)和丁旭為共同通訊作者。

文章鏈接：https://arxiv.org/abs/2507.10044

HypoChainer：融合大語(yǔ)言模型與知識(shí)圖譜的協(xié)作式假設(shè)構(gòu)建框架，推動(dòng)科學(xué)發(fā)現(xiàn)

在科學(xué)發(fā)現(xiàn)領(lǐng)域，知識(shí)的爆炸性增長(zhǎng)與生物系統(tǒng)的復(fù)雜性為研究帶來(lái)了前所未有的挑戰(zhàn)。現(xiàn)有的解決方案通常依賴(lài)相似性比較，但它們?cè)谧R(shí)別缺乏先驗(yàn)驗(yàn)證的創(chuàng)新機(jī)制時(shí)存在明顯不足。大型語(yǔ)言模型（LLMs）在整合多模態(tài)數(shù)據(jù)和提供初步推理框架方面展現(xiàn)了強(qiáng)大的能力，但也面臨幻覺(jué)風(fēng)險(xiǎn)與可靠性問(wèn)題。知識(shí)圖譜（KGs）通過(guò)結(jié)構(gòu)化的關(guān)系提升了預(yù)測(cè)的魯棒性，但仍存在文本語(yǔ)境缺失、常識(shí)知識(shí)空白以及關(guān)系粒度不足等局限。

圖5｜HypoChainer通過(guò)融合專(zhuān)家知識(shí)、大語(yǔ)言模型與知識(shí)圖譜的協(xié)作可視化系統(tǒng)，有效支持假設(shè)生成與驗(yàn)證，助力科學(xué)發(fā)現(xiàn)。

針對(duì)這些挑戰(zhàn)，李權(quán)教授課題組提出了HypoChainer，一個(gè)融合人類(lèi)專(zhuān)家知識(shí)、大語(yǔ)言模型推理能力與知識(shí)圖譜的協(xié)作式可視化框架。該框架通過(guò)構(gòu)建假設(shè)鏈（由邏輯鏈接的關(guān)聯(lián)假設(shè)組成的推理路徑），打破信息孤島，推動(dòng)科學(xué)發(fā)現(xiàn)。通過(guò)案例研究與專(zhuān)家訪(fǎng)談，研究人員對(duì)HypoChainer在假設(shè)構(gòu)建與科學(xué)發(fā)現(xiàn)過(guò)程中的實(shí)用性與有效性進(jìn)行了系統(tǒng)評(píng)估。實(shí)驗(yàn)結(jié)果表明，HypoChainer不僅能夠有效整合多方數(shù)據(jù)和知識(shí)，還能夠顯著提升假設(shè)構(gòu)建的效率和準(zhǔn)確性，降低研究中的認(rèn)知負(fù)擔(dān)。

圖6｜系統(tǒng)基于假設(shè)驅(qū)動(dòng)的科學(xué)發(fā)現(xiàn)框架，流程分為（1）語(yǔ)境探索（2）假設(shè)構(gòu)建與（3）驗(yàn)證篩選三個(gè)階段。

該研究由李權(quán)課題組與上海臨床研究中心姜暢醫(yī)師共同合作完成，并以“HypoChainer: A Collaborative System Combining LLMs and Knowledge Graphs for Hypothesis-Driven Scientific Discovery”為題被IEEE VIS 2025正式接收，并同步收錄于計(jì)算機(jī)圖形學(xué)與可視化領(lǐng)域的旗艦期刊（TVCG）中。信息科學(xué)與技術(shù)學(xué)院2023級(jí)碩士研究生姜浩然與史少寒為論文的共同第一作者，李權(quán)教授為通訊作者。

文章鏈接：https://arxiv.org/abs/2507.17209

OceanVive：沉浸式空間敘事系統(tǒng)賦能復(fù)雜海洋現(xiàn)象的傳播與理解

在氣候變化與海洋生態(tài)惡化的背景下，如何高效傳達(dá)復(fù)雜海洋現(xiàn)象的時(shí)空動(dòng)態(tài)和多維關(guān)系，成為科學(xué)傳播與公眾理解中的一大難題。傳統(tǒng)的數(shù)據(jù)呈現(xiàn)手段多以靜態(tài)圖表或文字報(bào)告為主，難以準(zhǔn)確傳達(dá)諸如缺氧、酸化等海洋過(guò)程的連續(xù)性與空間結(jié)構(gòu)，也限制了其在公眾教育和政策溝通中的應(yīng)用價(jià)值。

針對(duì)此，李權(quán)課題組提出了一個(gè)支持沉浸式空間敘事的海洋可視化系統(tǒng)OceanVive。它系統(tǒng)整合了大型弧形顯示器與桌面平板設(shè)備，允許用戶(hù)通過(guò)平板進(jìn)行內(nèi)容操控，在大屏上同步沉浸式探索三維網(wǎng)格海洋數(shù)據(jù)，從而獲得連貫、生動(dòng)的空間敘述體驗(yàn)。OceanVive支持多角度數(shù)據(jù)切片、自適應(yīng)視覺(jué)編碼等功能，幫助用戶(hù)直觀(guān)理解溫度、鹽度、溶解氧等關(guān)鍵變量的時(shí)空演化過(guò)程。

圖7｜OceanVive系統(tǒng)以平板與大屏協(xié)同交互的形式，構(gòu)建“可游走的海洋敘事”，助力公眾理解海洋現(xiàn)象。

圖8｜OceanVive系統(tǒng)的四類(lèi)觀(guān)測(cè)對(duì)象：空間點(diǎn)、空間路徑、體積區(qū)域以及多目標(biāo)組合。

本研究由李權(quán)課題組、香港海洋研究中心和香港科技大學(xué)麻曉娟課題組聯(lián)合完成，研究成果題為“OceanVive: An Immersive Visualization System for Communicating Complex Oceanic Phenomena”，被IEEE VIS 2025正式接收。信息科學(xué)與技術(shù)學(xué)院2023級(jí)博士研究生歐陽(yáng)陽(yáng)和2022級(jí)碩士研究生吳宇辰為論文的共同第一作者，李權(quán)教授和麻曉娟教授為共同通訊作者。

文章鏈接：https://arxiv.org/abs/2507.17218