近日，全球人機(jī)交互領(lǐng)域會(huì)議（ACM CHI 2025）在日本橫濱召開(kāi)。CHI（The ACM CHI Conference on Human Factors in Computing Systems）是全球人機(jī)交互領(lǐng)域最具影響力的標(biāo)桿性學(xué)術(shù)會(huì)議之一，是中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）認(rèn)證的A類(lèi)會(huì)議，并在Core Conference Ranking中位列A*級(jí)（Flagship Conference)。上海科技大學(xué)信息科學(xué)與技術(shù)學(xué)院李權(quán)教授課題組的最新研究成果“ClueCart: Supporting Game Story Interpretation and Narrative Inference from Fragmented Clues”榮獲最佳論文獎(jiǎng)（Best Paper Award）。該研究成果由信息科學(xué)與技術(shù)學(xué)院李權(quán)課題組、香港科技大學(xué)跨學(xué)科學(xué)院及香港科技大學(xué)（廣州）計(jì)算媒體與藝術(shù)系合作完成。信息科學(xué)與技術(shù)學(xué)院2022級(jí)碩士研究生王希元為論文的第一作者，李權(quán)教授為通訊作者。該工作聚焦于當(dāng)前游戲敘事解析中的關(guān)鍵挑戰(zhàn)，提出了名為ClueCart的人工智能工具，為玩家與內(nèi)容創(chuàng)作者提供了全新的敘事分析解決方案。

在如《艾爾登法環(huán)》《空洞騎士》等熱門(mén)游戲中，開(kāi)發(fā)者廣泛采用“索引式敘事”（Indexical Storytelling）手法，通過(guò)分散的環(huán)境線(xiàn)索、物品描述與碎片化對(duì)話(huà)構(gòu)建復(fù)雜而深邃的世界觀(guān)。然而，這種非線(xiàn)性敘事結(jié)構(gòu)與信息的高度碎片化，往往使玩家和內(nèi)容創(chuàng)作者在理解、整合敘事時(shí)面臨較大困難。ClueCart的創(chuàng)新之處在于，首次將玩家行為建模與人工智能技術(shù)深度融合，構(gòu)建了一套系統(tǒng)性的敘事理解與重構(gòu)框架。

圖1. 該分層分類(lèi)法以游戲《空洞騎士》（Hollow Knight）為例，分為兩個(gè)層級(jí)。第一級(jí)為“分類(lèi)”（Classification），將線(xiàn)索劃分為三個(gè)主要類(lèi)別：角色（Character）、地點(diǎn)（Location） 和 成就（Achievement）。第二級(jí)為“元素”（Elements），依據(jù)游戲內(nèi)屬性將線(xiàn)索進(jìn)一步細(xì)分為六種類(lèi)型：過(guò)場(chǎng)動(dòng)畫(huà)（Cut-scene）、相關(guān)角色（Related Character）、環(huán)境（Environment）、物品（Artifact）、文本（Text） 和 對(duì)話(huà)（Dialogue）。每個(gè)“分類(lèi)”類(lèi)別中都可以包含任意類(lèi)型的“元素”。

該工具的核心功能聚焦于三大技術(shù)模塊：首先，基于玩家行為數(shù)據(jù)構(gòu)建分層敘事分類(lèi)法，將游戲線(xiàn)索劃分為“角色–場(chǎng)景–成就”三級(jí)結(jié)構(gòu)，并細(xì)化為過(guò)場(chǎng)動(dòng)畫(huà)、文本、對(duì)話(huà)等六類(lèi)元素，實(shí)現(xiàn)了從玩家視角出發(fā)的線(xiàn)索標(biāo)準(zhǔn)化管理；其次，研究團(tuán)隊(duì)開(kāi)發(fā)了定制化游戲模組，可實(shí)時(shí)捕捉游戲中的角色、場(chǎng)景與成就事件，并結(jié)合GPT-4o模型對(duì)碎片線(xiàn)索進(jìn)行自動(dòng)摘要提取、關(guān)鍵詞標(biāo)注與語(yǔ)義關(guān)聯(lián)分析，有效降低人工整理成本；最后，ClueCart提供高度可交互的分析界面，支持線(xiàn)索拖拽與圖譜可視化，創(chuàng)新性地引入外部知識(shí)檢索功能，能夠自動(dòng)關(guān)聯(lián)游戲中的符號(hào)與神話(huà)、歷史等真實(shí)世界背景，幫助用戶(hù)建構(gòu)更具深度的敘事理解。

圖2. ClueCart界面。（A）左側(cè)面板用于線(xiàn)索分類(lèi)與檢索。（B）右側(cè)面板用于故事解讀。

為驗(yàn)證系統(tǒng)效能，研究團(tuán)隊(duì)邀請(qǐng)40名專(zhuān)業(yè)內(nèi)容創(chuàng)作者開(kāi)展對(duì)比實(shí)驗(yàn)。結(jié)果顯示，相較于傳統(tǒng)協(xié)作工具Miro，ClueCart在任務(wù)完成效率、敘事邏輯連貫性以及跨線(xiàn)索關(guān)聯(lián)能力方面表現(xiàn)顯著優(yōu)越。系統(tǒng)可用性（SUS）與創(chuàng)意支持指數(shù)（CSI）評(píng)估進(jìn)一步表明，該工具在降低認(rèn)知負(fù)擔(dān)、激發(fā)創(chuàng)作靈感方面展現(xiàn)出突出優(yōu)勢(shì)。

作為一個(gè)開(kāi)源項(xiàng)目（https://cluecart.github.io/ClueCart/），ClueCart獲得了游戲開(kāi)發(fā)者社區(qū)的廣泛關(guān)注。其模塊化設(shè)計(jì)不僅適用于如《黑神話(huà)：悟空》這類(lèi)富含文化意涵的國(guó)產(chǎn)游戲，也具備擴(kuò)展至小說(shuō)、影視等跨媒體敘事分析場(chǎng)景的潛力。正如團(tuán)隊(duì)所言：“ClueCart的核心價(jià)值在于將玩家從敘事的被動(dòng)接收者轉(zhuǎn)變?yōu)橹鲃?dòng)參與者。未來(lái)，我們希望進(jìn)一步探索群體協(xié)同創(chuàng)作平臺(tái)，賦能全球玩家共同編織游戲世界中的未知篇章?！?/span>

本屆 ACM CHI以“Ikigai”為主題，強(qiáng)調(diào)科技在人類(lèi)追求個(gè)體價(jià)值與實(shí)現(xiàn)集體目標(biāo)之間所扮演的橋梁角色。ClueCart的獲獎(jiǎng)不僅展現(xiàn)了中國(guó)科研團(tuán)隊(duì)在人機(jī)交互前沿的創(chuàng)新實(shí)力，也預(yù)示著AI驅(qū)動(dòng)的創(chuàng)意工具正逐步重塑內(nèi)容創(chuàng)作的未來(lái)。當(dāng)機(jī)器學(xué)習(xí)能夠理解并輔助人類(lèi)構(gòu)建非結(jié)構(gòu)化的敘事邏輯時(shí)，技術(shù)與人文的融合將催生出全新的創(chuàng)作范式。正如程序委員會(huì)所評(píng)：“該研究在玩家行為建模、多模態(tài)AI與敘事科學(xué)的交匯點(diǎn)上開(kāi)辟了新路徑——它讓機(jī)器初步理解人類(lèi)是如何“講述故事”的，而這曾是藝術(shù)創(chuàng)作的獨(dú)占領(lǐng)域。”

近年來(lái)，上海科技大學(xué)信息科學(xué)與技術(shù)學(xué)院在國(guó)際學(xué)術(shù)舞臺(tái)持續(xù)取得矚目成績(jī)。僅過(guò)去一年間，學(xué)院師生便在國(guó)際知名會(huì)議中獲得7項(xiàng)重要榮譽(yù)：在計(jì)算機(jī)視覺(jué)、圖形學(xué)與芯片設(shè)計(jì)領(lǐng)域的重要會(huì)議中，榮獲SIGGRAPH 2024兩項(xiàng)最佳論文提名、CVPR 2024最佳學(xué)生論文獎(jiǎng)以及DAC 2024最佳論文提名；在多智能體系統(tǒng)重要會(huì)議AAMAS 2024榮獲最佳論文獎(jiǎng)；在醫(yī)學(xué)圖像處理權(quán)威會(huì)議MICCAI 2024摘得最佳論文獎(jiǎng)及可視化旗艦會(huì)議IEEE VIS 2024獲得最佳論文獎(jiǎng)。這些成果不僅顯示出信息學(xué)院在智能計(jì)算交叉領(lǐng)域的深厚積淀，也充分體現(xiàn)了“學(xué)生為本”的培養(yǎng)理念。展望未來(lái)，學(xué)校和學(xué)院將持續(xù)深化“以學(xué)生為主體”的科研范式，激發(fā)更強(qiáng)的學(xué)術(shù)活力與創(chuàng)新潛能。

論文鏈接：https://dl.acm.org/doi/10.1145/3706598.3713381