智能制造的核心是通過(guò)數(shù)據(jù)驅(qū)動(dòng)的模型和決策，來(lái)實(shí)現(xiàn)預(yù)測(cè)性維護(hù)、工藝優(yōu)化、智能質(zhì)檢、能源管理、供應(yīng)鏈管理等任務(wù)。上海科技大學(xué)創(chuàng)意與藝術(shù)學(xué)院智造系統(tǒng)工程中心武穎娜課題組聚焦工業(yè)場(chǎng)景下的產(chǎn)品智能質(zhì)檢系統(tǒng)，針對(duì)產(chǎn)品信息捕捉不全、功能異常無(wú)法識(shí)別等自動(dòng)化質(zhì)檢的痛點(diǎn)問(wèn)題，構(gòu)建了基于多傳感器融合、動(dòng)態(tài)交互進(jìn)行異常推理判斷的智能系統(tǒng)，并于近日公開(kāi)了針對(duì)工業(yè)場(chǎng)景下異常檢測(cè)任務(wù)的首個(gè)多模態(tài)數(shù)據(jù)集MulSen-AD和首個(gè)視頻數(shù)據(jù)集Phys-AD。相關(guān)的兩篇文章同時(shí)被IEEE國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議（IEEE  Conference on Computer Vision and Pattern Recognition, CVPR 2025）接收。

多傳感器目標(biāo)異常檢測(cè)：外觀(guān)、幾何與內(nèi)部屬性的統(tǒng)一表征

針對(duì)單一傳感器在同時(shí)捕捉產(chǎn)品外觀(guān)、尺寸、內(nèi)部屬性等信息時(shí)存在顯著局限性的問(wèn)題，課題組提出了基于多傳感器融合的工業(yè)異常檢測(cè)方法。為了獲得產(chǎn)品的全面信息，建立了首個(gè)面向工業(yè)應(yīng)用的高分辨率、多模態(tài)異常檢測(cè)數(shù)據(jù)集MulSen-AD（Multi-Sensor Anomaly Detection）。針對(duì)15種產(chǎn)品類(lèi)別，設(shè)計(jì)了孔洞、折痕、異物、劃傷、折彎、內(nèi)部裂紋等14種真實(shí)缺陷，共計(jì)2035個(gè)樣本；通過(guò)RGB圖像、三維點(diǎn)云、紅外圖像三種形式的數(shù)據(jù)分別呈現(xiàn)產(chǎn)品的外觀(guān)缺陷、幾何變形以及內(nèi)部淺表?yè)p傷等異常。本研究還提出了融合多傳感器數(shù)據(jù)的決策級(jí)融合算法MulSen-TripleAD，結(jié)合 RGB 紋理、紅外熱信號(hào)和 3D 點(diǎn)云信息，在無(wú)監(jiān)督異常檢測(cè)任務(wù)中取得了當(dāng)前最好的性能，為現(xiàn)有復(fù)雜工業(yè)異常檢測(cè)任務(wù)提供了新的研究思路。該成果以 “Multi-Sensor Object Anomaly Detection: Unifying Appearance, Geometry, and Internal Properties” 為題，被 CVPR 2025會(huì)議接收。

基于決策層融合的多傳感器異常檢測(cè)網(wǎng)絡(luò)

上?？萍即髮W(xué)為第一完成單位，2022級(jí)碩士研究生李文嶠、2023級(jí)碩士研究生鄭博中、密歇根大學(xué)徐曉豪為共同第一作者，武穎娜研究員與高盛華教授為共同通訊作者。

arxiv鏈接: https://arxiv.org/abs/2412.14592

數(shù)據(jù)集鏈接：https://huggingface.co/datasets/orgjy314159/MulSen_AD

面向真實(shí)世界物理動(dòng)態(tài)的視覺(jué)理解與推理：基于物理先驗(yàn)的異常檢測(cè)

針對(duì)工業(yè)異常檢測(cè)算法大多依賴(lài)于靜態(tài)、語(yǔ)義簡(jiǎn)單的數(shù)據(jù)集，難以識(shí)別產(chǎn)品功能異常的問(wèn)題，課題組提出了首個(gè)大規(guī)模、交互驅(qū)動(dòng)的工業(yè)異常檢測(cè)視頻數(shù)據(jù)集Phys-AD（Physics Anomaly Detection），旨在提升算法基于物理先驗(yàn)知識(shí)來(lái)理解、推理和判斷功能異常的能力。通過(guò)機(jī)械臂、電機(jī)等與產(chǎn)品進(jìn)行交互，設(shè)計(jì)并采集了6400個(gè)視頻；針對(duì)22種產(chǎn)品類(lèi)別，設(shè)計(jì)了機(jī)械故障、運(yùn)動(dòng)異常等47種功能異常的場(chǎng)景。Phys-AD的任務(wù)更強(qiáng)調(diào)視覺(jué)推理，要求算法結(jié)合物理先驗(yàn)知識(shí)與視頻內(nèi)容，判斷產(chǎn)品是否存在功能異常。在進(jìn)行基準(zhǔn)測(cè)試的同時(shí)，本研究還引入 PAEval 評(píng)測(cè)指標(biāo)，衡量算法在檢測(cè)異常的同時(shí)解釋其物理原因的能力，推動(dòng)異常檢測(cè)算法向更具物理推理能力的方向發(fā)展。該成果以“Towards Visual Discrimination and Reasoning of Real-World Physical Dynamics: Physics-Grounded Anomaly Detection”為題，被CVPR 2025會(huì)議接收。

基于物理先驗(yàn)的物體異常檢測(cè)類(lèi)人決策過(guò)程

Phys-AD視頻數(shù)據(jù)集

上海科技大學(xué)為第一完成單位，2022級(jí)碩士研究生李文嶠、2023級(jí)碩士研究生谷峣、2024級(jí)碩士研究生陳鑫濤為共同第一作者，武穎娜研究員為通訊作者。

arxiv鏈接: https://arxiv.org/pdf/2503.03562

數(shù)據(jù)集鏈接：https://huggingface.co/datasets/guoliz/Phys-AD