多光譜目標(biāo)跟蹤框架主要包括Spectral 3D-Stem模塊、旋轉(zhuǎn)感知卡爾曼濾波器和端到端旋轉(zhuǎn)自適應(yīng)Transformer架構(gòu)，具體如圖1所示。
 

圖1 多光譜目標(biāo)跟蹤框架圖
 

　　該方法通過(guò)光譜空間聯(lián)合建模和引入目標(biāo)旋轉(zhuǎn)角度狀態(tài)參數(shù)，顯著提升光譜信息表達(dá)能力，實(shí)現(xiàn)了精準(zhǔn)的多光譜小目標(biāo)檢測(cè)和目標(biāo)間關(guān)聯(lián)，降低了誤檢、漏檢及ID轉(zhuǎn)換次數(shù)，如圖2所示。
 

圖2 多光譜輸入和RGB輸入的ID轉(zhuǎn)換和漏檢對(duì)比
 

　　團(tuán)隊(duì)構(gòu)建了首個(gè)國(guó)內(nèi)外無(wú)人機(jī)航拍多光譜目標(biāo)數(shù)據(jù)集。其覆蓋城市街區(qū)、交通樞紐、運(yùn)動(dòng)場(chǎng)地等多種真實(shí)場(chǎng)景的航拍視頻，包含125段視頻序列、48萬(wàn)余個(gè)高精度標(biāo)注目標(biāo)框，涵蓋8個(gè)典型類別(行人、汽車(chē)、自行車(chē)等)。多光譜成像跨越可見(jiàn)光至近紅外范圍，涵蓋多種挑戰(zhàn)場(chǎng)景如極小目標(biāo)、密集目標(biāo)、圖像模糊、嚴(yán)重遮擋、快速運(yùn)動(dòng)和平面內(nèi)旋轉(zhuǎn)等，如圖3所示。
 

圖3 數(shù)據(jù)集多種挑戰(zhàn)場(chǎng)景
 

　　MMOT發(fā)布填補(bǔ)了國(guó)內(nèi)外無(wú)人機(jī)多光譜目標(biāo)跟蹤領(lǐng)域空白，為研究人員提供了首個(gè)統(tǒng)一基準(zhǔn)與開(kāi)源框架。該工作突破了傳統(tǒng)視覺(jué)感知對(duì)空間特征的依賴，充分利用光譜維度的差異性，為未來(lái)跨模態(tài)融合感知、復(fù)雜環(huán)境下的智能無(wú)人系統(tǒng)識(shí)別與跟蹤奠定了重要基礎(chǔ)。
 

　　附作者簡(jiǎn)介：
 

　　李天昊，論文第一作者，2022級(jí)北京理工大學(xué)博士研究生，師從許廷發(fā)教授，主要研究方向?yàn)橹悄苣繕?biāo)探測(cè)、多目標(biāo)跟蹤技術(shù)。在高水平會(huì)議NIPS、CVPR及ACM MM發(fā)表論文3篇。
 

　　李佳男，論文通訊作者，北京理工大學(xué)光電學(xué)院長(zhǎng)聘副教授，博士生導(dǎo)師，主要研究方向?yàn)楣怆姵上衲繕?biāo)多維探測(cè)與感知技術(shù)研究。連續(xù)兩年入選全球前2%頂尖科學(xué)家(2023、2024年)。以第一或共同第一作者發(fā)表論文20篇，包括IEEE TPAMI論文5篇；以通訊作者發(fā)表論文60余篇。其中，3篇論文入選ESI高被引，2篇一作論文單篇引用超千次，谷歌學(xué)術(shù)總引用5600次。主持國(guó)家自然科學(xué)基金、工信部高質(zhì)量發(fā)展專項(xiàng)(課題)等項(xiàng)目10項(xiàng)。入選中國(guó)科協(xié)、北京市科協(xié)青托。獲得地理信息科技進(jìn)步二等獎(jiǎng)(序2)，中國(guó)圖象圖形學(xué)學(xué)會(huì)優(yōu)博，王大珩學(xué)生光學(xué)獎(jiǎng)等。指導(dǎo)學(xué)生獲得反無(wú)人機(jī)跟蹤挑戰(zhàn)賽國(guó)際冠軍等競(jìng)賽獎(jiǎng)項(xiàng)10余項(xiàng)。研究成果應(yīng)用于“中國(guó)天眼”、礦產(chǎn)開(kāi)發(fā)遙感監(jiān)測(cè)等領(lǐng)域。
 

　　許廷發(fā)，論文通訊作者，北京理工大學(xué)光電學(xué)院教授，博士生導(dǎo)師，國(guó)家一級(jí)重點(diǎn)學(xué)科“光學(xué)工程”學(xué)科責(zé)任教授，光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室主任，北京理工大學(xué)重慶創(chuàng)新中心副主任。近年來(lái)帶領(lǐng)科研團(tuán)隊(duì)圍繞光電成像探測(cè)與識(shí)別、計(jì)算成像和人工智能等領(lǐng)域不斷深化研究。主持承擔(dān)國(guó)家自然科學(xué)基金委重大科研儀器研制項(xiàng)目等40余項(xiàng)。在國(guó)際、國(guó)內(nèi)等系列期刊發(fā)表學(xué)術(shù)論文200余篇，其中被SCI/EI收錄120余篇。以第一發(fā)明人申請(qǐng)國(guó)家發(fā)明專利87項(xiàng)，已授權(quán)和公示45項(xiàng)。指導(dǎo)研究生獲得中國(guó)圖象圖形學(xué)學(xué)會(huì)優(yōu)秀博士學(xué)位論文，二人次獲得王大珩高校學(xué)生光學(xué)獎(jiǎng)，三人次獲得全國(guó)光學(xué)與光學(xué)工程博士生學(xué)術(shù)聯(lián)賽全國(guó)百?gòu)?qiáng)，獲得中國(guó)高等教育博覽會(huì)“校企合作 雙百計(jì)劃”典型案例和重慶英才創(chuàng)新創(chuàng)業(yè)示范團(tuán)隊(duì)等榮譽(yù)稱號(hào)。