高速攝像機(jī)在爆炸力學(xué)、高速剛體運(yùn)動(dòng)等應(yīng)用場(chǎng)景中，通常會(huì)產(chǎn)生海量的視頻數(shù)據(jù)，如何從中高效、準(zhǔn)確提取出記錄關(guān)鍵變化或事件的“關(guān)鍵幀”，是實(shí)現(xiàn)后續(xù)數(shù)據(jù)存儲(chǔ)、分析的基礎(chǔ)。

   現(xiàn)有關(guān)鍵幀識(shí)別方法主要是像素級(jí)統(tǒng)計(jì)技術(shù)路徑，一種是基于幀差的方法，通過(guò)計(jì)算相鄰幀或固定間隔幀之間的像素差異，利用差異幅值或變化區(qū)域面積作為觸發(fā)依據(jù)，當(dāng)像素變化超過(guò)設(shè)定閾值時(shí)，則被判定為關(guān)鍵幀，該方法簡(jiǎn)單高效，具有較強(qiáng)實(shí)用性，但抗干擾能力不足，在對(duì)噪聲、光照變化和局部干擾敏感的場(chǎng)景中，容易誤觸發(fā)，且無(wú)法區(qū)分目標(biāo)運(yùn)動(dòng)與無(wú)意義的變化，不具備語(yǔ)義判斷能力。第二種是基于背景建模的方法，通過(guò)統(tǒng)計(jì)建模如高斯混合模型、遞推均值模型對(duì)場(chǎng)景背景進(jìn)行學(xué)習(xí)，將偏離背景模型的區(qū)域判定為前景目標(biāo)，從而識(shí)別關(guān)鍵變化幀，該方法局限性在于背景模型在劇烈變化的高速運(yùn)動(dòng)場(chǎng)景中難以穩(wěn)定收斂，容易導(dǎo)致關(guān)鍵事件遺漏，故對(duì)爆炸破片等適用有限。

   為彌補(bǔ)上述方法對(duì)“變化內(nèi)容和變化意義的理解能力”的不足，中科君達(dá)視界算法工程師們提出一種基于語(yǔ)義變化感知的關(guān)鍵幀識(shí)別方法-RCANet網(wǎng)絡(luò)，從語(yǔ)義層面建模場(chǎng)景變化，通過(guò)深度特征表達(dá)與時(shí)序記憶機(jī)制，實(shí)現(xiàn)對(duì)“有意義變化”的穩(wěn)定識(shí)別。

   RCANet由語(yǔ)義理解器、記憶編碼器、顯著性解碼器三大模塊構(gòu)成：

   1. 語(yǔ)義理解器（Semantic Encoder）

   該模塊基于深度卷積與自注意力機(jī)制，建立像素之間的全局語(yǔ)義關(guān)聯(lián)，用于對(duì)高速攝像機(jī)采集的序列幀進(jìn)行深度特征提取，不再僅感知亮度或顏色變化，而是識(shí)別并解析場(chǎng)景中的物體類(lèi)別、結(jié)構(gòu)形態(tài)和上下文信息的語(yǔ)義特征，為后續(xù)變化分析提供基礎(chǔ)。

   2. 記憶編碼器（Memory Encoder）

   該模塊引入時(shí)序建模能力，利用記憶緩存與門(mén)控機(jī)制構(gòu)建場(chǎng)景的短期記憶模型，用于描述高速攝像機(jī)采集圖像序列的時(shí)間演化特性。該模塊能夠區(qū)分瞬時(shí)擾動(dòng)與持續(xù)運(yùn)動(dòng)，助力正確理解目標(biāo)從運(yùn)動(dòng)到靜止、從完整到破碎的狀態(tài)變化，避免靜止目標(biāo)被誤判為背景。

   3. 顯著性解碼器（Saliency Decoder）

   該模塊結(jié)合語(yǔ)義特征與歷史狀態(tài)信息，采用可學(xué)習(xí)的注意力機(jī)制，評(píng)估變化的顯著性，用于生成帶有語(yǔ)義解釋的變化熱力圖與對(duì)應(yīng)高速攝像機(jī)觸發(fā)關(guān)鍵幀的置信度。該模塊僅對(duì)具有實(shí)際測(cè)量意義的語(yǔ)義變化作出響應(yīng)，從而過(guò)濾無(wú)效的背景干擾。

   相較于基于像素差異的傳統(tǒng)關(guān)鍵幀識(shí)別方法，基于語(yǔ)義顯著性評(píng)估結(jié)果的RCANet方法，具備下列技術(shù)優(yōu)勢(shì)：

   抗干擾性：RCANet基于語(yǔ)義特征的變化識(shí)別，可準(zhǔn)確識(shí)別目標(biāo)變化與無(wú)關(guān)擾動(dòng)。

   復(fù)雜場(chǎng)景適用性：引入時(shí)序記憶機(jī)制，適用于高速運(yùn)動(dòng)序列演化場(chǎng)景，且參數(shù)依賴(lài)性低，可適應(yīng)復(fù)雜場(chǎng)景下的關(guān)鍵幀檢測(cè)任務(wù)。

   系統(tǒng)集成：適合與高速攝像機(jī)系統(tǒng)集成，實(shí)現(xiàn)實(shí)時(shí)或準(zhǔn)實(shí)時(shí)關(guān)鍵幀定位。

   RCANet方法適用于多種高速視覺(jué)感知與測(cè)量場(chǎng)景：

   1. 爆炸與沖擊實(shí)驗(yàn)

   工程爆破、爆炸力學(xué)、高速?zèng)_擊等實(shí)驗(yàn)場(chǎng)景通常包含強(qiáng)光、煙塵擴(kuò)散、碎片飛散等復(fù)雜干擾因素，使用RCANet方法基于語(yǔ)義特征區(qū)分目標(biāo)結(jié)構(gòu)與非目標(biāo)碎片，通過(guò)顯著性評(píng)估機(jī)制，對(duì)破壞過(guò)程中的關(guān)鍵時(shí)間節(jié)點(diǎn)進(jìn)行準(zhǔn)確標(biāo)記，為后續(xù)力學(xué)性能分析提供關(guān)鍵序列幀數(shù)據(jù)。

   2. 掛架分離實(shí)驗(yàn)

   航空航天和飛行器高速機(jī)構(gòu)分離實(shí)驗(yàn)中，通常伴隨多部件結(jié)構(gòu)振動(dòng)等干擾因素，使用RCANet方法基于語(yǔ)義關(guān)系識(shí)別被釋放目標(biāo)與支撐結(jié)構(gòu)之間的狀態(tài)變化，準(zhǔn)確捕捉分離、脫鉤和初始6自由度運(yùn)動(dòng)等關(guān)鍵事件幀。

   3. 高速運(yùn)動(dòng)物體追蹤

   高速運(yùn)動(dòng)物體追蹤實(shí)驗(yàn)中，背景中常存在空氣擾動(dòng)、光照不均等干擾，同時(shí)目標(biāo)運(yùn)動(dòng)速度高、尺度變化快，導(dǎo)致目標(biāo)與背景變化高度耦合，關(guān)鍵事件識(shí)別難度大。RCANet通過(guò)語(yǔ)義層面的目標(biāo)建模，復(fù)雜背景和高速運(yùn)動(dòng)條件下持續(xù)關(guān)注目標(biāo)主體，準(zhǔn)確識(shí)別姿態(tài)突變、軌跡偏移和運(yùn)動(dòng)狀態(tài)變化等關(guān)鍵事件，同時(shí)RCANet的記憶編碼器能夠維持目標(biāo)身份一致性，避免因短暫遮擋或速度變化造成的跟蹤中斷。

   基于語(yǔ)義感知的高速運(yùn)動(dòng)物體關(guān)鍵幀識(shí)別RCANet方法針對(duì)高速視覺(jué)測(cè)量中復(fù)雜背景實(shí)驗(yàn)場(chǎng)景，通過(guò)引入語(yǔ)義感知與時(shí)序記憶機(jī)制，實(shí)現(xiàn)對(duì)關(guān)鍵事件的穩(wěn)定識(shí)別與精確定位。該方法突破了傳統(tǒng)像素級(jí)變化檢測(cè)在復(fù)雜條件下的種種局限，為高速攝像機(jī)采集的海量序列數(shù)據(jù)篩選存儲(chǔ)、后續(xù)測(cè)量提供高效的技術(shù)路徑。