編者按：本期，數(shù)據(jù)恢復(fù)四川省重點(diǎn)實(shí)驗(yàn)室科研人員將介紹視頻檢索技術(shù)重要步驟——目標(biāo)跟蹤。目標(biāo)跟蹤能將雜亂的幀間對象串連起來，形成軌跡和線索，讓工作人員能夠了解目標(biāo)對象的來龍去脈，并根據(jù)戰(zhàn)法經(jīng)驗(yàn)進(jìn)行過濾、排除等，快速鎖定目標(biāo)，提高工作效率。

　　一、背景介紹

　　運(yùn)動(dòng)目標(biāo)跟蹤在軍事制導(dǎo)、視覺導(dǎo)航、機(jī)器人、智能交通、公共安全等領(lǐng)域有著廣泛應(yīng)用。例如，在車輛違章抓拍系統(tǒng)中，車輛跟蹤就是必不可少的；在入侵檢測中，人、動(dòng)物、車輛等大型運(yùn)動(dòng)目標(biāo)的檢測與跟蹤，是整個(gè)系統(tǒng)運(yùn)行的關(guān)鍵所在；計(jì)算機(jī)視覺領(lǐng)域目標(biāo)跟蹤作為運(yùn)動(dòng)目標(biāo)跟蹤一個(gè)重要的分支，對視頻檢索有重要意義。

圖1：運(yùn)動(dòng)目標(biāo)追蹤

　　二、目標(biāo)跟蹤主要步驟

　　運(yùn)動(dòng)目標(biāo)跟蹤就是在一個(gè)連續(xù)視頻序列中，在每一幀監(jiān)控畫面中找到感興趣的運(yùn)動(dòng)目標(biāo)，如車輛、行人、動(dòng)物等。目標(biāo)跟蹤大致可以分為以下幾個(gè)步驟：

　　1.目標(biāo)的有效描述

　　目標(biāo)跟蹤過程跟目標(biāo)檢測一樣，需要對其進(jìn)行有效的描述，即需要提取目標(biāo)的特征，從而能夠表達(dá)該目標(biāo)。一般來說，我們可以通過圖像的邊緣、輪廓、形狀、紋理、區(qū)域、直方圖、矩特征、變換系數(shù)等來進(jìn)行目標(biāo)特征描述。

　　2.相似性度量計(jì)算

　　目標(biāo)跟蹤相似性度量計(jì)算常用的方法有：歐式距離、馬氏距離、棋盤距離、加權(quán)距離、相似系數(shù)、相關(guān)系數(shù)等。

　　3.目標(biāo)區(qū)域搜索匹配

　　在目標(biāo)跟蹤過程中，如果對場景中出現(xiàn)的所有目標(biāo)都進(jìn)行特征提取、相似性計(jì)算，那么系統(tǒng)運(yùn)行所耗費(fèi)的計(jì)算量非常大。所以我們通常采用一定的方式對運(yùn)動(dòng)目標(biāo)可能出現(xiàn)的區(qū)域進(jìn)行估計(jì)，從而減少冗余，加快目標(biāo)跟蹤的速度。常見的預(yù)測算法有：Kalman濾波、粒子濾波、均值漂移等。

　　三、目標(biāo)跟蹤算法

　　在視頻檢索領(lǐng)域，檢索速度是一個(gè)非常重要的指標(biāo)，比實(shí)時(shí)跟蹤要求要高得多，這就要求跟蹤算法必須計(jì)算量小，處理一幀數(shù)據(jù)的時(shí)間要盡可能短。

圖2：連續(xù)兩幀中的框選對象

　　如圖2所示，判斷連續(xù)兩幀中的框選對象是否為同一個(gè)對象，這就是目標(biāo)跟蹤要做的事情。

　　首先，對第1幀框選對象進(jìn)行有效描述；接下來，對第2幀框選對象進(jìn)行有效描述；最后對兩幀框選對象進(jìn)行相似度計(jì)算，當(dāng)相似度大于某個(gè)閥值（例如：0.75）時(shí)，認(rèn)為兩幀中框選對象為同一對象，從而完成目標(biāo)跟蹤。

　　在現(xiàn)實(shí)情況中，目標(biāo)跟蹤肯定比上述例子中1對1情況復(fù)雜得多，可能涉及到1對多、多對多的情況，甚至還有跟蹤對象的合并、拆分、被遮擋、消失、離開場景等各種異常情況。能合理高效地解決這些復(fù)雜情況，才算一個(gè)好的目標(biāo)跟蹤算法。

　　四、如何快速進(jìn)行目標(biāo)跟蹤

　　想要提升視頻檢索速度，就要求采用計(jì)算量小、處理速度快的目標(biāo)跟蹤算法。為此，需要對目標(biāo)跟蹤的每個(gè)步驟進(jìn)行優(yōu)化。

　　1.目標(biāo)描述

　　可以先排除那些效率低的方法，例如：邊緣、輪廓、紋理、矩特征，這些方法需要很大的大量的數(shù)學(xué)計(jì)算，最多能夠做到實(shí)時(shí)處理（也就是一秒處理30幀左右），明顯達(dá)不到要求。

　　那么剩下的直方圖法便是首選了，采用顏色直方圖，它不涉及復(fù)雜運(yùn)算，數(shù)值都是統(tǒng)計(jì)而來，它所描述的是不同色彩在整幅圖像中所占的比例，而并不關(guān)心每種色彩所處的空間位置。當(dāng)然，為了避免僅顏色比例相近的圖像被認(rèn)為相似度高，需要將圖像進(jìn)行分塊再求直方，這樣一來相似度高一定是各分塊直方圖都相似，則可以確定是真的相似。

　　2.相似度計(jì)算

　　上面介紹了直方圖以及它的相似度計(jì)算，但是，顯示應(yīng)用中是存在對象合并、拆分等異常情況的，不是簡單的比較直方圖相似度就可以完成所有工作的。

圖3：對象出現(xiàn)合并情況

　　如圖3所示，第1幀中對象1和對象2其實(shí)都應(yīng)該對應(yīng)到第2幀中的對象1（綠色框包含對象），但第1幀中的兩個(gè)對象與第2幀中對象的直方相似度應(yīng)該都在0.5左右，顯示這是不符合要求的，所以還需要添加其它的相似度計(jì)算參數(shù)。

　　距離參數(shù)：當(dāng)兩幀中對象距離越小的認(rèn)為相似度越高，用歐式距離，距離與相似度成反比(1 - 對象移動(dòng)距離 / 視頻對角線長度)，將除式中的分子分母求對數(shù)進(jìn)行結(jié)果收斂。

　　長寬比參數(shù)：有時(shí)候?qū)ο箝g距離是相似的，所以增加條件，引入長寬比參數(shù)。

　　方向參數(shù)：當(dāng)距離差相似，長寬比也差不多時(shí)，再引入方向來增加相似度權(quán)重。

　　3.目標(biāo)區(qū)域搜索匹配

　　如圖3所示，第1幀中的兩個(gè)對象同時(shí)與第2幀的對象1（綠色框包含對象）匹配，即幀2的對象1是幀1的兩個(gè)對象合并的結(jié)果，要繼續(xù)跟蹤，則需要在幀2的對象1中標(biāo)記出幀1的兩個(gè)對象，這就需要進(jìn)行區(qū)域搜索和匹配，可以應(yīng)用常見的預(yù)測方法，或者根據(jù)經(jīng)驗(yàn)自定義預(yù)測算法。

　　五、跟蹤結(jié)果輸出

　　目標(biāo)跟蹤的結(jié)果會輸出成一系列的對象外框，連接這些框的中心點(diǎn)便形成一條以幀為單位的軌跡。通過軌跡可以進(jìn)行多種過濾操作，比如：絆線過濾、經(jīng)過區(qū)域過濾、方向過濾等，靈活的過濾可以快速篩選出可疑目標(biāo)，或快速排除無嫌疑的目標(biāo)；通過軌跡數(shù)據(jù)可以審看某個(gè)對象出現(xiàn)在視頻場景中的視頻片段，以便對其行為進(jìn)行分析，列入或排除其嫌疑。

　　小結(jié)：本期，數(shù)據(jù)恢復(fù)四川省重點(diǎn)實(shí)驗(yàn)室科研人員介紹了目標(biāo)跟蹤的定義、步驟、算法、結(jié)果輸?shù)葍?nèi)容。著重介紹了如何對目標(biāo)跟蹤的每個(gè)步驟進(jìn)行優(yōu)化，形成一個(gè)好的目標(biāo)跟蹤算法，從而提升視頻檢索速度。