用圖找圖，精準(zhǔn)高速

本項(xiàng)目致力于設(shè)計(jì)一個(gè)融合文本檢索、圖像檢索、視頻檢索于一體的面向多類型用戶的基于內(nèi)容的綜合圖像/視頻檢索系統(tǒng)。本系統(tǒng)結(jié)合用戶需求的多樣性，將最新研究的高新技術(shù)應(yīng)用到圖像/視頻檢索系統(tǒng)中，使用戶不僅能通過(guò)關(guān)鍵字找尋到所需的圖像/視頻，同時(shí)也能通過(guò)樣例圖像、草圖、感興趣區(qū)域等查詢，滿足用戶需求的多樣性。

本項(xiàng)目的主要內(nèi)容包括兩大部分：圖像檢索、視頻檢索。

1.圖像檢索

借鑒成熟的文本檢索技術(shù)，結(jié)合用戶搜索模式的多樣性，圖像檢索系統(tǒng)支持關(guān)鍵字、樣例圖片、草圖、感興趣區(qū)域等檢索方式。通過(guò)用戶提交的查詢（包括圖像、文字等），從海量的圖像庫(kù)中檢索出滿足用戶要求的圖像返回給用戶，并允許用戶對(duì)查詢結(jié)果進(jìn)行滿意度標(biāo)注，與系統(tǒng)進(jìn)行交互，同時(shí)還允許高可信度的用戶對(duì)圖像的內(nèi)容進(jìn)行文字描述，以支持關(guān)鍵字的圖像檢索。

1.1圖像檢索的主要功能

1、自動(dòng)提取圖像的顏色、紋理等底層視覺(jué)特征，得到底層特征庫(kù)。

2、支持用戶進(jìn)行相關(guān)反饋及對(duì)查詢圖像進(jìn)行文本描述，自動(dòng)分析該文本描述中的可信關(guān)鍵字，利用該可信關(guān)鍵字對(duì)查詢圖像進(jìn)行標(biāo)注，并通過(guò)用戶的相關(guān)反饋過(guò)程，實(shí)現(xiàn)對(duì)圖像庫(kù)中相關(guān)圖像的語(yǔ)義標(biāo)注，自動(dòng)建立高級(jí)語(yǔ)義庫(kù)，使得用戶能利用語(yǔ)義信息進(jìn)行有效檢索。

3、支持關(guān)鍵字、圖片、感興趣區(qū)域、草圖等檢索方式。

4、采用高維索引技術(shù)加快圖像檢索的搜索速度。

5、采用圖詞技術(shù)快速實(shí)現(xiàn)相似性比較算法。

6、提供開(kāi)放的系統(tǒng)接口，供其他應(yīng)用系統(tǒng)調(diào)用。

1.2圖像檢索架構(gòu)

圖像檢索系統(tǒng)的主要組成部分：

1、存儲(chǔ)子系統(tǒng)

?        特征提取

提取圖像的顏色、紋理等底層視覺(jué)特征和圖像的局部視覺(jué)特征。

?        關(guān)鍵字提取及標(biāo)注

用戶可對(duì)查詢圖像進(jìn)行文本描述，自動(dòng)提取該文本描述信息中的可信關(guān)鍵字，將此關(guān)鍵字作為查詢圖像的標(biāo)注信息，并結(jié)合用戶的相關(guān)反饋信息，實(shí)現(xiàn)對(duì)圖像庫(kù)中相關(guān)圖像的語(yǔ)義標(biāo)注，寫入語(yǔ)義庫(kù)中。

?        構(gòu)建特征數(shù)據(jù)庫(kù)及高維索引

負(fù)責(zé)自動(dòng)抽取圖像的底層視覺(jué)特征和局部視覺(jué)特征，得到特征數(shù)據(jù)庫(kù)，并建立高維索引。

?        管理數(shù)據(jù)庫(kù)

對(duì)圖像的底層特征數(shù)據(jù)庫(kù)、語(yǔ)義庫(kù)及原始圖像數(shù)據(jù)庫(kù)的進(jìn)行有效管理，包括新信息的插入、信息的查詢和刪除等功能。

?        特征匹配

設(shè)計(jì)適合于圖像的相似度匹配算法，負(fù)責(zé)將用戶提交查詢的特征和特征數(shù)據(jù)庫(kù)中的特征進(jìn)行相似度匹配，得到一系列的相似度值，將相似圖像返回給用戶。

?        反饋處理

接受用戶的反饋信息，通過(guò)對(duì)反饋信息的分析，調(diào)整檢索參數(shù)重新進(jìn)行檢索。

2、檢索子系統(tǒng)

?        用戶查詢界面設(shè)計(jì)

設(shè)計(jì)簡(jiǎn)潔美觀的用戶界面，方便用戶的查詢，和檢索結(jié)果的顯示。

?        交互反饋環(huán)節(jié)

給定部分參數(shù)供用戶選擇，方便用戶參與到檢索過(guò)程中，獲取更接近于用戶需求的檢索結(jié)果。

圖像檢索體系架構(gòu)如下：

1.3圖像檢索的特點(diǎn)和優(yōu)勢(shì)

1、支持多種用戶檢索方式

既支持傳統(tǒng)的關(guān)鍵字查詢和樣例查詢，也支持感興趣區(qū)域和草圖的查詢方式，即用戶可以在上傳的查詢圖像中框出自己感興趣的區(qū)域進(jìn)行查詢和用戶可以給出大概的草圖樣式進(jìn)行查詢。

2、  結(jié)合底層特征和高層語(yǔ)義特征

通過(guò)用戶對(duì)查詢圖像的文本描述及相關(guān)反饋，自動(dòng)得到圖像庫(kù)中各圖像的語(yǔ)義信息，將高層語(yǔ)義特征和底層的顏色、紋理等特征結(jié)合起來(lái)，能更全面的反映圖像的內(nèi)容。

3、  結(jié)合文本和圖片檢索

基于關(guān)鍵字的查詢能充分利用文本檢索的成熟技術(shù)，而基于圖片內(nèi)容的檢索能與文本檢索形成互補(bǔ)，使用戶能夠更快更準(zhǔn)的定位到所需圖片。

4、  提供開(kāi)放的系統(tǒng)接口

系統(tǒng)提供開(kāi)放的各種應(yīng)用接口，可方便后續(xù)的二次開(kāi)發(fā)。

2.視頻檢索

   借鑒成熟的文本搜索技術(shù)，及結(jié)合用戶搜索模式的多樣性，視頻檢索支持關(guān)鍵字、圖片、視頻序列等檢索方式。通過(guò)用戶提交的查詢請(qǐng)求，從海量的視頻庫(kù)中檢索出滿足用戶要求的視頻返回給用戶。

2.1視頻檢索的主要功能

1、獲取視頻源的視頻名、產(chǎn)生日期、導(dǎo)演、制作人等元信息特征；同時(shí)進(jìn)行視頻分析與分割，提取場(chǎng)景、鏡頭等結(jié)構(gòu)信息，并在此基礎(chǔ)上進(jìn)一步提取視頻的關(guān)鍵幀及字幕信息，獲取視頻的特征數(shù)據(jù)。

2、支持視頻、字幕等理解分析過(guò)程自動(dòng)化，通過(guò)對(duì)視頻源做相應(yīng)的分析，抽象出其特征屬性，并存儲(chǔ)這些屬性，使得用戶能夠根據(jù)這些屬性對(duì)內(nèi)容進(jìn)行檢索。

3、支持字幕、圖片、視頻序列等檢索方式。

4、提供開(kāi)放的系統(tǒng)接口，供其他應(yīng)用系統(tǒng)調(diào)用。

2.2視頻檢索構(gòu)架

視頻檢索主要有以下幾個(gè)部分：

1、  存儲(chǔ)子系統(tǒng)

?        獲取元信息

獲取視頻的片名、主演、導(dǎo)演、制作人等元數(shù)據(jù)信息，作為關(guān)鍵詞查詢的信息之一。

?        場(chǎng)景、鏡頭、關(guān)鍵幀獲取

此模塊采用視頻分割技術(shù)，將視頻序列分割為場(chǎng)景、鏡頭等，獲取鏡頭的關(guān)鍵幀來(lái)代表鏡頭的視覺(jué)特征。

?        字幕提取

字幕信息是視頻高層語(yǔ)義內(nèi)容的重要來(lái)源，對(duì)視頻的高層語(yǔ)義檢索非常有價(jià)值。通過(guò)字幕抽取技術(shù)，獲取視頻中的字幕信息，作為視頻的局部特征，用于用戶的關(guān)鍵詞查詢。

?        特征提取

該模塊通過(guò)對(duì)場(chǎng)景、鏡頭等進(jìn)行分析，得到視頻的運(yùn)動(dòng)信息，及通過(guò)特征提取算法，抽取關(guān)鍵幀中的視覺(jué)特征，作為視頻的局部特征，用于圖像/視頻查詢。

?        構(gòu)建特征數(shù)據(jù)庫(kù)及高維檢索

負(fù)責(zé)對(duì)視頻特征信息進(jìn)行有效管理，建立特征庫(kù)，并進(jìn)行高維檢索。

?        特征匹配

設(shè)計(jì)適合視頻的相似度匹配算法，負(fù)責(zé)將用戶提交查詢的特征和特征數(shù)據(jù)庫(kù)中的特征進(jìn)行相似度匹配，得到一系列的相似度值，將相似視頻返回給用戶。

?        反饋處理

接受用戶的反饋信息，通過(guò)對(duì)反饋信息的分析，調(diào)整檢索參數(shù)重新進(jìn)行檢索。

2、  用戶子系統(tǒng)

?        用戶查詢界面設(shè)計(jì)

設(shè)計(jì)簡(jiǎn)潔美觀的用戶界面，方便用戶的查詢及檢索結(jié)果的顯示。

?        交互反饋環(huán)節(jié)

給定部分參數(shù)供用戶選擇，方便用戶參與到檢索過(guò)程中，獲取更接近于用戶需求的檢索結(jié)果。

視頻檢索體系構(gòu)架如下：

2.3視頻檢索的特點(diǎn)和優(yōu)勢(shì)

1、提供給用戶多種查詢方式

   同時(shí)支持關(guān)鍵字、圖片、視頻序列的檢索，滿足用戶的多種查詢需求。

5、  結(jié)合底層特征和高層語(yǔ)義特征

采用字幕提取技術(shù)獲取視頻中的字幕信息，體現(xiàn)了一定的視頻語(yǔ)義信息。將高層語(yǔ)義特征和底層的顏色、紋理等特征結(jié)合起來(lái)，能更全面的反映視頻的內(nèi)容。

6、  劃分出場(chǎng)景這一高層語(yǔ)義結(jié)構(gòu)

場(chǎng)景是具有一定完整故事情節(jié)的高層語(yǔ)義結(jié)構(gòu)，在此基礎(chǔ)上提取的特征更緊密的結(jié)合了人的欣賞習(xí)慣。

7、  結(jié)合文本和圖片/視頻檢索

基于關(guān)鍵字的查詢能充分利用文本檢索的成熟技術(shù)，而基于圖片和視頻內(nèi)容的檢索能與文本檢索形成互補(bǔ)，使用戶能夠更快更準(zhǔn)的定位到所需視頻。

8、  提供開(kāi)放接口

提供開(kāi)放的系統(tǒng)接口，支持二次開(kāi)發(fā)。

3.項(xiàng)目的系統(tǒng)結(jié)構(gòu)、項(xiàng)目特點(diǎn)和應(yīng)用拓展

3.1圖像/視頻檢索系統(tǒng)結(jié)構(gòu)

該系統(tǒng)是多種熱門技術(shù)的綜合，其主要功能模塊為：用戶檢索界面設(shè)計(jì)、視頻檢索、圖像檢索、系統(tǒng)管理等功能模塊組成。

2       用戶檢索界面設(shè)計(jì)

給用戶提供美觀，便捷的檢索界面，提供對(duì)關(guān)鍵字、圖片、視頻等檢索方式的支持，及用戶對(duì)檢索結(jié)果的反饋支持。

2       視頻檢索

支持關(guān)鍵字、圖片、視頻的檢索實(shí)現(xiàn)，在視頻庫(kù)中尋找匹配的視頻、視頻場(chǎng)景、關(guān)鍵幀圖片等，返回給用戶。

2       圖像檢索

支持關(guān)鍵字、圖像、草圖、感興趣區(qū)的檢索實(shí)現(xiàn)，支持用戶標(biāo)注、反饋等。

2       系統(tǒng)管理平臺(tái)

對(duì)整個(gè)綜合圖像視頻檢索系統(tǒng)進(jìn)行管理，包括各種數(shù)據(jù)庫(kù)的構(gòu)建、高維索引、圖詞轉(zhuǎn)換等，為系統(tǒng)的正常運(yùn)行提供支持。

3.2項(xiàng)目的主要特點(diǎn)

        視頻檢索、圖像檢索、文本檢索的融合是本項(xiàng)目的一大特點(diǎn)。但這三塊又各自有自己的特征庫(kù)和文本庫(kù)，具有一定的獨(dú)立性，便于分布式管理及提高處理速度，同時(shí)又通過(guò)一定的融合模式來(lái)滿足用戶多種檢索方式的需求。

        利用用戶標(biāo)注、字幕提取等獲取文本信息，充分利用成熟的文本檢索技術(shù)。

        結(jié)合底層視覺(jué)特征和高層語(yǔ)義特征是圖像/視頻檢索的一個(gè)發(fā)展方向。本項(xiàng)目采用用戶的可信標(biāo)注及字幕提取技術(shù)獲取視頻中一定的語(yǔ)義信息，將字幕信息和底層的視覺(jué)特征信息結(jié)合起來(lái)，更能全面地反映視頻的內(nèi)容。幫助用戶找尋到更合適的視頻或圖像。

        利用高維索引、圖詞等技術(shù)加速檢索過(guò)程，使得在海量的圖像/視頻庫(kù)中查找信息變得快速實(shí)時(shí)。

3.3項(xiàng)目的產(chǎn)品形態(tài)

服務(wù)器-客戶端模式。

中央控制管理平臺(tái)，負(fù)責(zé)新的圖像/視頻庫(kù)的構(gòu)建管理、故障管理、性能優(yōu)化、性能監(jiān)控等。

戶檢索端：用戶上傳圖像視頻到圖像庫(kù)、權(quán)限管理、計(jì)費(fèi)管理、查詢提交、結(jié)果呈現(xiàn)及對(duì)結(jié)果的評(píng)價(jià)。

3.4產(chǎn)品可提供的服務(wù)

Internet和移動(dòng)網(wǎng)絡(luò)的快速發(fā)展，使我們能通過(guò)網(wǎng)絡(luò)搜索到各種信息資源。基于內(nèi)容圖像/視頻檢索系統(tǒng)不僅能幫助用戶更方便快捷的定位到所需資源，而且為內(nèi)容管理提供了更好的拓展平臺(tái)：

1、網(wǎng)絡(luò)圖像/視頻搜索引擎：通過(guò)文本、樣例圖像、感興趣區(qū)域、草圖、視頻序列等多種信息，搜索到圖像/視頻并能定位到相關(guān)場(chǎng)景，提供給用戶更便利的搜索方式以及更準(zhǔn)確、更豐富的搜索結(jié)果。通過(guò)調(diào)用系統(tǒng)提供的接口，還可以將不同的內(nèi)容提供商的圖像/視頻聚合到一個(gè)平臺(tái)中，呈現(xiàn)給用戶統(tǒng)一的搜索入口，并提供了完整的統(tǒng)計(jì)、計(jì)費(fèi)接口。

2、信息資源管理：圖像/視頻檢索系統(tǒng)在信息資源管理方面也可大顯身手。傳統(tǒng)的信息資源管理系統(tǒng)在對(duì)圖像/視頻資源進(jìn)行編目時(shí)，圖像/視頻的內(nèi)容等細(xì)節(jié)描述信息需耗費(fèi)大量人工來(lái)錄入，而且不盡精確。采用圖像/視頻檢索系統(tǒng)通過(guò)對(duì)圖像/視頻內(nèi)容底層特征和文本描述信息的關(guān)鍵字提取，直接對(duì)圖像/視頻內(nèi)容進(jìn)行分析，抽取特征和語(yǔ)義，并利用這些內(nèi)容特征建立索引，從而使圖像/視頻內(nèi)容的編目過(guò)程自動(dòng)化，海量節(jié)目編目可快速完成。在后續(xù)的應(yīng)用過(guò)程中，用戶可以根據(jù)內(nèi)容編輯的需要，通過(guò)多種查詢方式如關(guān)鍵字、給定圖片等檢索條件，檢索出想要得內(nèi)容。極大地提高了相關(guān)的工作效率，方便開(kāi)展多種業(yè)務(wù)應(yīng)用。

3、內(nèi)容監(jiān)管：SP（業(yè)務(wù)提供商）/CP（內(nèi)容提供商）的引入為移動(dòng)增值業(yè)務(wù)的發(fā)展起到了至關(guān)重要的推廣作用，但是對(duì)其提供內(nèi)容的監(jiān)管也一直困擾著運(yùn)營(yíng)商，如何引導(dǎo)整個(gè)產(chǎn)業(yè)的健康發(fā)展成了擺在他們面前的一個(gè)重要課題。同樣，博客和社交網(wǎng)絡(luò)的蓬勃發(fā)展，給其監(jiān)管也帶來(lái)了新的挑戰(zhàn)。利用圖像視頻檢索系統(tǒng)，監(jiān)管人員可以通過(guò)設(shè)定某些過(guò)濾條件，如關(guān)鍵字、圖片等來(lái)對(duì)上傳的內(nèi)容做自動(dòng)的審核，識(shí)別出含有不良信息、敏感信息的圖像視頻內(nèi)容。從而保證把健康的、積極向上的內(nèi)容提供給廣大用戶。

4、數(shù)字圖書館平臺(tái)：數(shù)字圖書館是21世紀(jì)圖書館現(xiàn)代化發(fā)展的方向，它在信息社會(huì)中的地位和作用將越來(lái)越重要，成為我國(guó)信息產(chǎn)業(yè)的重要組成部分。通過(guò)視頻檢索系統(tǒng)提供的多媒體信息編目及檢索能力，可大大縮短數(shù)字圖書館的建設(shè)時(shí)間，并能為用戶提供更易用、功能更強(qiáng)大的信息查詢?nèi)肟凇?/span>

5、版權(quán)保護(hù)：網(wǎng)絡(luò)的發(fā)展，為信息的傳播帶來(lái)了空前的發(fā)展，但同時(shí)也為某些具有版權(quán)作品的產(chǎn)權(quán)保護(hù)帶來(lái)了巨大挑戰(zhàn)。本項(xiàng)目即可通過(guò)圖像/視頻的查重檢索功能，檢索出非法傳播的版權(quán)作品，維護(hù)版權(quán)人的利益。

6、特殊行業(yè)應(yīng)用：公安系統(tǒng)、安防行業(yè)、旅游這類特殊的行業(yè)用戶，對(duì)圖像視頻檢索系統(tǒng)也有很強(qiáng)的業(yè)務(wù)需求，如公安系統(tǒng)在偵破過(guò)程中，常需在海量視頻資料中定位特殊人員出現(xiàn)的場(chǎng)景，此類工作往往都要靠人工花費(fèi)大量時(shí)間去查找。而采用圖像視頻檢索系統(tǒng)，系統(tǒng)可迅速定位相關(guān)信息，大大減輕了工作量，提高了工作效率。如旅游行業(yè)中，游客往往喜歡在網(wǎng)上尋找相關(guān)圖像視頻來(lái)判斷要去的旅游地，直接利用圖像視頻檢索檢索，可快速找到相關(guān)信息。

附：核心技術(shù)專利清單

1、基于漢字特征的文檔圖像分割方法；

2、一種基于區(qū)間權(quán)值的相似性度量方法；

3、一種基于傅氏頻譜的漢字圖像紋理特征提取方法。

4、一種結(jié)合用戶評(píng)價(jià)與標(biāo)注的圖像檢索方法。

5、一種圖像檢索方法。

6、一種圖像檢索中視覺(jué)單詞的提取方法。

7、一種基于街區(qū)距離的高維向量快速檢索算法。