基于內(nèi)容的音頻檢索

·李國(guó)輝·

返回

---- 對(duì)于人的感官來(lái)說(shuō)，有視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)和味覺(jué)等方面的感知。在視覺(jué)方面，可以感知位置、運(yùn)動(dòng)、顏色、紋理、形狀、符號(hào)等；在聽(tīng)覺(jué)方面，可以感知位置、運(yùn)動(dòng)、音調(diào)、音量、旋律等；另外還有觸覺(jué)(機(jī)械的、熱的、電的、肌肉運(yùn)動(dòng)方面的)和嗅覺(jué)(氣味、味道等)。除了視覺(jué)、觸覺(jué)和嗅覺(jué)外，人們可以從聽(tīng)覺(jué)中獲得許多信息，如我們?nèi)粘Ｊ章?tīng)的電臺(tái)節(jié)目、欣賞的音樂(lè)、聆聽(tīng)的自然聲響等。有許多與音頻相關(guān)的應(yīng)用，如音頻數(shù)據(jù)庫(kù)、廣播、音頻編輯、監(jiān)控、在線音樂(lè)等。

----音頻是多媒體中的一種重要媒體。我們能夠聽(tīng)見(jiàn)的音頻頻率范圍是60Hz～20kHz，其中語(yǔ)音大約分布在300Hz～4kHz之內(nèi)，而音樂(lè)和其他自然聲響是全范圍分布的。聲音經(jīng)過(guò)模擬設(shè)備記錄或再生，成為模擬音頻，再經(jīng)數(shù)字化成為數(shù)字音頻。數(shù)字化時(shí)的采樣率必須高于信號(hào)帶寬的2倍，才能正確恢復(fù)信號(hào)。樣本可用8 位或16位比特表示。

----以前的許多研究工作涉及到語(yǔ)音信號(hào)的處理，如語(yǔ)音識(shí)別。機(jī)器容易自動(dòng)識(shí)別孤立的字詞，如用在專用的聽(tīng)寫(xiě)和電話應(yīng)用方面，而對(duì)連續(xù)的語(yǔ)音識(shí)別則較困難，錯(cuò)誤較多，但目前在這方面已經(jīng)取得了突破性的進(jìn)展，同時(shí)還研究了辨別說(shuō)話人的技術(shù)。這些研究成果將為音頻信息的檢索提供很大幫助。

----常規(guī)的信息檢索(IR)研究主要是基于文本，例如我們已經(jīng)非常熟悉的諸如Yahoo!和AltaVista這樣的搜索引擎。經(jīng)典的IR問(wèn)題是利用一組關(guān)鍵字組成的查詢來(lái)定位需要的文本文檔，即定位文檔中的查詢關(guān)鍵字來(lái)發(fā)現(xiàn)匹配的文檔。如果一個(gè)文檔中包含較多的查詢項(xiàng)，那么，它就被認(rèn)為比其他包含較少查詢項(xiàng)的文檔更“相關(guān)”。于是，文檔可以按照“相關(guān)”度來(lái)排序，并顯示給用戶，以便進(jìn)一步搜索。雖然這種一般的IR過(guò)程是為文本設(shè)計(jì)的，但顯然也適用于音頻或其他多媒體信息的檢索。但是，如果我們把數(shù)字音頻當(dāng)成一種不透明的位流來(lái)管理，雖然可以賦予名字、文件格式、采樣率等屬性，但其中沒(méi)有可以確認(rèn)的詞或可比較的實(shí)體，因此，不能像文本那樣搜索或檢索其內(nèi)部的內(nèi)容。對(duì)于音樂(lè)和非語(yǔ)音聲響也是這樣。

----基于人工輸入的屬性和描述來(lái)進(jìn)行音頻檢索是我們首先想到的方法。該方法的主要缺點(diǎn)反映在以下幾個(gè)方面：當(dāng)數(shù)據(jù)量越來(lái)越多時(shí)，人工的注釋強(qiáng)度加大；人對(duì)音頻的感知，如音樂(lè)的旋律、音調(diào)、音質(zhì)等，難以用文字注釋表達(dá)清楚。這些正是基于內(nèi)容的音頻檢索需要研究和解決的問(wèn)題。但我們同時(shí)注意到音頻檢索可以利用的一個(gè)優(yōu)勢(shì)，那就是語(yǔ)音是一種特殊類型的音頻，它與文本可以互相轉(zhuǎn)換，因此，可以利用文本檢索技術(shù)進(jìn)行概念檢索。

----本文將從信息存取的角度介紹基于內(nèi)容的音頻檢索概念和方法。

查詢方式

----音頻是聲音信號(hào)的形式。作為一種信息載體，音頻可以分為三種類型：

----波形聲音 對(duì)模擬聲音數(shù)字化而得到的數(shù)字音頻信號(hào)。它可以代表語(yǔ)音、音樂(lè)、自然界和合成的聲響。

----語(yǔ)音 具有字詞、語(yǔ)法等語(yǔ)素，是一種高度抽象的概念交流媒體。語(yǔ)音經(jīng)過(guò)識(shí)別可以轉(zhuǎn)換為文本。文本是語(yǔ)音的一種腳本形式。

----音樂(lè) 具有節(jié)奏、旋律或和聲等要素，是人聲或/和樂(lè)器音響等配合所構(gòu)成的一種聲音。音樂(lè)可以用樂(lè)譜來(lái)表示。

----不同的類型將具有不同的內(nèi)在內(nèi)容。但從整體看，音頻內(nèi)容分為三個(gè)級(jí)別：最低層的物理樣本級(jí)、中間層的聲學(xué)特征級(jí)和最高層的語(yǔ)義級(jí)，如下圖所示。從低級(jí)到高級(jí)，其內(nèi)容逐級(jí)抽象，內(nèi)容的表示逐級(jí)概括。

----在物理樣本級(jí)，音頻內(nèi)容呈現(xiàn)的是流媒體形式，用戶可以通過(guò)時(shí)間刻度，檢索或調(diào)用音頻的樣本數(shù)據(jù)。如現(xiàn)在常見(jiàn)的音頻錄放程序接口。

----中間層是聲學(xué)特征級(jí)。聲學(xué)特征是從音頻數(shù)據(jù)中自動(dòng)抽取的。一些聽(tīng)覺(jué)特征表達(dá)用戶對(duì)音頻的感知，可以直接用于檢索；一些特征用于語(yǔ)音的識(shí)別或檢測(cè)，支持更高層的內(nèi)容表示。另外還有音頻的時(shí)空結(jié)構(gòu)。

----最高層是語(yǔ)義級(jí)，是音頻內(nèi)容、音頻對(duì)象的概念級(jí)描述。具體來(lái)說(shuō)，在這個(gè)級(jí)別上，音頻的內(nèi)容是語(yǔ)音識(shí)別、檢測(cè)、辨別的結(jié)果，音樂(lè)旋律和敘事的說(shuō)明，以及音頻對(duì)象和概念的描述。

----后兩層是基于內(nèi)容的音頻檢索技術(shù)最關(guān)心的。在這兩個(gè)層次上，用戶可以提交概念查詢或按照聽(tīng)覺(jué)感知來(lái)查詢。

----音頻的聽(tīng)覺(jué)特性決定其查詢方式不同于常規(guī)的信息檢索系統(tǒng)?；趦?nèi)容的查詢是一種相似查詢，它實(shí)際上是檢索出與用戶指定的要求非常相似的所有聲音。查詢中可以指定返回的聲音數(shù)或相似度的大小。另外，可以強(qiáng)調(diào)或關(guān)閉(忽略)某些特征成分，甚至可以施加邏輯“非”(或模糊的less匹配關(guān)系)來(lái)指定檢索條件，檢索那些不具有或少有某種特征成分(如指定沒(méi)有“尖銳”或少有“尖銳”)的聲音。另外，還可以對(duì)給定的一組聲音，按照聲學(xué)特征進(jìn)行排序，如按聲音的嘈雜程度排序。

----在查詢接口上，用戶可以采用以下形式提交查詢：

----示例 用戶選擇一個(gè)聲音例子表達(dá)其查詢要求，查找出與該聲音在某些特征方面相似的所有聲音。如查詢與飛機(jī)的轟鳴聲相似的所有聲音。

----直喻 通過(guò)選擇一些聲學(xué)/感知物理特性來(lái)描述查詢要求，如亮度、音調(diào)和音量等。這種方式與可視查詢中的描繪查詢相似。

----擬聲 發(fā)出與要查找的聲音性質(zhì)相似的聲音來(lái)表達(dá)查詢要求。如用戶可以發(fā)出嗡嗡聲來(lái)查找蜜蜂或電氣嘈雜聲。

----主觀特征 用個(gè)人的描述語(yǔ)言來(lái)描述聲音。這需要訓(xùn)練系統(tǒng)理解這些描述術(shù)語(yǔ)的含義，如用戶可能要尋找“歡快”的聲音。

----瀏覽 這是信息發(fā)現(xiàn)的一種重要手段，尤其是對(duì)于音頻這種時(shí)基媒體。除了在分類的基礎(chǔ)上瀏覽目錄外，重要的是基于音頻的結(jié)構(gòu)進(jìn)行瀏覽。

----根據(jù)對(duì)音頻媒體的劃分可以知道，語(yǔ)音、音樂(lè)和其他聲響具有顯著不同的特性，因而目前的處理方法可以分為相應(yīng)的三種：處理包含語(yǔ)音的音頻和不包含語(yǔ)音的音頻，后者又把音樂(lè)單獨(dú)劃分出來(lái)。換句話說(shuō)，第一種是利用自動(dòng)語(yǔ)音識(shí)別技術(shù)，后兩種是利用更一般性的音頻分析，以適合更廣泛的音頻媒體，如音樂(lè)和聲音效果，當(dāng)然也包含數(shù)字化語(yǔ)音信號(hào)。音頻信息檢索分為以下幾方面：

----1．基于語(yǔ)音技術(shù)的檢索

----語(yǔ)音檢索是以語(yǔ)音為中心的檢索，采用語(yǔ)音識(shí)別等處理技術(shù)。如電臺(tái)節(jié)目、電話交談、會(huì)議錄音等。

----基于語(yǔ)音技術(shù)的檢索是利用語(yǔ)音處理技術(shù)檢索音頻信息。過(guò)去人們對(duì)語(yǔ)音信號(hào)處理開(kāi)展了大量的研究，許多成果可以用于語(yǔ)音檢索。

----(1)利用大詞匯語(yǔ)音識(shí)別技術(shù)進(jìn)行檢索

----這種方法是利用自動(dòng)語(yǔ)音識(shí)別(ASR)技術(shù)把語(yǔ)音轉(zhuǎn)換為文本，從而可以采用文本檢索方法進(jìn)行檢索。雖然好的連續(xù)語(yǔ)音識(shí)別系統(tǒng)在小心地操作下可以達(dá)到90％以上的詞語(yǔ)正確度，但在實(shí)際應(yīng)用中，如電話和新聞廣播等，識(shí)別率并不高。即使這樣，ASR識(shí)別出來(lái)的腳本仍然對(duì)信息檢索有用，這是因?yàn)闄z索任務(wù)只是匹配包含在音頻數(shù)據(jù)中的查詢?cè)~句，而不是要求一篇可讀性好的文章。例如，采用這種方法把視頻的語(yǔ)音對(duì)話軌跡轉(zhuǎn)換為文本腳本，然后組織成適合全文檢索的形式支持檢索。

----(2)基于子詞單元進(jìn)行檢索

----當(dāng)語(yǔ)音識(shí)別系統(tǒng)處理各方面無(wú)限制主題的大范圍語(yǔ)音資料時(shí)，識(shí)別性能會(huì)變差，尤其當(dāng)一些專業(yè)詞匯(如人名、地點(diǎn))不在系統(tǒng)詞庫(kù)中時(shí)。一種變通的方法是利用子詞(SubWord)索引單元，當(dāng)執(zhí)行查詢時(shí)，用戶的查詢首先被分解為子詞單元，然后將這些單元的特征與庫(kù)中預(yù)先計(jì)算好的特征進(jìn)行匹配。

----(3)基于識(shí)別關(guān)鍵詞進(jìn)行檢索

----在無(wú)約束的語(yǔ)音中自動(dòng)檢測(cè)詞或短語(yǔ)通常稱為關(guān)鍵詞的發(fā)現(xiàn)(Spotting)。利用該技術(shù)，識(shí)別或標(biāo)記出長(zhǎng)段錄音或音軌中反映用戶感興趣的事件，這些標(biāo)記就可以用于檢索。如通過(guò)捕捉體育比賽解說(shuō)詞中“進(jìn)球”的詞語(yǔ)可以標(biāo)記進(jìn)球的內(nèi)容。

----(4)基于說(shuō)話人的辨認(rèn)進(jìn)行分割

----這種技術(shù)是簡(jiǎn)單地辨別出說(shuō)話人話音的差別，而不是識(shí)別出說(shuō)的是什么。它在合適的環(huán)境中可以做到非常準(zhǔn)確。利用這種技術(shù)，可以根據(jù)說(shuō)話人的變化分割錄音，并建立錄音索引。如用這種技術(shù)檢測(cè)視頻或多媒體資源的聲音軌跡中的說(shuō)話人的變化，建立索引和確定某種類型的結(jié)構(gòu)(如對(duì)話)。例如，分割和分析會(huì)議錄音，分割的區(qū)段對(duì)應(yīng)于不同的說(shuō)話人，可以方便地直接瀏覽長(zhǎng)篇的會(huì)議資料。

----2．音頻檢索

----音頻檢索是以波形聲音為對(duì)象的檢索，這里的音頻可以是汽車發(fā)動(dòng)機(jī)聲、雨聲、鳥(niǎo)叫聲，也可以是語(yǔ)音和音樂(lè)等，這些音頻都統(tǒng)一用聲學(xué)特征來(lái)檢索。

----雖然ASR可以對(duì)語(yǔ)音內(nèi)容給出有價(jià)值的線索，但是，還有大量其他的音頻數(shù)據(jù)需要處理，從聲音效果到動(dòng)物叫聲以及合成聲音等。因此，對(duì)于一般的音頻，僅僅有語(yǔ)音技術(shù)是不夠的，使用戶能從大型音頻數(shù)據(jù)庫(kù)中或一段長(zhǎng)錄音中找到感興趣的音頻內(nèi)容是音頻檢索要做的事。音頻數(shù)據(jù)的訓(xùn)練、分類和分割方便了音頻數(shù)據(jù)庫(kù)的瀏覽和查找，基于聽(tīng)覺(jué)特征的檢索為用戶提供高級(jí)的音頻查詢接口。這里指的音頻檢索就是針對(duì)廣泛的聲音數(shù)據(jù)的檢索，分析和檢索的音頻可以包含語(yǔ)音和音樂(lè)，但是采用的是更一般性的聲學(xué)特性分析方法。

----(1)聲音訓(xùn)練和分類

----通過(guò)訓(xùn)練來(lái)形成一個(gè)聲音類。用戶選擇一些表達(dá)某類特性的聲音例子(樣本)，如“腳步聲”。對(duì)于每個(gè)進(jìn)入數(shù)據(jù)庫(kù)中的聲音，先計(jì)算其N維聲學(xué)特征矢量，然后計(jì)算這些訓(xùn)練樣本的平均矢量和協(xié)方差矩陣，這個(gè)均值和協(xié)方差就是用戶訓(xùn)練得出的表達(dá)某類聲音的類模型。

----聲音分類是把聲音按照預(yù)定的類組合。首先計(jì)算被分類聲音與以上類模型的距離，可以利用Euclidean或 Manhattan距離度量，然后距離值與門限(閾值)比較，以確定是否該聲音納入或不屬于比較的聲音類。也有某個(gè)聲音不屬于任何比較的類的情況發(fā)生，這時(shí)可以建立新的類，或納入一個(gè)“其他”類，或歸并到距離最近的類中。

----(2) 聽(tīng)覺(jué)檢索

----聽(tīng)覺(jué)感知特性，如基音和音高等，可以自動(dòng)提取并用于聽(tīng)覺(jué)感知的檢索，也可以提取其他能夠區(qū)分不同聲音的聲學(xué)特征，形成特征矢量用于查詢。

----例如，按時(shí)間片計(jì)算一組聽(tīng)覺(jué)感知特征：基音、響度、音調(diào)等?？紤]到聲音波形隨時(shí)間的變化，最終的特征矢量將是這些特征的統(tǒng)計(jì)值，例如用平均值、方差和自相關(guān)值表示。這種方法適合檢索和對(duì)聲音效果數(shù)據(jù)進(jìn)行分類，如動(dòng)物聲、機(jī)器聲、樂(lè)器聲、語(yǔ)音和其他自然聲等。

----(3)音頻分割

----以上方法適合單體聲音的情況，如一小段電話鈴聲、汽車?guó)Q笛聲等。但是，一般的情況是一段錄音包含許多類型的聲音，由多個(gè)部分組成。更為復(fù)雜的情況是，以上各種聲音可能會(huì)混在一起，如一個(gè)有背景音樂(lè)的朗誦、同聲翻譯等。這需要在處理單體聲音之前先分割長(zhǎng)段的音頻錄音。另外，還涉及到區(qū)分語(yǔ)音、音樂(lè)或其他聲音。例如對(duì)電臺(tái)新聞節(jié)目進(jìn)行分割，分割出語(yǔ)音、靜音、音樂(lè)、廣告聲和音樂(lè)背景上的語(yǔ)音等。

----通過(guò)信號(hào)的聲學(xué)分析并查找聲音的轉(zhuǎn)變點(diǎn)就可以實(shí)現(xiàn)音頻的分割。轉(zhuǎn)變點(diǎn)是度量特征突然改變的地方。轉(zhuǎn)變點(diǎn)定義信號(hào)的區(qū)段，然后這些區(qū)段就可以作為單個(gè)的聲音處理。例如，對(duì)一段音樂(lè)會(huì)的錄音，可通過(guò)自動(dòng)掃描找到鼓掌聲音，以確定音樂(lè)片斷的邊界。這些技術(shù)包括：暫停段檢測(cè)、說(shuō)話人改變檢測(cè)、男女聲辨別，以及其他的聲學(xué)特征。

----音頻是時(shí)基線性媒體。現(xiàn)在我們看到的典型音頻播放接口是與磁帶錄音機(jī)相似的界面，具有停止、暫停、播放、快進(jìn)、倒帶等按鈕。為了不丟失其中的重要東西，必須從頭到尾聽(tīng)一遍聲音文件，這樣要花費(fèi)很多時(shí)間，即使使用“快進(jìn)”，也容易丟失重要的片斷，不能滿足信息技術(shù)的要求。因此，在分割的基礎(chǔ)上，就可以結(jié)構(gòu)化表示音頻的內(nèi)容，建立超越常規(guī)的順序?yàn)g覽界面和基于內(nèi)容的音頻瀏覽接口。

----3．音樂(lè)檢索

----音樂(lè)檢索是以音樂(lè)為中心的檢索，利用音樂(lè)的音符和旋律等音樂(lè)特性來(lái)檢索。如檢索樂(lè)器、聲樂(lè)作品等。

----音樂(lè)是我們經(jīng)常接觸的媒體，像MIDI、MP3和各種壓縮音樂(lè)制品、實(shí)時(shí)的音樂(lè)廣播等。音樂(lè)檢索雖然可以利用文本注釋，但音樂(lè)的旋律和感受并不都是可以用語(yǔ)言講得清楚的。通過(guò)在查詢中出示例子，基于內(nèi)容的檢索技術(shù)在某種程度上可以解決這種問(wèn)題。

----音樂(lè)檢索利用的是諸如節(jié)奏、音符、樂(lè)器特征。節(jié)奏是可度量的節(jié)拍，是音樂(lè)中一種周期特性和表示。音樂(lè)的樂(lè)譜典型地以事件形式描述，如以起始時(shí)間、持續(xù)時(shí)間和一組聲學(xué)參數(shù)(基音、音高、顫音等)來(lái)描述一個(gè)音樂(lè)事件。注意到許多特征是隨時(shí)間變化的，所以，我們應(yīng)該用統(tǒng)計(jì)方法來(lái)度量音樂(lè)的特性。

----人的音樂(lè)認(rèn)知可以基于時(shí)間和頻率模式，就像其他聲音分析一樣。時(shí)間結(jié)構(gòu)的分析基于振幅統(tǒng)計(jì)，得到現(xiàn)代音樂(lè)中的拍子。頻譜分析獲得音樂(lè)和聲的基本頻率，可以用這些基本頻率進(jìn)行音樂(lè)檢索。有的方法是使用直接獲得的節(jié)奏特征，即假設(shè)低音樂(lè)器更適合提取節(jié)拍特征，通過(guò)歸一化低音時(shí)間序列得到節(jié)奏特征矢量。

----除了用示例進(jìn)行音樂(lè)查詢之外，用戶甚至可以唱或哼出要查找的曲調(diào)?；舫槿∷惴ò堰@些錄音轉(zhuǎn)換成音符形式的表示，然后用于對(duì)音樂(lè)數(shù)據(jù)庫(kù)的查詢。但是，抽取樂(lè)譜這樣的屬性，哪怕是極其簡(jiǎn)單的一段也是非常困難的。研究人員現(xiàn)在改用MIDI音樂(lè)數(shù)據(jù)格式解決這個(gè)問(wèn)題。用戶可以給出一個(gè)旋律查詢，然后搜索 MIDI文件，就可以找出相似的旋律。

近期研究的問(wèn)題

----在基于內(nèi)容的多媒體檢索研究中，許多方法是通過(guò)自動(dòng)提取的媒體特征來(lái)檢索的，如圖像中的顏色和紋理?，F(xiàn)在的研究關(guān)注于語(yǔ)義級(jí)的檢索，這需要一些語(yǔ)義分析或知識(shí)，例如分析注釋或?qū)ο蟮臉?biāo)題、字幕等。而語(yǔ)義檢索是理想的，因?yàn)樗侨祟愃Ｍ囊环N檢索方式，但是，它需要高強(qiáng)度的人工注釋，或者需要難以實(shí)現(xiàn)的復(fù)雜的自動(dòng)內(nèi)容分析。從圖像中提取語(yǔ)義非常困難，例如，如果沒(méi)有關(guān)鍵字的注釋，找出“長(zhǎng)城”的照片非常困難，但現(xiàn)在的自動(dòng)語(yǔ)音識(shí)別技術(shù)使音頻檢索可以達(dá)到語(yǔ)義級(jí)，可以自動(dòng)識(shí)別出音頻流中的詞語(yǔ)，而完全可能自動(dòng)定位到某人，他正在談?wù)撻L(zhǎng)城，或是真正找出有關(guān)長(zhǎng)城的記錄片或鏡頭。因此，音頻檢索具有其自身的優(yōu)勢(shì)，并且可以達(dá)到較好的效果。

----在音頻數(shù)據(jù)庫(kù)領(lǐng)域，許多研究是有關(guān)語(yǔ)音方面的，因?yàn)檎Z(yǔ)音是音頻中一種重要的信息載體。非語(yǔ)音的音頻數(shù)據(jù)檢索和混合系統(tǒng)方面的研究工作也開(kāi)始引起重視。這項(xiàng)研究涉及多學(xué)科，包括語(yǔ)音識(shí)別、信息檢索、音頻分析、信號(hào)處理、心理聲學(xué)、機(jī)器學(xué)習(xí)等。

----目前關(guān)注的研究問(wèn)題有：

----集成的檢索方法 把音頻特征與視頻檢索技術(shù)以及其他媒體特征相結(jié)合，以提高檢索效率和檢索能力。

---- WWW上基于內(nèi)容的音頻檢索 需要研究快速的大規(guī)模音頻庫(kù)的瀏覽、檢索和連續(xù)音頻媒體的提交。

----長(zhǎng)音頻的瀏覽和檢索 結(jié)構(gòu)化表示音頻流，并設(shè)計(jì)出新形式的音頻內(nèi)容瀏覽界面。研究通用的基于片段級(jí)的內(nèi)容檢索，在時(shí)間軌跡上匹配一組特征，這需要研究模糊的匹配方法。

----其他音頻特征 繼續(xù)研究有效的可區(qū)分性的聽(tīng)覺(jué)解析特征，以支持通用的和專用的音頻檢索問(wèn)題。

---- 用戶的音頻查詢接口 需要一種友善的和易用的用戶接口來(lái)提交音頻查詢，包括音頻軌跡的可視表示、查詢表達(dá)、交互和求精、結(jié)構(gòu)化瀏覽等。

----音頻索引 多維特征索引結(jié)構(gòu)的建立，以滿足大容量數(shù)據(jù)庫(kù)和WWW檢索的要求。