前期吹牛：今天這一章我們就是來(lái)吹牛的，剛開(kāi)始老板在和我說(shuō)什么叫多視圖學(xué)習(xí)的時(shí)候，我的腦海中是這么理解的：我們?cè)谛蕾p妹子福利照片的時(shí)候，不能只看45度角的吧，要不那樣豈不是都是美女了，這還得了。所以我們要看各個(gè)角度的照片，打擊盜版美女，給大家創(chuàng)建一個(gè)真誠(chéng)的少點(diǎn)欺騙的和諧世界。所以說(shuō)，多視圖學(xué)習(xí)就是360度，全方位無(wú)死角的欣賞（學(xué)習(xí)）然后得到最接近真實(shí)值的判定。

話說(shuō)那么一天啊，一個(gè)人和一個(gè)螞蟻在對(duì)話，他們看著一個(gè)米飯粒，人說(shuō)，這個(gè)米飯粒胖嘟嘟的一定很香，螞蟻說(shuō)：你胡說(shuō)，這米粒明明是長(zhǎng)方形的，你干嘛說(shuō)他胖嘟嘟的。然后他們就吵得面紅耳赤，就去問(wèn)上帝，這米究竟是什么樣子的。上帝說(shuō)：你們都沒(méi)有錯(cuò)，人看到的是三維的世界，所以他們能看到立體的東西，而螞蟻只能看到二維的，所以螞蟻只能看到平面的。

從上面的小故事我們可以看出，多視圖學(xué)習(xí)就是從多個(gè)角度去學(xué)習(xí)，然后數(shù)據(jù)進(jìn)行預(yù)測(cè)提高準(zhǔn)確性。

一 半監(jiān)督學(xué)習(xí)

半監(jiān)督學(xué)習(xí)問(wèn)題在真實(shí)世界中大量存在,以下列舉幾例:

在文本分類(lèi)中,例如,垃圾郵件過(guò)濾問(wèn)題,所有郵件都可以作為未標(biāo)記數(shù)據(jù),標(biāo)記數(shù)據(jù)的獲取要求用戶標(biāo)注哪些是垃圾郵件,哪些不是,如果使用傳統(tǒng)的監(jiān)督學(xué)習(xí)方法,需要用戶標(biāo)記上千個(gè)郵件作為樣本,才能使訓(xùn)練的學(xué)習(xí)器有較好的過(guò)濾性能,而幾乎沒(méi)有用戶愿意花如此多的時(shí)間標(biāo)記郵件，在只有少量的用戶標(biāo)記郵件和大量的未標(biāo)記郵件的情況下,使用半監(jiān)督學(xué)習(xí)方法訓(xùn)練垃圾郵件過(guò)濾器可能是一個(gè)好的選擇。在圖像處理中,例如,計(jì)算機(jī)輔助醫(yī)學(xué)圖像分析問(wèn)題,可以從醫(yī)院獲得大量的醫(yī)學(xué)圖像作為未標(biāo)記數(shù)據(jù),但如果要求醫(yī)學(xué)專(zhuān)家把這些圖像中的病灶都標(biāo)識(shí)出來(lái),往往是不現(xiàn)實(shí)的,一般只能對(duì)少量醫(yī)學(xué)圖像中的病灶進(jìn)行標(biāo)識(shí),所以需要使用半監(jiān)督學(xué)習(xí)方法來(lái)減少對(duì)標(biāo)記數(shù)據(jù)的需求，在自然語(yǔ)言處理中,例如,句法分析問(wèn)題,為了訓(xùn)練一個(gè)好的句法分析器需要構(gòu)造句子/句法樹(shù),這是一項(xiàng)十分耗時(shí)的工作,構(gòu)造幾千個(gè)句法樹(shù)可能要耗費(fèi)一個(gè)語(yǔ)言學(xué)家?guī)啄甑臅r(shí)間，而可以作為未標(biāo)記數(shù)據(jù)使用的句子是普遍存在的,考慮未標(biāo)記數(shù)據(jù)的半監(jiān)督學(xué)習(xí)能解決語(yǔ)言學(xué)家的困難，上述實(shí)例表明,隨著信息技術(shù)的飛速發(fā)展,我們面臨的問(wèn)題是,數(shù)據(jù)大量存在,但獲取數(shù)據(jù)的標(biāo)記卻需要耗費(fèi)大量的人力物力，傳統(tǒng)的監(jiān)督學(xué)習(xí)方法在標(biāo)記數(shù)據(jù)較少的情況下很難獲得好的預(yù)測(cè)性能"半監(jiān)督學(xué)習(xí)正是為了解決這類(lèi)問(wèn)題而提出，在理論和實(shí)際中都具有重要意義。

1.1多視圖的半監(jiān)督學(xué)習(xí)

1.1.1多視圖數(shù)據(jù)

在一些實(shí)際問(wèn)題中，對(duì)于同一事物可以從多種不同的途徑或不同的角度對(duì)其進(jìn)行描述,這多種描述構(gòu)成事物的多個(gè)視圖(multi view)。本文用帶下標(biāo)的x_i表示第i個(gè)數(shù)據(jù)點(diǎn),用帶上標(biāo)的x^(t)表示數(shù)據(jù)的第i個(gè)視圖,則多視圖數(shù)據(jù)可表示為x_i={x₁x₂,…,x_n}其中,表示視圖的個(gè)數(shù),多視圖數(shù)據(jù)在真實(shí)世界中廣泛存在,以下列舉幾例:在網(wǎng)頁(yè)分類(lèi)問(wèn)題中,既可以根據(jù)網(wǎng)頁(yè)本身包含的信息來(lái)對(duì)網(wǎng)頁(yè)進(jìn)行分類(lèi),也可以利用鏈接到該網(wǎng)頁(yè)的超鏈接所包含的信息來(lái)進(jìn)行分類(lèi),這樣,網(wǎng)頁(yè)數(shù)據(jù)就可以用兩個(gè)視圖表示,刻畫(huà)網(wǎng)頁(yè)本身包含信息的特征集構(gòu)成第一個(gè)視圖,刻畫(huà)超鏈接所包含信息的特征集構(gòu)成第二個(gè)視圖,在電視片段的識(shí)別問(wèn)題中,既可以根據(jù)視頻中包含的信息來(lái)進(jìn)行識(shí)別,也可以根據(jù)音頻中包含的信息來(lái)進(jìn)行識(shí)別,所以電視數(shù)據(jù)可以用視頻和音頻這兩個(gè)視圖表示"在自然語(yǔ)言理解問(wèn)題中,同一語(yǔ)義對(duì)象,可以用不同的語(yǔ)言來(lái)表達(dá),這些不同的語(yǔ)言描述就構(gòu)成了此語(yǔ)義對(duì)象的不同視圖表示,上述示例中,多視圖用于表示數(shù)據(jù)的不同特征集,多視圖還可以用于表示數(shù)據(jù)的不同來(lái)源;例如對(duì)于同一個(gè)數(shù)據(jù)源,用不同的采集裝置進(jìn)行采集,這多個(gè)采集結(jié)果構(gòu)成了數(shù)據(jù)的不同視圖;另外,多視圖還可以用于表示數(shù)據(jù)間的不同關(guān)系;例如,學(xué)術(shù)論文的分類(lèi)問(wèn)題中,論文間既有參考文獻(xiàn)的引用關(guān)系,也有作者的合作關(guān)系,可以把不同的關(guān)系用不同的視圖來(lái)表示;有一些文獻(xiàn)涉及多模態(tài)(multimodal)學(xué)習(xí)問(wèn)題,但不同的文獻(xiàn)中模態(tài)一詞的含義不同"狹義的多模態(tài)是指人的不同感官,如視覺(jué),聽(tīng)覺(jué),嗅覺(jué)!觸覺(jué)等;視覺(jué)所對(duì)應(yīng)的圖像或文字信息,和聽(tīng)覺(jué)所對(duì)應(yīng)的聲音信息,就構(gòu)成多模態(tài)數(shù)據(jù);廣義的模態(tài)數(shù)據(jù)是指對(duì)于一個(gè)事物,通過(guò)不同的方法收集到的數(shù)據(jù)"例如在人臉識(shí)別中,可能收集到人臉的2D圖像和3D形狀模型,這就構(gòu)成人臉數(shù)據(jù)的兩個(gè)模態(tài);在指紋識(shí)別中,用不同傳感器采集的一個(gè)指紋的多種不同印痕,構(gòu)成指紋數(shù)據(jù)的多個(gè)模態(tài);對(duì)比多模態(tài)數(shù)據(jù)和多視圖數(shù)據(jù)的概念可以看出,多視圖的含義里包含了多模態(tài),多視圖可以表示更廣泛的實(shí)際問(wèn)題;

1.3.2多視圖數(shù)據(jù)的表示

數(shù)據(jù)的表示問(wèn)題是機(jī)器學(xué)習(xí)的重點(diǎn)和難點(diǎn)問(wèn)題之一，因?yàn)閷W(xué)習(xí)效果往往受到數(shù)據(jù)表示方法的影響。對(duì)于客觀世界的對(duì)象,常常提取它的特征，然后用特征向量表示此對(duì)象，即x_i={x₁, x₂… x_n}了,其中n代表特征的個(gè)數(shù)。人們希望提取的特征體現(xiàn)了此對(duì)象的本質(zhì)，從而能夠用這些特征學(xué)習(xí)到目標(biāo)概念。然而，對(duì)于一個(gè)學(xué)習(xí)問(wèn)題，需要的最小特征集是不可知的，在缺乏先驗(yàn)信息的情況下,只能提取盡可能多的特征,提供給學(xué)習(xí)器,期望學(xué)習(xí)器能獲得更好的預(yù)測(cè)性能"另外，數(shù)據(jù)收集技術(shù)的發(fā)展，使得人們可以通過(guò)更加復(fù)雜多樣的手段對(duì)事物進(jìn)行描述，這也導(dǎo)致數(shù)據(jù)的特征較多。這些描述對(duì)象的特征中，有些特征具有不同的屬性，因此不適合使用同一種學(xué)習(xí)器進(jìn)行學(xué)習(xí)。例如上述電視片段的識(shí)別問(wèn)題中，電視片段具有視頻和音頻兩部分特征，這兩部分特征更適合分別用圖像識(shí)別方法和聲音識(shí)別方法來(lái)學(xué)習(xí)。如果使用單視圖(即用所有特征組成一個(gè)特征向量，來(lái)表示電視片段，將無(wú)法選擇一種既適合圖像又適合聲音的普適學(xué)習(xí)方法，在這種情況下，使用多視圖的表示法較為適合，即把數(shù)據(jù)表示成多個(gè)特征集,然后在每個(gè)特征集上可以用不同的學(xué)習(xí)方法進(jìn)行學(xué)習(xí)。

即使數(shù)據(jù)的特征能夠使用同一種學(xué)習(xí)器進(jìn)行學(xué)習(xí),多視圖學(xué)習(xí)也可能比單視圖學(xué)習(xí)具有優(yōu)勢(shì)"例如上述網(wǎng)頁(yè)分類(lèi)問(wèn)題中,網(wǎng)頁(yè)本身所包含的信息和指向該網(wǎng)頁(yè)的超鏈接所包含的信息均由單詞構(gòu)成,網(wǎng)頁(yè)視圖和超鏈接視圖都可以表示成文本向量的形式,在這兩個(gè)視圖上可以用同一種學(xué)習(xí)器進(jìn)行學(xué)習(xí)"然而,如果要把這兩個(gè)視圖合成一個(gè)視圖,則得到的特征向量失去了原有的意義,而且可能增加了特征空間的維數(shù),從而給學(xué)習(xí)帶來(lái)不必要的困難"另外,數(shù)據(jù)的多視圖表示方法還能夠發(fā)揮各個(gè)視圖的優(yōu)勢(shì),利用未標(biāo)記數(shù)據(jù)達(dá)到協(xié)同學(xué)習(xí)的目的,以改善學(xué)習(xí)性能,這一點(diǎn)接下來(lái)將具體介紹。

1.3.3多視圖的半監(jiān)督學(xué)習(xí)

在多視圖的半監(jiān)督學(xué)習(xí)中,一方面數(shù)據(jù)有多個(gè)視圖,即x=x^t,另一方面數(shù)據(jù)由標(biāo)記數(shù)據(jù)集L和未標(biāo)記數(shù)據(jù)集U組成,學(xué)習(xí)算法應(yīng)考慮如何利用多個(gè)視圖蘊(yùn)含的信息和未標(biāo)記數(shù)據(jù)蘊(yùn)含的信息,來(lái)輔助傳統(tǒng)的監(jiān)督學(xué)習(xí).在該領(lǐng)域具有代表性的算法有A.Blum和T.Mitchell提出的協(xié)同訓(xùn)練算法 (co一training)。該算法假設(shè)數(shù)據(jù)有兩個(gè)視圖，首先在兩個(gè)視圖上利用標(biāo)記數(shù)據(jù)分別訓(xùn)練出一個(gè)分類(lèi)器，然后，在協(xié)同訓(xùn)練過(guò)程中，每個(gè)分類(lèi)器從未標(biāo)記數(shù)據(jù)中挑選若干預(yù)測(cè)置信度較高的數(shù)據(jù)進(jìn)行標(biāo)記,并把標(biāo)記后的數(shù)據(jù)加入另一個(gè)分類(lèi)器的標(biāo)記數(shù)據(jù)集中,以便對(duì)方利用這些新標(biāo)記的數(shù)據(jù)進(jìn)行更新，此過(guò)程不斷迭代進(jìn)行，直到達(dá)到某個(gè)停止條件。

上圖展示了協(xié)同訓(xùn)練算法的主要思想，圖中,C_l和C₂分別代表兩個(gè)類(lèi)別的數(shù)據(jù),用兩個(gè)不同的顏色表示,X^(l)和X⁽²⁾代表數(shù)據(jù)的兩個(gè)不同視圖，在視圖X⁽¹⁾中，這兩個(gè)類(lèi)別的數(shù)據(jù)可以被分類(lèi)器很好地區(qū)別開(kāi)來(lái),而在視圖X⁽²⁾中,這兩個(gè)類(lèi)別的數(shù)據(jù)混合分布,很難訓(xùn)練得到好的分類(lèi)器，在這種情況下，用視圖X^(l)訓(xùn)練的分類(lèi)器可以把它對(duì)未標(biāo)記數(shù)據(jù)的分類(lèi)結(jié)果中比較置信那些的未標(biāo)記數(shù)據(jù),連同它對(duì)那些未標(biāo)記數(shù)據(jù)的分類(lèi)結(jié)果,一起提供給視圖X⁽²⁾上的分類(lèi)器，然后，用視圖x(²⁾訓(xùn)練的分類(lèi)器能夠利用從視圖X^(l)上得到的信息，排除自身的不確定性,從而提高用視圖X⁽²⁾訓(xùn)練的分類(lèi)器性能，反之亦然，多視圖學(xué)習(xí)正是利用數(shù)據(jù)在不同的視圖學(xué)習(xí)的難易程度不同，來(lái)發(fā)揮視圖之間的相互作用,，優(yōu)勢(shì)互補(bǔ)，協(xié)同學(xué)習(xí)。自從協(xié)同訓(xùn)練算法被提出以后,多視圖的半監(jiān)督學(xué)習(xí)得到研究者的重視，涌現(xiàn)出了一批相關(guān)工作，并取得了很多研究以根據(jù)音頻中包含的信息來(lái)進(jìn)行識(shí)別，所以電視數(shù)據(jù)可以用視頻和音頻這兩個(gè)視圖表示，在自然語(yǔ)言理解問(wèn)題中，同一語(yǔ)義對(duì)象，可以用不同的語(yǔ)言來(lái)表達(dá)，這些不同的語(yǔ)言描述就構(gòu)成了此語(yǔ)義對(duì)象的不同視圖表示。上述示例中，多視圖用于表示數(shù)據(jù)的不同特征集，多視圖還可以用于表示數(shù)據(jù)的不同來(lái)源。例如對(duì)于同一個(gè)數(shù)據(jù)源，用不同的采集裝置進(jìn)行采集，這多個(gè)采集結(jié)果構(gòu)成了數(shù)據(jù)的不同視圖。另外，多視圖還可以用于表示數(shù)據(jù)間的不同關(guān)系。例如，學(xué)術(shù)論文的分類(lèi)問(wèn)題中，論文間既有參考文獻(xiàn)的引用關(guān)系,也有作者的合作關(guān)系，可以把不同的關(guān)系用不同的視圖來(lái)表示，有一些文獻(xiàn)涉及多模態(tài)(multimodal)學(xué)習(xí)問(wèn)題，但不同的文獻(xiàn)中模態(tài)一詞的含義不同。狹義的多模態(tài)是指人的不同感官，如視覺(jué)，聽(tīng)覺(jué)，嗅覺(jué)，觸覺(jué)等視覺(jué)所對(duì)應(yīng)的圖像或文字信息，和聽(tīng)覺(jué)所對(duì)應(yīng)的聲音信息，就構(gòu)成多模態(tài)數(shù)據(jù)。廣義的多模態(tài)數(shù)據(jù)是指對(duì)于一個(gè)事物，通過(guò)不同的方法收集到的數(shù)據(jù)。例如在人臉識(shí)別中，可能收集到人臉的3D圖像和3D形狀模型，這就構(gòu)成人臉數(shù)據(jù)的兩個(gè)模態(tài)。在指紋識(shí)別中，用不同傳感器采集的一個(gè)指紋的多種不同印痕，構(gòu)成指紋數(shù)據(jù)的多個(gè)模態(tài)。對(duì)比多模態(tài)數(shù)據(jù)和多視圖數(shù)據(jù)的概念可以看出，多視圖的含義里包含了多模態(tài)，多視圖可以表示更廣泛的實(shí)際問(wèn)題。

二 本文總結(jié)：

本文是科普性的文章，大家沒(méi)事讀一讀，對(duì)多視圖學(xué)習(xí)有個(gè)大概的了解，我以后的方向大概就是這個(gè)了。