2017-09-04 18:02:00 

云棲TechDay40期，阿里巴巴iDST視覺(jué)技術(shù)總監(jiān)啟磐來(lái)給大家分享圖像搜索和識(shí)別。本文主要從iDST和拍立淘業(yè)務(wù)開(kāi)始談起，接著分析了拍立淘技術(shù)框架，著重分析了拍立淘核心技術(shù)，最后展示了呈現(xiàn)效果和云服務(wù)。

移動(dòng)端的以圖搜圖是一代又一代的圖像人，搜索人的夢(mèng)想。從90年代開(kāi)始，學(xué)術(shù)界，工業(yè)界做了很多的努力和嘗試。阿里巴巴的智能圖像搜索服務(wù)-拍立淘從2014年首次上線之后，通過(guò)技術(shù)的不斷打磨，已經(jīng)成為淘寶每天千萬(wàn)級(jí)UV的應(yīng)用。本次將給大家?guī)?lái)拍立淘中的圖像搜索和識(shí)別的技術(shù)。

阿里巴巴iDST

阿里巴巴集團(tuán)涵蓋了非常廣的商業(yè)領(lǐng)域，除了大家最熟悉的電商領(lǐng)域，金融領(lǐng)域，還有數(shù)字娛樂(lè)領(lǐng)和本地服務(wù)領(lǐng)域。我們相信信通過(guò)數(shù)據(jù)、計(jì)算和AI技術(shù)三位一體，可以不斷提升用戶體驗(yàn)，不斷的幫助阿里繼續(xù)拓展商業(yè)的邊界。

iDST是institute of Data Science and Technologies的簡(jiǎn)稱, 它的使命是研發(fā)高性能的AI技術(shù)，服務(wù)于阿里集團(tuán)的各個(gè)商業(yè)領(lǐng)域，并通過(guò)技術(shù)開(kāi)創(chuàng)新的商業(yè)機(jī)會(huì)。除了這期云棲TechDay分享的圖像視覺(jué)技術(shù)和語(yǔ)音的交互技術(shù)，iDST的研發(fā)領(lǐng)域還包括NLP，大規(guī)模的機(jī)器學(xué)習(xí)，優(yōu)化技術(shù)等等。

拍立淘業(yè)務(wù)

作為通過(guò)AI技術(shù)不斷提升用戶體驗(yàn)的一個(gè)例子，拍立淘是阿里2014年就上線的一個(gè)智能的視覺(jué)搜索產(chǎn)品。與傳統(tǒng)的基于文字搜索的電商搜索相比，拍立淘只需要用戶隨手拍一張照片，省去了繁瑣的文字描述，簡(jiǎn)化了用戶的購(gòu)物流程，大大提高了電商購(gòu)物的體驗(yàn)。拍立淘的入口和體驗(yàn)如上圖所示。

拍立淘目前覆蓋幾乎淘寶所有的實(shí)體類目：比如衣服，鞋，箱包，瓶飲，配飾，家具，電子，零食，美妝，水果等。

拍立淘存在典型的AI技術(shù)驅(qū)動(dòng)。最初在手機(jī)淘寶上線是2014年的8月份，當(dāng)時(shí)一天只有幾百個(gè)UV。經(jīng)歷了三年之后，現(xiàn)在拍立淘每一天的平均UV超過(guò)了1000萬(wàn)?；仡欉@個(gè)過(guò)程，我們還是通過(guò)技術(shù)創(chuàng)新、技術(shù)驅(qū)動(dòng)獲得業(yè)務(wù)的增長(zhǎng)。有哪一些呢？比如說(shuō)有深度學(xué)習(xí)，大規(guī)模檢索索引的研發(fā)，還有我們對(duì)于實(shí)拍圖的特別優(yōu)化等等。

從上個(gè)財(cái)年開(kāi)始我們也非常自豪，拍立淘的圖像搜索和識(shí)別技術(shù)已經(jīng)走出阿里集團(tuán)，向集團(tuán)外的公司輸出，比如三星旗艦手機(jī)S8在系統(tǒng)層面集成了拍立淘，用于相機(jī)和相冊(cè)。

位于海外的客戶，也可以通過(guò)AliExpress中集成的拍照購(gòu)物功能，來(lái)享受拍照購(gòu)物的便捷。

技術(shù)框架

拍立淘流程主要分為離線流程和在線流程，主要步驟如下：

離線流程：主要是指拍立淘每天離線構(gòu)建索引庫(kù)的整個(gè)流程，涉及選品、離線摳圖、離線抽取特征、構(gòu)建索引等環(huán)節(jié)。執(zhí)行完畢之后，每天會(huì)在規(guī)定時(shí)間完成線上圖庫(kù)的更新。

在線流程：主要是指用戶一張query圖上傳之后，到最后返回結(jié)果的整個(gè)中間過(guò)程，包含在線類目識(shí)別，在線摳圖，在線特征提取和在線索引查詢等關(guān)鍵步驟。

選品

阿里集團(tuán)內(nèi)有海量的商品類目和圖片，包含寶貝的主圖、SKU、副圖、曬單圖和詳情圖等，涵蓋電商領(lǐng)域的各個(gè)方面。如何從這些海量圖片中選出用戶最喜歡，最想買的寶貝是一件很有意思的工作。

我們首先會(huì)根據(jù)購(gòu)物偏好和品質(zhì)進(jìn)行全淘圖片庫(kù)的過(guò)濾；由于淘寶上相同或者高度相似的寶貝太多，如果不處理的話，最后的搜索結(jié)果中就會(huì)出現(xiàn)大量一模一樣的寶貝，用戶體驗(yàn)很差。因此在做完過(guò)濾之后，我們?cè)黾恿藞D片去重模塊，目的是把一模一樣或者高度相似的寶貝去重，優(yōu)化最后的展示。現(xiàn)在拍立淘的引擎包含有幾十億的圖片。

類目預(yù)測(cè)

拍立淘類目是對(duì)淘寶葉子類目的一種劃分，如圖所示上裝、裙裝、夏裝、箱包、家具、美妝、玩具、內(nèi)衣等等。既需考慮一定的視覺(jué)相似性，又需考慮一定的語(yǔ)義相似性。類目體系不僅僅是個(gè)技術(shù)問(wèn)題，也是個(gè)業(yè)務(wù)問(wèn)題（有利于消費(fèi)者認(rèn)知）。目前拍立淘有14個(gè)大類，涵蓋全淘所有葉子類目。類目預(yù)測(cè)的好處是，它可以起到分發(fā)，同時(shí)在檢索索引的時(shí)候，我們也不需要對(duì)幾十億的商品圖片進(jìn)行全局的搜索，所以它其實(shí)也是一個(gè)提高搜索的效率方法。

摳圖（主體檢測(cè)）

因?yàn)樯唐返谋尘皬?fù)雜，主體常常較小，所以為了減少大量背景干擾和多主體的影響，因此需要將搜索目標(biāo)從圖像中提取出來(lái)。上面兩幅圖反應(yīng)了對(duì)于用戶的query，進(jìn)行主體檢測(cè)和不進(jìn)行主體檢測(cè)的搜索結(jié)果差異。

第一幅圖沒(méi)有由于進(jìn)行摳圖，搜索結(jié)果中背景干擾比較明顯，都出現(xiàn)了綠色的背景，而用戶真正關(guān)心的主體衣服的搜索質(zhì)量則很差。第二幅圖進(jìn)行摳圖之后，搜索結(jié)果有了非常顯著的提高，主體衣服的匹配程度非常高。

圖像特征

拍立淘的圖像特征包括深度特征和局部特征。

深度特征：基于深度學(xué)習(xí)框架學(xué)習(xí)出來(lái)的圖像表示。目前深度學(xué)習(xí)在圖像、語(yǔ)音等領(lǐng)域取得了重大突破，基于深度學(xué)習(xí)的圖像表示在很多任務(wù)上已經(jīng)完勝傳統(tǒng)圖像特征。拍立淘從2014年立項(xiàng)之初就開(kāi)始研究深度特征，在這方面積累了大量的經(jīng)驗(yàn)，這也使得特征成為拍立淘核心競(jìng)爭(zhēng)力之一，具體細(xì)節(jié)詳見(jiàn)后續(xù)章節(jié)。

局部特征：局部特征是圖像特征的局部表達(dá)，它反應(yīng)的是圖像具有的局部特殊性。拍立淘在常見(jiàn)的局部特征基礎(chǔ)上進(jìn)行改進(jìn)，不僅進(jìn)行維度壓縮，還優(yōu)化提取速度，同時(shí)保證匹配精度不下降。

檢索索引與排序

檢索索引的流程可以分成離線和在線兩部分。離線過(guò)程對(duì)商品圖像特征構(gòu)建索引，在線過(guò)程對(duì)用戶query進(jìn)行分布式的快速查詢。在線查詢流程主要分為：粗召回 -> 積召回 -> 歐式排序 -> 精排。拍立淘目前的索引數(shù)據(jù)量有幾十億，如何高效的構(gòu)建索引，同時(shí)保證在線查詢的精度是一個(gè)非常具有挑戰(zhàn)性的任務(wù)，拍立淘在這方面做了很多工作，詳見(jiàn)后續(xù)章節(jié)。

深度特征從高層提取信息，關(guān)注語(yǔ)義鴻溝；局部特征關(guān)注圖像的局部信息。如果將兩者有效的結(jié)合起來(lái)，相輔相成，既能保證語(yǔ)義上的相似性，又能保證局部細(xì)節(jié)的匹配，因此我們?cè)谒饕倩刂?，?huì)再進(jìn)行一次排序，將深度特征和局部特征結(jié)合在一起。我們會(huì)學(xué)習(xí)一個(gè)ranking function，給深度特征和局部特征分配不同的比重，基于最后的score對(duì)索引返回結(jié)果做二次排序。

核心技術(shù)

下面我們會(huì)就拍立淘的三個(gè)核心技術(shù)：實(shí)拍圖精度提升；超大規(guī)模的向量檢索索引；移動(dòng)端DL進(jìn)行進(jìn)一步的描述。

實(shí)拍圖精準(zhǔn)度提升

非實(shí)拍圖主要是指拍攝清晰，背景簡(jiǎn)單的圖片，其中大部分來(lái)自淘寶寶貝的原圖。對(duì)于這種圖片，拍立淘的精度已經(jīng)做的很高。但是對(duì)于一個(gè)以圖搜圖商業(yè)應(yīng)用，真正的挑戰(zhàn)來(lái)自占比用戶query大量的實(shí)拍圖，這類圖和非實(shí)拍圖差距很大，具有光照，角度，多主體等各種問(wèn)題。為了把實(shí)拍圖做好，拍立淘不斷突破，在各個(gè)類目上都有非常顯著的提升。

1.數(shù)據(jù)“掘地三尺”

數(shù)據(jù)方面，我們利用了拍立淘log數(shù)據(jù)，曬單數(shù)據(jù)和主搜i2i數(shù)據(jù)。并構(gòu)建相應(yīng)的深度學(xué)習(xí)模型進(jìn)行特征訓(xùn)練。

• 在拍立淘的場(chǎng)景，我們發(fā)現(xiàn)用戶的點(diǎn)擊等有效行為大多是針對(duì)于同款，因此我們對(duì)PVLOG進(jìn)行挖掘，噪聲過(guò)濾，形成triplet來(lái)進(jìn)行特征的訓(xùn)練。

• 在淘寶的生態(tài)環(huán)境之下，除了主圖、副圖、SKU圖，其實(shí)我們還有用戶的曬單圖。

• 由于同一用戶在同一時(shí)間段內(nèi)點(diǎn)擊的寶貝具有一定的相似度。通過(guò)挖掘主搜的i2i點(diǎn)擊數(shù)據(jù)，形成虛擬label進(jìn)行深度學(xué)習(xí)得到的中間層表達(dá)也可以作為一種特征表示，用于相似度排序。

• 除了通過(guò)提高特征本身的效果來(lái)提高實(shí)拍圖的精度外，提高實(shí)拍圖效果的另外一個(gè)途徑是利用實(shí)拍圖片來(lái)擴(kuò)充我們的data space，使得整個(gè)圖搜系統(tǒng)越來(lái)越智能。

2.升級(jí)深度學(xué)習(xí)

深度學(xué)習(xí)方面，我們通過(guò)Loss函數(shù)，網(wǎng)絡(luò)結(jié)構(gòu)和特征排序框架繼續(xù)進(jìn)行創(chuàng)新和突破。

• 首先我們采用了deep pairwise ranking特征學(xué)習(xí)框架來(lái)學(xué)習(xí)我們的深度特征：

最大化正/負(fù)樣本與query之間的距離差來(lái)保證特征的效果。

• 其次我們采用了屬性label和虛擬label訓(xùn)練框架來(lái)訓(xùn)練精排的深度特征：

• 另外，在類目識(shí)別方面，為了進(jìn)一步提高分類精度，我們采用層次化的類目識(shí)別：

除了拍立淘的大類目之外，還多任務(wù)訓(xùn)練一級(jí)類目和葉子類目。這種多任務(wù)層次化的結(jié)構(gòu)可以進(jìn)一步提高拍立淘類目預(yù)測(cè)的精度。

超大規(guī)模的向量檢索索引

為了涵蓋更多更廣的數(shù)據(jù)源，我們要打造一個(gè)容納百億級(jí)別數(shù)據(jù)量的拍立淘。采用深度學(xué)習(xí)的特征來(lái)表征圖像，搜索的過(guò)程會(huì)變成了一個(gè)最近鄰的查詢過(guò)程。在幾十億到百億的數(shù)據(jù)下查詢，并保證用戶在沒(méi)有感知的情況下返回結(jié)果，同時(shí)保證精度，需要做大量的工作。主要面臨的挑戰(zhàn)包括：特征抽取的提速和特征降維；和離線構(gòu)建索引的提速與查詢召回的保證。

1. 特征抽取的提速和特征降維

當(dāng)數(shù)據(jù)量達(dá)到百億級(jí)別時(shí)，如果特征抽取效率不高的話，離線抽取特征的時(shí)間就會(huì)變成非常長(zhǎng)；其次，在線引擎中硬盤和內(nèi)存的存儲(chǔ)也是一個(gè)問(wèn)題。

為了解決這一問(wèn)題，在保證特征精度的情況下，通過(guò)對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)框架的調(diào)整，我們將拍立淘的特征的維度，壓縮到了原來(lái)的1/4，并通過(guò)卷積加速、并行計(jì)算等策略實(shí)現(xiàn)了一倍的提速。

2. 離線構(gòu)建索引的提速

在離線構(gòu)建索引效率方面，我們首先采用圖計(jì)算框架提速積量化和粗量化，將資源消耗降為原來(lái)的1/3；同時(shí)對(duì)于聚類算法本身也進(jìn)行了提速。離線構(gòu)建索引效率整體提速超過(guò)10+倍。

移動(dòng)端DL

隨著高端手機(jī)的日益普及，越來(lái)越多的任務(wù)可以直接放到移動(dòng)端執(zhí)行，這樣不僅可以減少圖片上傳帶來(lái)的時(shí)間延遲，同時(shí)還可以降低server端的計(jì)算成本。

拍立淘入口點(diǎn)進(jìn)去有兩個(gè)通道，拍立淘和掃立淘，如果大家點(diǎn)擊掃立淘，就是把識(shí)別和檢測(cè)放到了移動(dòng)端。這樣的交互會(huì)更加的自然，用戶不需要點(diǎn)拍照的按紐，它只需要對(duì)準(zhǔn)一個(gè)商品，維持穩(wěn)定，結(jié)果就能自然彈出。對(duì)于這部分工作，主要的核心還是兩個(gè)：怎么樣對(duì)模型大小進(jìn)行壓縮和移動(dòng)端的加速。

效果和云服務(wù)

效果呈現(xiàn)

拍立淘-以圖搜圖一路走來(lái)，得益于算法/工程/產(chǎn)品的充分配合，得益于算法，數(shù)據(jù)，計(jì)算三位一體和大量的用戶使用。下面是一些效果呈現(xiàn)。

最左邊一列是query，最右邊一列是直接看到的結(jié)果。中間這幅圖我們顯示的是在線主體的檢測(cè)結(jié)果，是個(gè)中間結(jié)果的顯示，一般的購(gòu)物鏈路這一步是跳過(guò)的。往往只有用戶對(duì)結(jié)果不滿意的情況下，用戶可以在結(jié)果頁(yè)面點(diǎn)擊左上的編輯按紐，進(jìn)入中間的這幅圖去人工調(diào)整框的位置。這里列出的結(jié)果都是全自動(dòng)的端到端結(jié)果。

對(duì)于鞋的算法考慮，因?yàn)樾灰欢〞?huì)成雙出現(xiàn)，我們會(huì)單獨(dú)考慮每一只鞋。

云服務(wù)

最后想說(shuō)的是，上面文章講解到的能力無(wú)論是端到端的以圖搜圖的能力，還是單一模塊化的能力，比如檢索索引，我們都可以通過(guò)阿里云進(jìn)行輸出。目前也有越來(lái)越多的大小公司接入這樣的能力。

啟磐：阿里巴巴iDST資深算法專家/技術(shù)總監(jiān)。他是拍立淘的算法負(fù)責(zé)人和初創(chuàng)核心之一。他的研究領(lǐng)域包括：深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)等。他博士畢業(yè)于美國(guó)伊利諾伊大學(xué)芝加哥分校，加入阿里之前，他先后在美國(guó)三菱研究院和北京富士通研發(fā)中心從事視覺(jué)的研發(fā)工作。