騰訊AI Lab,如何回答2018? 最近,這個(gè)巨頭內(nèi)部以AI為核心的實(shí)驗(yàn)室,對(duì)全年重點(diǎn)工作和進(jìn)展進(jìn)行了回顧。 或許從這些進(jìn)展中,不僅能窺見(jiàn)騰訊對(duì)前沿AI方向的探索,還能感受到AI行業(yè)正在面臨的最新挑戰(zhàn)。 于是我們轉(zhuǎn)載騰訊AI Lab 2018年度回顧全文,希望對(duì)你能有啟發(fā)。 行業(yè)應(yīng)用AI+公益 我們?cè)?2018 年完成了一些很有意義的項(xiàng)目,如“圖片語(yǔ)音即時(shí)描述”技術(shù),讓機(jī)器充分理解圖像內(nèi)容后,將其“翻譯”成語(yǔ)句,讓視障者使用QQ空間時(shí),能聽(tīng)到對(duì)圖片的描述,實(shí)時(shí)了解朋友動(dòng)態(tài)。 通過(guò)提供這一系列信息無(wú)障礙技術(shù),騰訊今年獲得了聯(lián)合國(guó)教科文組織頒發(fā)的“數(shù)字技術(shù)增強(qiáng)殘疾人權(quán)能獎(jiǎng)”。 AI+醫(yī)療 第二個(gè)例子是顯微鏡的進(jìn)化,我們?cè)谶@種古老而重要的醫(yī)療器械中加入了AI與AR技術(shù),讓機(jī)器自動(dòng)識(shí)別、檢測(cè)、定量計(jì)算和生成報(bào)告,并將檢測(cè)結(jié)果實(shí)時(shí)顯示到醫(yī)生所看目鏡中,在不打斷醫(yī)生閱片的同時(shí)及時(shí)提醒,提高醫(yī)生的診斷效率和準(zhǔn)確度。 今年我們還會(huì)繼續(xù)通過(guò)“騰訊覓影”產(chǎn)品深入探索AI+醫(yī)療的應(yīng)用,目前圖像處理技術(shù)已用在食管癌、肺癌、糖尿病性視網(wǎng)膜病變等疾病的早期篩查上,語(yǔ)言和語(yǔ)音處理技術(shù)也用于智能導(dǎo)診和輔診上。 △騰訊智能顯微鏡AI+農(nóng)業(yè) 我們還在“AI+農(nóng)業(yè)”邁出了一小步——一個(gè)很會(huì)“種”黃瓜的AI。 在荷蘭舉辦的國(guó)際AI溫室種植大賽里,我們利用傳感器和攝像頭自動(dòng)收集溫室氣候、作物發(fā)育情況等環(huán)境和作物數(shù)據(jù),再用深度學(xué)習(xí)模型計(jì)算、判斷和決策,驅(qū)動(dòng)溫室的設(shè)備元件,遠(yuǎn)程控制黃瓜生產(chǎn),最后獲總比分第二、AI策略第一的成績(jī),還開(kāi)心收獲了3496公斤黃瓜。 AI+視頻 在騰訊視頻中,我們提供了超分辨率和視頻分類的技術(shù)。此外,我們還探索了對(duì)視頻內(nèi)容的深度理解、編輯與生成。 比如,讓機(jī)器深度分析一個(gè)視頻,識(shí)別其中人物、物體、場(chǎng)景,并分析它們的關(guān)系,并在時(shí)間順序識(shí)別視頻中不同的動(dòng)作和事件,產(chǎn)生能表達(dá)出視頻豐富語(yǔ)義信息的語(yǔ)句。 而在視頻生成上,我們研究的視頻運(yùn)動(dòng)信息遷移技術(shù),在給到幾張人物A的靜止圖片后,能讓A模仿人物B的舞蹈動(dòng)作,從靜止到“動(dòng)”起來(lái)。 前沿技術(shù)難題下一代的智能交互:3D虛擬人 我們通過(guò)多個(gè)部門(mén)的共同研究,合作推進(jìn)了“多模態(tài)人機(jī)交互”這一前沿課題。 我們將計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、語(yǔ)音技術(shù)有機(jī)結(jié)合在一起,輔以一定的情緒認(rèn)知、分析決策能力,賦予虛擬人看、聽(tīng)、想、說(shuō)的多模態(tài)輸入和輸出能力,以實(shí)現(xiàn)更自然、逼真、風(fēng)格鮮明、千人千面的人機(jī)交互體驗(yàn)。我們已經(jīng)實(shí)現(xiàn)了整套技術(shù)方案的打通,并有望探索新的產(chǎn)品形式。 游戲AI → AGI 游戲是 AI 研究的傳統(tǒng)實(shí)驗(yàn)場(chǎng),從2016年研發(fā)圍棋AI“絕藝”起,我們不斷利用這塊實(shí)驗(yàn)沃土,探索邁向通用人工智能的道路。2018 年,我們收獲頗豐,而此類探索還將繼續(xù)下去。 我們與王者榮耀及王者榮耀職業(yè)聯(lián)賽共同探索的前沿研究項(xiàng)目——策略協(xié)作型AI“絕悟”——首次亮相KPL決賽,與人類戰(zhàn)隊(duì)(超過(guò)99%玩家)進(jìn)行5V5水平測(cè)試并取得勝利。 我們使用了監(jiān)督學(xué)習(xí)方法,模擬人類決策方法的算法模型兼具了大局觀與微操能力,并在此基礎(chǔ)上研發(fā)多個(gè)有針對(duì)性的強(qiáng)化學(xué)習(xí)訓(xùn)練模型,有效提升了AI團(tuán)隊(duì)協(xié)作能力。 此外,我們的深度強(qiáng)化學(xué)習(xí)智能體還在《星際爭(zhēng)霸 II》戰(zhàn)勝了Level-10內(nèi)置 AI,還與清華大學(xué)合作拿下了FPS射擊類游戲AI競(jìng)賽VizDoom賽事歷史上首個(gè)中國(guó)區(qū)冠軍。 機(jī)器人:打通虛擬和現(xiàn)實(shí) 我們還成立了企業(yè)級(jí)機(jī)器人實(shí)驗(yàn)室“騰訊Robotics X”,構(gòu)建AI+機(jī)器人雙基礎(chǔ)部門(mén),打造虛擬世界到真實(shí)世界的載體與連接器。 比如,我們從0到1實(shí)現(xiàn)了機(jī)械手從虛擬到現(xiàn)實(shí)的遷移,通過(guò)搭建滿足各種物理屬性的高逼真模擬器,支持多種強(qiáng)化學(xué)習(xí)算法,并能和機(jī)械臂和靈巧手的實(shí)體硬件接口兼容,通過(guò)新提出的DHER算法訓(xùn)練抓取、搭積木、端茶倒水等虛擬任務(wù)。 我們還將其成功遷移到了現(xiàn)實(shí)世界中。 另外,在新建成的騰訊深圳總部展廳里,我們還完成了“絕藝”圍棋機(jī)器人、桌上冰球和與浙江大學(xué)合作的機(jī)械狗等展示項(xiàng)目,體現(xiàn)了機(jī)器人的本體、控制、感知、決策方面的能力。 開(kāi)源開(kāi)放除了發(fā)表論文公開(kāi)研究成果,我們也通過(guò)代碼和數(shù)據(jù)開(kāi)源將騰訊積累的技術(shù)能力(尤其是 AI 能力)共享給整個(gè)行業(yè),并希望以此促進(jìn)行業(yè)生態(tài)的共同發(fā)展和繁榮。 2018 年 10 月,我們開(kāi)源了業(yè)內(nèi)最大規(guī)模的多標(biāo)簽圖像數(shù)據(jù)集Tencent ML-Images,其中包含了 1800 萬(wàn)圖像和11000種常見(jiàn)物體類別。 此外我們還提供了從圖像下載和圖像預(yù)處理,到基于ML-Images的預(yù)訓(xùn)練和基于ImageNet的遷移學(xué)習(xí),再到基于訓(xùn)練所得模型的圖像特征提取整個(gè)流程的代碼和模型。 截至目前已在 GitHub 獲 2000 星和 2000+ 次下載。 我們還在 10 月份開(kāi)源了一個(gè)大規(guī)模、高質(zhì)量的中文詞向量數(shù)據(jù)集,其中包含 800 多萬(wàn)中文詞匯,在覆蓋率、新鮮度及準(zhǔn)確性上都優(yōu)于之前的數(shù)據(jù)集。 11 月,我們開(kāi)源了一個(gè)自動(dòng)化深度學(xué)習(xí)模型壓縮與加速框架 PocketFlow,其中整合了多種模型壓縮與加速算法,并能利用強(qiáng)化學(xué)習(xí)自動(dòng)搜索合適的壓縮參數(shù)。我們希望該框架能降低模型壓縮的技術(shù)門(mén)檻,賦能移動(dòng)端 AI 應(yīng)用開(kāi)發(fā)。 在高校合作方面,我們與麻省理工、牛津、斯坦福、港科大、清華和哈工大等全球知名高校的教授聯(lián)合研究,并通過(guò)專項(xiàng)研究計(jì)劃、訪問(wèn)學(xué)者計(jì)劃、青年學(xué)者基金、聯(lián)合實(shí)驗(yàn)室等多種方式,共探學(xué)術(shù)前沿領(lǐng)域,并迅速將研究應(yīng)用到騰訊云、騰訊開(kāi)放平臺(tái)等多個(gè)業(yè)務(wù)中。 4大方向基礎(chǔ)研究我們基礎(chǔ)研究方向主要為四個(gè):機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、語(yǔ)音處理和自然語(yǔ)言處理。 2018 年,我們有超過(guò)150 篇學(xué)術(shù)論文發(fā)表在各大頂級(jí)學(xué)術(shù)會(huì)議上,如NeurIPS、ICML、CVPR、ECCV、ACL、EMNLP、InterSpeech 和 ICASSP 等,位居國(guó)內(nèi)企業(yè)前列。 未來(lái),我們將繼續(xù)關(guān)注前沿領(lǐng)域的研究課題,推進(jìn)跨學(xué)科、多模態(tài)、交叉研究課題探索,以開(kāi)放、合作和共贏的態(tài)度,不斷探索研究的邊界。 機(jī)器學(xué)習(xí)學(xué)習(xí)能力,是區(qū)分智能機(jī)器和普通自動(dòng)化機(jī)器的核心技能之一,也是邁向通用人工智能(AGI)的必備技能。 我們的研究涵蓋了強(qiáng)化學(xué)習(xí)、遷移學(xué)習(xí)、模仿學(xué)習(xí)、優(yōu)化算法、弱監(jiān)督和半監(jiān)督學(xué)習(xí)、對(duì)抗學(xué)習(xí)和多任務(wù)學(xué)習(xí)等。 我們探索了自動(dòng)化機(jī)器學(xué)習(xí)(AutoML)的可能性,這是當(dāng)前機(jī)器學(xué)習(xí)領(lǐng)域的前沿探索方向之一。 比如,我們提出了一種基于數(shù)據(jù)分布遷移的超參優(yōu)化算法[1]。該方法利用分布相似度來(lái)遷移不同數(shù)據(jù)對(duì)應(yīng)的超參優(yōu)化結(jié)果,從而能對(duì)新數(shù)據(jù)的超參優(yōu)化起到熱啟動(dòng)的效果。 我們還進(jìn)一步研發(fā)了FastBO算法,并發(fā)現(xiàn)其在醫(yī)療和游戲等多個(gè)場(chǎng)景上有比人工調(diào)參更好的效果。 針對(duì)多任務(wù)問(wèn)題,我們提出了一種學(xué)習(xí)框架 L2MT[2] ,能自動(dòng)發(fā)掘一個(gè)最優(yōu)的多任務(wù)學(xué)習(xí)模型;我們還提出了一種用學(xué)習(xí)遷移實(shí)現(xiàn)遷移學(xué)習(xí)的方法 L2T[3],能顯著降低遷移學(xué)習(xí)的計(jì)算成本和所需的領(lǐng)域知識(shí)。 我們也為強(qiáng)化學(xué)習(xí)提出了一些改進(jìn)方法,比如提出一種描述如何從環(huán)境和任務(wù)來(lái)組成強(qiáng)化學(xué)習(xí)策略的元規(guī)則部件神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)了自適應(yīng)于不同環(huán)境、不同任務(wù)的合成策略[4]。 我們還嘗試用演示來(lái)提升強(qiáng)化學(xué)習(xí)的探索效果(POfD)[5]及使用聯(lián)網(wǎng)智能體的完全去中心化多智能體強(qiáng)化學(xué)習(xí)[6]。 在計(jì)算機(jī)安全和社會(huì)安全上,我們研發(fā)的自動(dòng)特征學(xué)習(xí)、群分類和圖特征增強(qiáng)方面的算法,能成功識(shí)別和對(duì)抗黑產(chǎn)用戶、涉黑群體和惡意用戶(標(biāo)記覆蓋率超90%),還能精準(zhǔn)識(shí)別有信貸風(fēng)險(xiǎn)的用戶,幫助防控金融風(fēng)險(xiǎn)。 計(jì)算機(jī)視覺(jué)計(jì)算機(jī)視覺(jué)技術(shù)有非常廣泛的應(yīng)用前景,是智能醫(yī)療、自動(dòng)駕駛、增強(qiáng)現(xiàn)實(shí)、移動(dòng)機(jī)器人等重要應(yīng)用的不可或缺的一部分。 我們不斷尋找賦予機(jī)器更強(qiáng)大視覺(jué)能力的方法,以實(shí)時(shí)、穩(wěn)健和準(zhǔn)確地理解世界。 2018 年,我們的探索包括結(jié)合相機(jī)與其它傳感器數(shù)據(jù)實(shí)現(xiàn) 3D 實(shí)時(shí)定位[1]、結(jié)合傳統(tǒng)時(shí)空建模方法(MRF)與深度學(xué)習(xí)方法(CNN)來(lái)跟蹤和分割視頻中的物體[2],及一些在視頻描述生成任務(wù)上的新方法[3]。 我們還定義了一種名為視頻重定位(Video re-localization)[4]的新任務(wù),可在某段長(zhǎng)視頻中查找與指定視頻語(yǔ)義相關(guān)片段。我們也為視頻中的運(yùn)動(dòng)表征提出了一種端到端的神經(jīng)網(wǎng)絡(luò)TVNet[5]。 除了幫助機(jī)器理解世界,我們也在探索視頻生成方面的技術(shù),比如我們提出了一種自動(dòng)生成延時(shí)攝影視頻的解決方案[6],可以通過(guò)預(yù)測(cè)后續(xù)的圖像幀來(lái)呈現(xiàn)可能發(fā)生的動(dòng)態(tài)變化。我們也探索了多階段動(dòng)態(tài)生成對(duì)抗網(wǎng)絡(luò)(MD-GAN)[7]在這一任務(wù)上的應(yīng)用。 語(yǔ)音處理我們的語(yǔ)音解決方案已經(jīng)在騰訊的聽(tīng)聽(tīng)音箱、極光電視盒子和叮當(dāng)音箱等產(chǎn)品中得到應(yīng)用。 2018 年,我們又提出了一些新的方法和改進(jìn),在語(yǔ)音增強(qiáng)、語(yǔ)音分離、語(yǔ)音識(shí)別、語(yǔ)音合成等技術(shù)方向都取得了一定進(jìn)展。 語(yǔ)音喚醒上,我們針對(duì)誤喚醒、噪聲環(huán)境中喚醒、快語(yǔ)速喚醒和兒童喚醒等問(wèn)題,提出了一種新的語(yǔ)音喚醒模型[1],能顯著提升關(guān)鍵詞檢測(cè)質(zhì)量,在有噪聲環(huán)境下表現(xiàn)突出,還能顯著降低前端和關(guān)鍵詞檢測(cè)模塊的功耗需求。 我們還提出了一種基于 Inception-ResNet 的聲紋識(shí)別系統(tǒng)框架[2],可學(xué)習(xí)更加魯棒且更具有區(qū)分性的嵌入特征。 語(yǔ)音識(shí)別上,我們的解決方案是結(jié)合了說(shuō)話人特征的個(gè)性化識(shí)別模型,能為每位用戶提取并保存?zhèn)€性化聲學(xué)信息特征。隨用戶數(shù)據(jù)積累,個(gè)性化特征自動(dòng)更新,用戶識(shí)別準(zhǔn)確率能顯著提升。 另外,我們還創(chuàng)新地提出了多類單元集合融合建模方案,這是一種實(shí)現(xiàn)了不同程度單元共享、參數(shù)共享、多任務(wù)的中英混合建模方案。這種方案能在基本不影響漢語(yǔ)識(shí)別準(zhǔn)確度的情況下提升英語(yǔ)的識(shí)別水平。我們?nèi)栽谠肼暛h(huán)境、多說(shuō)話人場(chǎng)景[3]、“雞尾酒會(huì)問(wèn)題”[4]、多語(yǔ)言混雜等方面繼續(xù)探索。 語(yǔ)音合成是確保機(jī)器與人類自然溝通的重要技術(shù)。騰訊在語(yǔ)音合成方面有深厚的技術(shù)積累,開(kāi)發(fā)了可實(shí)現(xiàn)端到端合成和重音語(yǔ)調(diào)合成的新技術(shù)。騰訊AI Lab 2018 年在語(yǔ)調(diào)韻律變化[5]、說(shuō)話風(fēng)格遷移[6]等任務(wù)上取得了一些新進(jìn)展。 自然語(yǔ)言處理騰訊 AI Lab 在自然語(yǔ)言處理方面有廣泛而又有針對(duì)性的研究,涉及文本理解、文本生成、人機(jī)對(duì)話、機(jī)器翻譯等多個(gè)方向。 我們訓(xùn)練的模型在多個(gè)閱讀理解類數(shù)據(jù)集上位居前列,如CMU大學(xué)的RACE、ARC (Easy/Challenge)及OpenBookQA等。 在神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯方面,我們通過(guò)改進(jìn)當(dāng)前主流翻譯模型中的多層多頭自注意力機(jī)制[1]和提出基于忠實(shí)度的訓(xùn)練框架[2],改善其核心的譯文忠實(shí)度低的問(wèn)題。 我們還針對(duì)口語(yǔ)翻譯中代詞缺省的問(wèn)題提出了一種聯(lián)合學(xué)習(xí)方法[3],以及探索如何將外部的翻譯記憶融入神經(jīng)網(wǎng)絡(luò)翻譯模型[4]。 我們還發(fā)布了一款A(yù)I輔助翻譯產(chǎn)品TranSmart[5],向人工翻譯致敬。它采用業(yè)內(nèi)領(lǐng)先的人機(jī)交互式機(jī)器翻譯和輔助翻譯輸入法技術(shù),配合億級(jí)雙語(yǔ)平行數(shù)據(jù),為用戶提供實(shí)時(shí)智能翻譯輔助,幫助用戶更好更快地完成翻譯任務(wù)。作為筆譯工具的未來(lái)形態(tài),目前這個(gè)產(chǎn)品已經(jīng)進(jìn)入了很多高校翻譯課堂。 我們研究了文本和對(duì)話生成,提了出一種基于強(qiáng)化學(xué)習(xí)框架的回復(fù)生成模型[6],對(duì)于同一個(gè)輸入能夠自動(dòng)生成多個(gè)不同的回復(fù);一種跨語(yǔ)言神經(jīng)網(wǎng)絡(luò)置信跟蹤框架XL-NBT[7]在實(shí)現(xiàn)跨語(yǔ)種對(duì)話系統(tǒng)方面有重要的實(shí)際應(yīng)用潛力(比如多語(yǔ)種自動(dòng)客服)。 此外,我們還為自動(dòng)回復(fù)的多樣性對(duì)條件變分自編碼機(jī)進(jìn)行了改進(jìn)[8]。 值得一提的是我們將中國(guó)古典文化與現(xiàn)代技術(shù)的結(jié)合方面的探索。我們?cè)?2018 年春節(jié)期間推出了騰訊 AI 春聯(lián),可根據(jù)用戶提供的兩個(gè)漢字生成一副春聯(lián)。 我們還探索了創(chuàng)造機(jī)器詩(shī)人的問(wèn)題,提出一種基于對(duì)抗條件變分自編碼器的詩(shī)歌生成方法(CVAE-D)[9],在主旨一致性和用詞的新穎性上取得了不錯(cuò)的進(jìn)展。 騰訊AI Lab現(xiàn)狀近三年時(shí)間里,騰訊AI Lab相繼成立了深圳及美國(guó)西雅圖實(shí)驗(yàn)室,目前團(tuán)隊(duì)有70多名頂尖AI科學(xué)家及300多位經(jīng)驗(yàn)豐富的工程師,專注四大研究方向。 產(chǎn)業(yè)落地上,AI Lab將與新成立的“騰訊Robotics X”機(jī)器人實(shí)驗(yàn)室擔(dān)當(dāng)前沿技術(shù)雙基礎(chǔ)部門(mén),深耕產(chǎn)業(yè),擁抱消費(fèi)及產(chǎn)業(yè)互聯(lián)網(wǎng),做好技術(shù)標(biāo)配。 論文傳送門(mén):機(jī)器學(xué)習(xí) [1] 基于數(shù)據(jù)分布遷移的超參優(yōu)化算法 https:///pdf/1810.06305.pdf [2] 學(xué)習(xí)框架L2MT https:///abs/1805.07541 [3] 用學(xué)習(xí)遷移實(shí)現(xiàn)遷移學(xué)習(xí)的方法 L2T https://ai.tencent.com/ailab/media/publications/icml/148_Transfer_Learning_via_Learning_to_Transfer.pdf [4] 自適應(yīng)于不同環(huán)境、不同任務(wù)的合成策略 https://papers./paper/7393-synthesize-policies-for-transfer-and-adaptation-across-tasks-and-environments [5] POfD https://ai.tencent.com/ailab/media/publications/icml/152_Policy_Optimization_with_Demonstrations.pdf [6] 完全去中心化多智能體強(qiáng)化學(xué)習(xí) https:///abs/1802.08757 計(jì)算機(jī)視覺(jué) [1] 3D 實(shí)時(shí)定位 https:///abs/1810.05456 [2] 跟蹤和分割視頻中的物體 https:///abs/1803.09453 [3] 視頻描述生成任務(wù)新方法 https:///abs/1803.11438 [4] 視頻重定位 https:///abs/1808.01575 [5] TVNet https:///abs/1804.00413 [6] 自動(dòng)生成延時(shí)攝影視頻 https:///abs/1709.07592 [7] 多階段動(dòng)態(tài)生成對(duì)抗網(wǎng)絡(luò)(MD-GAN) https:///abs/1709.07592 語(yǔ)音處理 [1] 語(yǔ)音喚醒模型 https://www./archive/Interspeech_2018/pdfs/1668.pdf [2] 基于 Inception-ResNet 的聲紋識(shí)別系統(tǒng)框架 https://www./archive/Interspeech_2018/pdfs/1769.pdf [3] 多說(shuō)話人場(chǎng)景 https://ai.tencent.com/ailab/media/publications/MonauralMulti-TalkerSpeechRecognitionwithAttentionMechanismand_GatedConvolutionalNetworks._pdf.pdf [4] 雞尾酒會(huì)問(wèn)題 https://link./article/10.1631/FITEE.1700814 [5] 語(yǔ)調(diào)韻律變化 https://ai.tencent.com/ailab/media/publications/icassp/FEATURE_BASED_ADAPTATION_FOR_SPEAKING_STYLE_SYNTHESIS.pdf [6] 說(shuō)話風(fēng)格遷移 https://www./archive/Interspeech_2018/pdfs/1991.pdf 自然語(yǔ)言處理 [1] 多層多頭自注意力機(jī)制的改進(jìn) https:///abs/1810.10181 [2] 基于忠實(shí)度的訓(xùn)練框架 https:///abs/1811.08541 [3] 聯(lián)合學(xué)習(xí)方法 https:///abs/1810.06195 [4] 翻譯記憶融入 https://ai.tencent.com/ailab/nlp/papers/aaai2019_graph_translation.pdf [5] AI輔助翻譯產(chǎn)品TranSmart http://transmart.qq.com/ [6] 基于強(qiáng)化學(xué)習(xí)框架的回復(fù)生成模型 https://ai.tencent.com/ailab/nlp/publications.html [7] 跨語(yǔ)言神經(jīng)網(wǎng)絡(luò)置信跟蹤框架 XL-NBT https:///pdf/1808.06244.pdf [8] 對(duì)條件變分自編碼機(jī)的改進(jìn) http:///anthology/D18-1354 [9] 基于對(duì)抗條件變分自編碼器的詩(shī)歌生成方法(CVAE-D) http:///anthology/D18-1423 |
|