近日，商湯-港中文聯(lián)合實驗室提出基于風格化對抗生成器的人臉渲染器，用于取代傳統(tǒng)圖形學基于柵格化的渲染器來進行3D模型的重建。該方法構建了一種從輸入3D模型到生成圖像的平滑梯度，同時可以以低精度建模獲得渲染更高質量的圖像。與此同時，通過對生成網絡式的渲染器反向傳播算法，能夠獲得更具有圖像細節(jié)特征的重建人臉3D模型。論文名稱：Inverting Generative Adversarial Renderer for Face Reconstruction 論文鏈接：https:///pdf/2105.02431.pdf 項目鏈接：https://github.com/WestlyPark/StyleRenderer
從左到右：source video， face reconstruction results， generated normal maps從單目人臉圖像獲得人臉的3D模型是一項頗具挑戰(zhàn)的任務。它以一張RGB圖像作為輸入，重建相應的三維人臉網格。傳統(tǒng)方法為了使得得到的3D模型更接近真實圖像，一般采用圖形學中基于柵格化的渲染來進行模型參數的優(yōu)化。一方面為了盡可能的將模型逼近圖像，會采用更高自由度的參數化模型表達人臉的表面紋理，另一方面，在渲染結果比對上會采用模糊化的方式使渲染結果與圖像之間的差異以一種可微分的方式傳遞給3D模型。
然而，主要基于圖形學基礎的可微渲染器簡化了真實世界中光照、反射等的真實機制，因而難以生成足夠真實的圖像。如圖1所示，第二列到第五列的方法的渲染效果都不真實，這給優(yōu)化或訓練過程帶來了大量的噪聲。為了使得從3D模型的幾何信息到生成圖像的顏色變化之間的關系更準確和連續(xù)，該工作提出了一種基于對抗生成網絡的方式進行3D模型的渲染。利用該渲染器可以得到更真實的圖片渲染結果，同時具有更合適的微分性能能夠進行更好的3D模型參數的提取。受最近基于StyleGAN的真實人臉生成器的啟發(fā)，為了實現(xiàn)人臉幾何參數受控的生成器，文章提出了基于3D人臉幾何信息的渲染模塊，在保持用隨機隱變量生成紋理的同時顯示地加入了人臉的幾何信息。具體來說，對于每個模塊的4維輸入特征（批次、通道數、長、寬），StyleGAN2提出在通道數上面進行風格的注入，以達到對生成結果的調控，而在長寬的圖像維度上，文章提出同時注入與人臉幾何相關的法向量信息，以監(jiān)督整個人臉的在圖像中的位置和五官的分布。該注入以乘積的形式添加保持特征圖在不同幾何信息的位置具有針對性的響應。為了使得生成網絡得到圖像的幾何屬性與輸入條件的一致性，文章利用幾何學方法渲染一批合成人臉訓練了一個法向量監(jiān)督網絡(SfSNet)作為弱監(jiān)督保持法向量的近似一致性。由于生成網絡本身對于人臉幾何信息的添加方式導致人臉3D模型參數和生成圖像的結果之間的關系在優(yōu)化時更容易建立起來。文章還提出為了控制生成圖像的紋理信息和人臉的幾何信息能夠解耦，在訓練過程中采用交換幾何信息和注入變量信息的方式，并利用預訓練的關鍵點檢測保持人臉幾何信息的一致性和人臉識別網絡提取的特征保持紋理信息的一致性。訓練好的生成式渲染器（GAR）可以根據不同的法向圖和隱編碼渲染出對應的圖像，如圖4所示。反向渲染技術可以充分利用生成式渲染器的優(yōu)勢，以生成與給定圖像相似的圖片為目標，反推出輸出的人臉形狀與紋理。為了解決同時優(yōu)化人臉參數模型和在生成器中使用的表征人臉紋理的隱變量的問題，文章設計了與生成器結構對稱的回歸網絡來估計隱變量的初始優(yōu)化值。在此基礎上，進行網絡本身相對于輸出圖像的梯度反傳進行人臉幾何參數的優(yōu)化，進而得到更具細節(jié)的人臉3D模型。人臉重建效果的對比如下圖所示。由于生成式渲染器的引入消除了渲染圖片與目標圖片之間的偏差，因此渲染圖片與目標圖片之間的距離可以更好反映渲染器的法向輸入與真實3D幾何之間的差異，從而使該方法獲得了比之前方法更精準的人臉重建結果。該方法不僅在相關數據集上取得了重建精度比較好的效果，而且能夠在優(yōu)化參數后根據修改人臉的幾何信息對生成圖像進行編輯。在后續(xù)對于類似難以建模的物體進行3D提取的過程中可能有更好的應用。該論文實現(xiàn)了單目圖像人臉重建的新突破，提出一個更真實的生成式渲染器（GAR）與一種反向渲染以實現(xiàn)人臉重建的方法。生成式渲染器的渲染效果比傳統(tǒng)圖形學渲染器更加真實，從而減小渲染圖片與真實圖片之間的差異。而反向渲染技術充分利用所提出的生成式渲染器的優(yōu)勢，以生成與給定圖像相似的圖片為目標，反推出輸出的人臉形狀與紋理。該算法不但在點云的平均誤差上達到目前人臉重建領域的領先效果，在幾何的相似度和精細度上也大大超越已有方法。該論文代碼已開源，快用你自己的照片試試吧！【1】Tero Karras, Samuli Laine, and Timo Aila. A style-based generator architecture for generative adversarial networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4401–4410, 2019.【2】Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, and Timo Aila. Analyzing and improving the image quality of StyleGAN. In Proc. CVPR, 2020.【3】Soumyadip Sengupta, Angjoo Kanazawa, Carlos D Castillo, and David W Jacobs. Sfsnet: Learning shape, reflectance and illuminance of faces in the wild’. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 6296–6305, 2018.【4】Rameen Abdal, Yipeng Qin, and Peter Wonka. Image2stylegan: How to embed images into the stylegan latent space? In Proceedings of the IEEE International Conference on Computer Vision, pages 4432–4441, 2019.人臉檢測、識別、對齊、重建、表情識別、表情遷移等技術， 若已為CV君其他賬號好友請直接私信。 在看，讓更多人看到 
|
