速度堪比Adam，準確率媲美SGD，還能穩(wěn)定訓練GAN：全新優(yōu)化器成為NeurIPS爆款

taotao_2016 2020-10-17

展開全文

機器之心報道

作者：張倩、小舟

在一篇 NeurIPS 2020 Spotlight 論文中，來自耶魯大學等機構(gòu)的研究者提出了一種新型優(yōu)化器，可以像 Adam 一樣快速收斂，準確率媲美 SGD ，還能穩(wěn)定訓練 GAN 。

最常用的深度學習優(yōu)化器大致可分為自適應(yīng)方法（如Adam）和加速方案（如帶有動量的隨機梯度下降（SGD））。與 SGD 相比，許多模型（如卷積神經(jīng)網(wǎng)絡(luò)）采用自適應(yīng)方法通常收斂速度更快，但泛化效果卻較差。對于生成對抗網(wǎng)絡(luò)（GAN）這類的復雜情況，通常默認使用自適應(yīng)方法，因為其具有穩(wěn)定性。

在 NeurIPS 2020 的一篇 Spotlight 論文中，來自耶魯大學、伊利諾伊大學香檳分校等機構(gòu)的研究者提出了一種名為「AdaBelief」的新型優(yōu)化器，可以同時滿足 3 個優(yōu)點：自適應(yīng)方法的快速收斂、SGD 的良好泛化性、訓練穩(wěn)定性。論文代碼也已經(jīng)放出。

論文鏈接：https:///pdf/2010.07468.pdf
論文頁面：https://juntang-zhuang./adabelief/
代碼鏈接：https://github.com/juntang-zhuang/Adabelief-Optimizer

AdaBelief 根據(jù)當前梯度方向上的「belief」來調(diào)整步長，將嘈雜梯度的指數(shù)移動平均（EMA）當作下一步的梯度預測。如果觀察到的梯度大大偏離了預測，那么就不信任當前的觀察，采取一個較小的步長；如果觀察到的梯度接近預測值，那么就相信當前的觀察，并采取一個較大的步長。

研究者用實驗驗證了 AdaBelief 的效果。在圖像分類和語言建模方面， AdaBelief 收斂迅速，準確率高，性能優(yōu)于其他方法。具體來說，在 ImageNet 上， AdaBelief 的準確率可與 SGD 媲美。

此外，在 Cifar10 上訓練 GAN 期間，與經(jīng)過調(diào)整的 Adam 優(yōu)化器相比， AdaBelief 表現(xiàn)出了高度穩(wěn)定性并提高了生成樣本的質(zhì)量。

算法

Adam和AdaBelief的算法如上圖所示，不同之處已經(jīng)用藍色字體標注。從圖中可以看出，AdaBelief沒有引入額外的參數(shù)。為了簡便，研究者省略了偏置矯正步驟。具體來說，在Adam中，更新方向是

，其中，v_t是

的指數(shù)移動平均值（EMA）。在AdaBelief中，更新方向是

，其中，s_t是 (g_t?m_t)^2的EMA。直觀來看，將m_t看作g_t的預測，當觀察結(jié)果g_t與預測結(jié)果m_t接近時，AdaBelief步長較大；當g_t與m_t相差較大時，AdaBelief步長較小。

AdaBelief 好在哪兒？

AdaBelief考慮了損失函數(shù)的曲率

一個理想的優(yōu)化器會考慮損失函數(shù)的曲率，而不是在梯度很大（或很?。┑牡胤讲扇『艽螅ɑ蚝苄。┑牟介L。上圖中的區(qū)域③展示了AdaBelief在「梯度大，曲率小」的情況下相較于Adam的優(yōu)勢。

AdaBelief考慮分母中梯度的符號

在左圖中，我們考慮一個損失函數(shù) f(x,y)=|x|+|y|。藍色的向量表示梯度，x表示最優(yōu)點。優(yōu)化器在y方向上震蕩，在x方向上繼續(xù)前進。右圖是左圖對應(yīng)的優(yōu)化過程。我們可以觀察到，在Adam中，

，因此，它在x方向和y方向上步長一樣。但在AdaBelief 中，

，因此它在x方向上步長較大，在y方向上步長較小。

在方差較小時，Adam中的更新方向接近于「符號下降」

我們假設(shè)：

1.g_t來自一個平穩(wěn)分布，因此，在偏置矯正之后，

2.低噪聲假設(shè)，假設(shè)

，可以得到

3.低偏置假設(shè)，假設(shè)

很小，那么作為

估計值的m_t的偏置

就很小。此時，

在這種情況下，Adam的表現(xiàn)很像「符號下降」。在2D 的例子中，更新是 ±45°，因此偏離了真正的梯度方向。符號更新效應(yīng)可能導致自適應(yīng)方法和SGD之間的泛化差距。但在AdaBelief中，當g_t的方差對于所有坐標都相同時，更新方向會與梯度方向匹配。當方差不均勻時，AdaBelief會在方差大（小）時采取?。ù螅┎介L。

以下是幾個簡單問題的驗證結(jié)果：

實驗

圖像分類

研究者在Cifar10和Cifar100數(shù)據(jù)集上利用VGG11、ResNet34和DenseNet121進行了實驗。如下圖4所示，AdaBelief與自適應(yīng)方法（如Adam）一樣實現(xiàn)了快速收斂，同時比SGD和其他方法具有更高的準確率。

研究者還在ImageNet上訓練了ResNet18，驗證集上的準確率如表2所示。從結(jié)果可以看出，AdaBelief優(yōu)于其他自適應(yīng)方法，并達到了與SGD相當?shù)臏蚀_率（70.08VS70.23），這縮小了自適應(yīng)方法與SGD之間的泛化差距。

時間序列建模

研究者在Penn TreeBank數(shù)據(jù)集上利用LSTM進行了實驗，測試集上的困惑度（perplexity）如圖5所示（越低越好）。對2層和3層LSTM模型來說，AdaBelief都實現(xiàn)了最低的困惑度，驗證了其具有自適應(yīng)方法的快速收斂性和良好的準確率。對于1層模型而言，AdaBelief的性能接近于其他優(yōu)化器。

GAN

研究者利用Wasserstein-GAN（WGAN）和WGAN-GP進行了實驗。對于每個優(yōu)化器，在其最佳超參數(shù)設(shè)置下，研究者進行了5輪實驗，實驗結(jié)果如圖6和圖7所示。AdaBelief明顯由于其他優(yōu)化器，并且其FID分值最低。

雖然效果看起來不錯，但論文發(fā)布后也引發(fā)了一些質(zhì)疑，比如：「在Cifar10和Cifar100的數(shù)據(jù)中，SGD的性能在150個epoch之后才開始下降。他們在150個epoch處進行了微調(diào)。在此之前，AdaBelief并沒有其他優(yōu)化器性能好?！?/span>

如果你也有類似疑問，可以向論文作者提出反饋（聯(lián)系方式見論文介紹界面）。

從算法到應(yīng)用，入門聲紋技術(shù)。

10月19日，第一講：音頻基礎(chǔ)與聲紋識別。谷歌資深軟件工程師、聲紋識別與語言識別團隊負責人王泉老師將介紹聲紋識別技術(shù)相關(guān)基礎(chǔ)知識，包括發(fā)展歷程、聽覺感知和音頻處理相關(guān)基本概念與方法、聲紋領(lǐng)域最核心的應(yīng)用聲紋識別等。

添加機器之心小助手（syncedai5），備注「聲紋」，進群一起看直播。