強(qiáng)化學(xué)習(xí)的基礎(chǔ)知識(shí)和概念簡(jiǎn)介（無(wú)模型、在線(xiàn)學(xué)習(xí)、離線(xiàn)強(qiáng)化學(xué)習(xí)等）

機(jī)器學(xué)習(xí)(ML)分為三個(gè)分支:監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。

• 監(jiān)督學(xué)習(xí)(SL):關(guān)注在給定標(biāo)記訓(xùn)練數(shù)據(jù)的情況下獲得正確的輸出
• 無(wú)監(jiān)督學(xué)習(xí)(UL):關(guān)注在沒(méi)有預(yù)先存在的標(biāo)簽的情況下發(fā)現(xiàn)數(shù)據(jù)中的模式
• 強(qiáng)化學(xué)習(xí)(RL):關(guān)注智能體在環(huán)境中如何采取行動(dòng)以最大化累積獎(jiǎng)勵(lì)

通俗地說(shuō)，強(qiáng)化學(xué)習(xí)類(lèi)似于嬰兒學(xué)習(xí)和發(fā)現(xiàn)世界，如果有獎(jiǎng)勵(lì)(正強(qiáng)化)，嬰兒可能會(huì)執(zhí)行一個(gè)行動(dòng)，如果有懲罰(負(fù)強(qiáng)化)，嬰兒就不太可能執(zhí)行這個(gè)行動(dòng)。這也是來(lái)自監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)的強(qiáng)化學(xué)習(xí)之間的主要區(qū)別，后者從靜態(tài)數(shù)據(jù)集學(xué)習(xí)，而前者從探索中學(xué)習(xí)。

本文將涉及強(qiáng)化學(xué)習(xí)的術(shù)語(yǔ)和基本組成部分，以及不同類(lèi)型的強(qiáng)化學(xué)習(xí)(無(wú)模型、基于模型、在線(xiàn)學(xué)習(xí)和離線(xiàn)學(xué)習(xí))。本文最后用算法來(lái)說(shuō)明不同類(lèi)型的強(qiáng)化學(xué)習(xí)。

本文的公式基于Stuart J. Russell和Peter Norvig的教科書(shū)《Artificial Intelligence: A Modern Approach》(第四版)，為了保持?jǐn)?shù)學(xué)方程格式的一致性所以略有改動(dòng)，。

強(qiáng)化學(xué)習(xí)

在深入研究不同類(lèi)型的強(qiáng)化學(xué)習(xí)和算法之前，我們應(yīng)該熟悉強(qiáng)化學(xué)習(xí)的組成部分。

• Agent:從環(huán)境中接收感知并執(zhí)行操作的程序，被翻譯成為智能體，但是我個(gè)人感覺(jué)代理更加恰當(dāng)，因?yàn)樗褪亲鳛槲覀內(nèi)嗽趶?qiáng)化學(xué)習(xí)環(huán)境下的操作者，所以稱(chēng)為代理或者代理人更恰當(dāng)
• Environment:代理所在的真實(shí)或虛擬環(huán)境
• State (S):代理當(dāng)前在環(huán)境中所處的狀態(tài)
• Action (A):代理在給定狀態(tài)下可以采取的動(dòng)作
• Reward (R):采取行動(dòng)的獎(jiǎng)勵(lì)(依賴(lài)于行動(dòng))，處于狀態(tài)的獎(jiǎng)勵(lì)(依賴(lài)于狀態(tài))，或在給定狀態(tài)下采取行動(dòng)的獎(jiǎng)勵(lì)(依賴(lài)于行動(dòng)和狀態(tài))

在一個(gè)嬰兒探索世界的例子中，嬰兒(代理)在現(xiàn)實(shí)世界(環(huán)境)中，能夠感到高興或饑餓(狀態(tài))。因此，寶寶可以選擇哭泣，吃或睡(動(dòng)作)，如果寶寶餓的時(shí)候吃了東西(獎(jiǎng)勵(lì))，寶寶就滿(mǎn)足了（正獎(jiǎng)勵(lì)）。

強(qiáng)化學(xué)習(xí)涉及探索，強(qiáng)化學(xué)習(xí)的輸出是一個(gè)最優(yōu)策略。策略描述了在每個(gè)狀態(tài)下要采取的行動(dòng);類(lèi)似于說(shuō)明書(shū)。比如，政策可以是寶寶餓了就吃，否則，寶寶就該睡覺(jué)。這也與監(jiān)督學(xué)習(xí)形成了對(duì)比，監(jiān)督學(xué)習(xí)的輸出只是一個(gè)單一的決策或預(yù)測(cè)，比策略更簡(jiǎn)單。

強(qiáng)化學(xué)習(xí)的目標(biāo)是通過(guò)優(yōu)化所采取的行動(dòng)來(lái)最大化總累積獎(jiǎng)勵(lì)。和嬰兒一樣，我們不都想從生活中獲得最大的累積利益嗎?；）

馬爾可夫決策過(guò)程(MDP)

由于強(qiáng)化學(xué)習(xí)涉及一系列最優(yōu)行為，因此它被認(rèn)為是一個(gè)連續(xù)的決策問(wèn)題，可以使用馬爾可夫決策過(guò)程建模。

這里的狀態(tài)(用S表示)被建模為圓圈，動(dòng)作(用A表示)允許代理在狀態(tài)之間轉(zhuǎn)換。在上圖2中，還有一個(gè)轉(zhuǎn)換概率(用T表示)，T(S11, A1, S12)是在狀態(tài)S11采取A1動(dòng)作后轉(zhuǎn)換到狀態(tài)S12的概率。我們可以認(rèn)為動(dòng)作A1是向右的動(dòng)作A2是向下的。為了簡(jiǎn)單起見(jiàn)，我們假設(shè)轉(zhuǎn)移概率為1，這樣采取行動(dòng)A1將確保向右移動(dòng)，而采取行動(dòng)A2將確保向下移動(dòng)。

參照?qǐng)D2，設(shè)目標(biāo)為從狀態(tài)S11開(kāi)始，結(jié)束于狀態(tài)S23，黃色狀態(tài)為好(獎(jiǎng)勵(lì)+1)，紅色狀態(tài)為壞(獎(jiǎng)勵(lì)-1)，紫色為目標(biāo)狀態(tài)(獎(jiǎng)勵(lì)+100)。我們希望智能體了解到最佳的行動(dòng)或路線(xiàn)是通過(guò)采取行動(dòng)A2-A1-A1來(lái)走向下-右-右，并獲得+1+1+1+100的總獎(jiǎng)勵(lì)。再進(jìn)一步，利用金錢(qián)的時(shí)間價(jià)值，我們?cè)讵?jiǎng)勵(lì)上應(yīng)用折扣因子gamma，因?yàn)楝F(xiàn)在的獎(jiǎng)勵(lì)比以后的獎(jiǎng)勵(lì)更好。

綜上所述，從狀態(tài)S11開(kāi)始執(zhí)行動(dòng)作A2-A1-A1，預(yù)期效用的數(shù)學(xué)公式如下:

上面的例子是一個(gè)簡(jiǎn)單的例子，一般情況下都會(huì)有一些變化，比如，

• 轉(zhuǎn)移概率不可能是1，因?yàn)樾枰谛袆?dòng)中考慮不確定性因素，例如采取某些行動(dòng)可能并不總是保證成功地向右或向下移動(dòng)。因此，我們需要在這個(gè)不確定性上取一個(gè)期望值
• 最優(yōu)動(dòng)作可能還不知道，因此一般的表示方式是將動(dòng)作表示為來(lái)自狀態(tài)的策略，用π(S)表示。
• 獎(jiǎng)勵(lì)可能不是基于黃色/紅色/紫色狀態(tài)，而是基于前一個(gè)狀態(tài)、行動(dòng)和下一個(gè)狀態(tài)的組合，用R(S1， π(S1)， S2)表示。
• 問(wèn)題可能不需要4步就能解決，它可能需要無(wú)限多的步驟才能達(dá)到目標(biāo)狀態(tài)

考慮到這些變化，確定給定狀態(tài)下策略π的期望效用U(s)的更一般的方程是這樣的:

用上圖4的話(huà)來(lái)說(shuō)，狀態(tài)的預(yù)期效用是折現(xiàn)獎(jiǎng)勵(lì)的預(yù)期總和。

所以一個(gè)狀態(tài)的效用與其相鄰狀態(tài)的效用相關(guān);假設(shè)選擇了最優(yōu)行動(dòng)，狀態(tài)的效用是轉(zhuǎn)移的預(yù)期獎(jiǎng)勵(lì)加上下一個(gè)狀態(tài)的折扣效用。這就是遞歸。在數(shù)學(xué)上使用下面的方程表示

上圖5是著名的Bellman方程，它求解最大效用并推導(dǎo)出最優(yōu)策略。最優(yōu)策略是在考慮轉(zhuǎn)移概率的情況下，對(duì)所有可能的下一個(gè)狀態(tài)進(jìn)行求和，使當(dāng)前狀態(tài)的最大效用加上下一個(gè)狀態(tài)的折現(xiàn)效用。

回到MDP問(wèn)題中，圖2的最優(yōu)策略是，如果代理處于狀態(tài)S11, S12或S13，代理應(yīng)該通過(guò)采取動(dòng)作A2向下移動(dòng)，如果代理處于狀態(tài)S21或S22，則代理應(yīng)該通過(guò)采取動(dòng)作A1向右移動(dòng)。這里的最優(yōu)策略是通過(guò)求解Bellman方程來(lái)執(zhí)行獲得最大當(dāng)前和折現(xiàn)未來(lái)獎(jiǎng)勵(lì)的行動(dòng)。

MDP一般用(S, A, T, R)表示，它們分別表示一組狀態(tài)，動(dòng)作，轉(zhuǎn)移函數(shù)和獎(jiǎng)勵(lì)函數(shù)。MDP假設(shè)環(huán)境是完全可觀(guān)察的，如果代理不知道它當(dāng)前處于什么狀態(tài)，我們將使用部分可觀(guān)察的MDP (POMDP) 圖5中的Bellman方程，可以使用值迭代或策略迭代來(lái)求解最優(yōu)策略，這是一種將效用值從未來(lái)狀態(tài)傳遞到當(dāng)前狀態(tài)的迭代方法。

強(qiáng)化學(xué)習(xí)類(lèi)似于求解MDP，但現(xiàn)在轉(zhuǎn)移概率和獎(jiǎng)勵(lì)函數(shù)是未知的，代理必須在訓(xùn)練期間執(zhí)行動(dòng)作來(lái)學(xué)習(xí)

無(wú)模型與基于模型的強(qiáng)化學(xué)習(xí)

上面提到的MDP示例是基于模型的強(qiáng)化學(xué)習(xí)?；谀Ｐ偷膹?qiáng)化學(xué)習(xí)具有轉(zhuǎn)移概率T(s1, a, s2)和獎(jiǎng)勵(lì)函數(shù)R(s1, a, s2)，它們是未知的，他們表示要解決的問(wèn)題。

基于模型的方法對(duì)仿真很有用?；谀Ｐ偷膹?qiáng)化學(xué)習(xí)的例子包括值迭代和策略迭代，因?yàn)樗褂镁哂修D(zhuǎn)移概率和獎(jiǎng)勵(lì)函數(shù)的MDP。

無(wú)模型方法不需要知道或?qū)W習(xí)轉(zhuǎn)移概率來(lái)解決問(wèn)題。我們的代理直接學(xué)習(xí)策略。

無(wú)模型方法對(duì)于解決現(xiàn)實(shí)問(wèn)題很有用。無(wú)模型強(qiáng)化學(xué)習(xí)的例子包括Q-learning 和策略搜索，因?yàn)樗苯訉W(xué)習(xí)策略。

離線(xiàn)學(xué)習(xí)vs.在線(xiàn)學(xué)習(xí)

離線(xiàn)學(xué)習(xí)和在線(xiàn)學(xué)習(xí)又稱(chēng)為被動(dòng)學(xué)習(xí)和主動(dòng)學(xué)習(xí)。

離線(xiàn)學(xué)習(xí)

在離線(xiàn)(被動(dòng))學(xué)習(xí)中，通過(guò)學(xué)習(xí)效用函數(shù)來(lái)解決該問(wèn)題。給定一個(gè)具有未知轉(zhuǎn)移和獎(jiǎng)勵(lì)函數(shù)的固定策略，代理試圖通過(guò)使用該策略執(zhí)行一系列試驗(yàn)來(lái)學(xué)習(xí)效用函數(shù)。

例如，在一輛自動(dòng)駕駛汽車(chē)中，給定一張地圖和一個(gè)要遵循的大致方向(固定策略)，但控制出錯(cuò)(未知的轉(zhuǎn)移概率-向前移動(dòng)可能導(dǎo)致汽車(chē)稍微左轉(zhuǎn)或右轉(zhuǎn))和未知的行駛時(shí)間(獎(jiǎng)勵(lì)函數(shù)未知-假設(shè)更快到達(dá)目的地會(huì)帶來(lái)更多獎(jiǎng)勵(lì))，汽車(chē)可以重復(fù)運(yùn)行以了解平均總行駛時(shí)間是多少（效用函數(shù)）。

離線(xiàn)強(qiáng)化學(xué)習(xí)的例子包括值迭代和策略迭代，因?yàn)樗褂檬褂眯в煤瘮?shù)的Bellman方程(圖5)。其他的一些例子包括直接效用估計(jì)、自適應(yīng)動(dòng)態(tài)規(guī)劃(Adaptive Dynamic Programming, ADP)和時(shí)間差分學(xué)習(xí)(Temporal-Difference Learning, TD)，這些將在后面詳細(xì)闡述。

在線(xiàn)學(xué)習(xí)

在線(xiàn)(主動(dòng))學(xué)習(xí)中，通過(guò)學(xué)習(xí)規(guī)劃或決策來(lái)解決問(wèn)題。對(duì)于基于模型的在線(xiàn)強(qiáng)化學(xué)習(xí)，有探索和使用的階段。在使用階段，代理的行為類(lèi)似于離線(xiàn)學(xué)習(xí)，采用固定的策略并學(xué)習(xí)效用函數(shù)。在探索階段，代理執(zhí)行值迭代或策略迭代以更新策略。

如果使用值迭代更新策略，則使用最大化效用/值的一步前瞻提取最佳行動(dòng)。如果使用策略迭代更新策略，則可獲得最優(yōu)策略，并可按照建議執(zhí)行操作。

以自動(dòng)駕駛汽車(chē)為例，在探索階段，汽車(chē)可能會(huì)了解到在高速公路上行駛所花費(fèi)的總時(shí)間更快，并選擇向高速公路行駛，而不是簡(jiǎn)單地沿著大方向行駛(策略迭代)。在使用階段，汽車(chē)按照更新的策略以更少的平均總時(shí)間(更高的效用)行駛。

在線(xiàn)強(qiáng)化學(xué)習(xí)的例子包括Exploration、Q-Learning和SARSA，這些將在后面幾節(jié)中詳細(xì)闡述。

當(dāng)狀態(tài)和動(dòng)作太多以至于轉(zhuǎn)換概率太多時(shí)，在線(xiàn)學(xué)習(xí)是首選。 在線(xiàn)學(xué)習(xí)中探索和“邊學(xué)邊用”比在離線(xiàn)學(xué)習(xí)中一次學(xué)習(xí)所有內(nèi)容更容易。 但是由于探索中的試錯(cuò)法，在線(xiàn)學(xué)習(xí)也可能很耗時(shí)。

需要說(shuō)明的是:在線(xiàn)學(xué)習(xí)和基于策略的學(xué)習(xí)(以及基于策略的離線(xiàn)學(xué)習(xí))是有區(qū)別的，前者指的是學(xué)習(xí)(策略可以更改或固定)，后者指的是策略(一系列試驗(yàn)來(lái)自一個(gè)策略還是多個(gè)策略)。在本文的最后兩部分中，我們將使用算法來(lái)解釋策略啟動(dòng)和策略關(guān)閉。

在理解了不同類(lèi)型的強(qiáng)化學(xué)習(xí)之后，讓我們深入研究一下算法!

1、直接效用估計(jì) Direct Utility Estimation

無(wú)模型的離線(xiàn)學(xué)習(xí)

在直接效用估計(jì)中，代理使用固定策略執(zhí)行一系列試驗(yàn)，并且狀態(tài)的效用是從該狀態(tài)開(kāi)始的預(yù)期總獎(jiǎng)勵(lì)或預(yù)期獎(jiǎng)勵(lì)。

以一輛自動(dòng)駕駛汽車(chē)為例，如果汽車(chē)在一次試驗(yàn)中從網(wǎng)格 (1, 1) 開(kāi)始時(shí)，未來(lái)的總獎(jiǎng)勵(lì)為 +100。 在同一次試驗(yàn)中，汽車(chē)重新訪(fǎng)問(wèn)該網(wǎng)格，從該點(diǎn)開(kāi)始的未來(lái)總獎(jiǎng)勵(lì)是+300。 在另一項(xiàng)試驗(yàn)中，汽車(chē)從該網(wǎng)格開(kāi)始，未來(lái)的總獎(jiǎng)勵(lì)為 +200。 該網(wǎng)格的預(yù)期獎(jiǎng)勵(lì)將是所有試驗(yàn)和對(duì)該網(wǎng)格的所有訪(fǎng)問(wèn)的平均獎(jiǎng)勵(lì)，在本例中為 (100 + 300 + 200) / 3。

優(yōu)點(diǎn)：給定無(wú)限次試驗(yàn)，獎(jiǎng)勵(lì)的樣本平均值將收斂到真實(shí)的預(yù)期獎(jiǎng)勵(lì)。

缺點(diǎn)：預(yù)期的獎(jiǎng)勵(lì)在每次試驗(yàn)結(jié)束時(shí)更新，這意味著代理在試驗(yàn)結(jié)束前什么都沒(méi)有學(xué)到，導(dǎo)致直接效用估計(jì)收斂非常慢。

2、自適應(yīng)動(dòng)態(tài)規(guī)劃 (ADP)

基于模型的離線(xiàn)學(xué)習(xí)

在自適應(yīng)動(dòng)態(tài)規(guī)劃 (ADP) 中，代理嘗試通過(guò)經(jīng)驗(yàn)學(xué)習(xí)轉(zhuǎn)換和獎(jiǎng)勵(lì)函數(shù)。 轉(zhuǎn)換函數(shù)是通過(guò)計(jì)算從當(dāng)前狀態(tài)轉(zhuǎn)換到下一個(gè)狀態(tài)的次數(shù)來(lái)學(xué)習(xí)的，而獎(jiǎng)勵(lì)函數(shù)是在進(jìn)入該狀態(tài)時(shí)學(xué)習(xí)的。 給定學(xué)習(xí)到的轉(zhuǎn)換和獎(jiǎng)勵(lì)函數(shù)，我們可以解決MDP。

以自動(dòng)駕駛汽車(chē)為例，在給定狀態(tài)下嘗試向前移動(dòng) 10 次，如果汽車(chē)最終向前移動(dòng) 8 次并向左移動(dòng) 2 次，我們了解到轉(zhuǎn)換概率為 T（當(dāng)前狀態(tài)， 向前，前狀態(tài)）= 0.8 和 T（當(dāng)前狀態(tài)，向前，左狀態(tài)）= 0.2。

優(yōu)點(diǎn)：由于環(huán)境是完全可觀(guān)察的，因此很容易通過(guò)簡(jiǎn)單的計(jì)數(shù)來(lái)學(xué)習(xí)轉(zhuǎn)換模型。

缺點(diǎn)：性能受到代理學(xué)習(xí)轉(zhuǎn)換模型的能力的限制。 這將導(dǎo)致這個(gè)問(wèn)題對(duì)于大狀態(tài)空間來(lái)說(shuō)是很麻煩的，因?yàn)閷W(xué)習(xí)轉(zhuǎn)換模型需要太多的試驗(yàn)，并且在 MDP 中有太多的方程和未知數(shù)需要求解。

3、時(shí)間差分學(xué)習(xí)（TD Learning）

無(wú)模型的離線(xiàn)學(xué)習(xí)

在時(shí)間差分學(xué)習(xí)中，代理學(xué)習(xí)效用函數(shù)并在每次轉(zhuǎn)換后以學(xué)習(xí)率更新該函數(shù)。

這里的時(shí)間差分（temporal difference）是指連續(xù)狀態(tài)之間的效用差異，并根據(jù)此誤差信號(hào)更新效用函數(shù)，由學(xué)習(xí)率縮放，如上圖6所示。學(xué)習(xí)率可以是一個(gè)固定的參數(shù)，也可以是對(duì)一個(gè)狀態(tài)訪(fǎng)問(wèn)量增加的遞減函數(shù)，這有助于效用函數(shù)的收斂。

與直接效用估計(jì)在每次嘗試后進(jìn)行學(xué)習(xí)相比，TD學(xué)習(xí)在每次轉(zhuǎn)換后進(jìn)行學(xué)習(xí)，具有更高的效率。

與ADP相比，TD學(xué)習(xí)不需要學(xué)習(xí)轉(zhuǎn)換函數(shù)和獎(jiǎng)勵(lì)函數(shù)，使其計(jì)算效率更高，但也需要更長(zhǎng)的收斂時(shí)間。

ADP和TD學(xué)習(xí)是離線(xiàn)強(qiáng)化學(xué)習(xí)算法，但在線(xiàn)強(qiáng)化學(xué)習(xí)算法中也存在主動(dòng)ADP和主動(dòng)TD學(xué)習(xí)!

4、Exploration

基于模型的在線(xiàn)學(xué)習(xí)，主動(dòng)ADP

Exploration 算法是一種主動(dòng)ADP算法。與被動(dòng)ADP算法類(lèi)似，代理試圖通過(guò)經(jīng)驗(yàn)學(xué)習(xí)轉(zhuǎn)換和獎(jiǎng)勵(lì)函數(shù)，但主動(dòng)ADP算法將學(xué)習(xí)所有動(dòng)作的結(jié)果，而不僅僅是固定的策略。

它還有一個(gè)額外的函數(shù)，確定代理在現(xiàn)有策略之外采取行動(dòng)的“好奇程度”。這個(gè)函數(shù)隨著效用的增加而增加，隨著經(jīng)驗(yàn)的減少而減少。

如果狀態(tài)具有高效用，則探索函數(shù)傾向于更頻繁地訪(fǎng)問(wèn)該狀態(tài)。探索功能隨著效用的增加而增加。如果狀態(tài)之前沒(méi)有被訪(fǎng)問(wèn)過(guò)或訪(fǎng)問(wèn)過(guò)足夠多次，探索函數(shù)傾向于選擇現(xiàn)有策略之外的動(dòng)作。如果多次訪(fǎng)問(wèn)狀態(tài)，則探索函數(shù)就不那么“好奇”了。由于好奇程度的降低，探索功能隨著經(jīng)驗(yàn)的增加而降低。

優(yōu)點(diǎn):探索策略會(huì)快速收斂到零策略損失(最優(yōu)策略)。

缺點(diǎn):效用估計(jì)的收斂速度不如策略估計(jì)的快，因?yàn)榇聿粫?huì)頻繁地出現(xiàn)低效用狀態(tài)，因此不知道這些狀態(tài)的確切效用。

5、Q-Learning

無(wú)模型的在線(xiàn)學(xué)習(xí)，主動(dòng)TD學(xué)習(xí)

Q-Learning 是一種主動(dòng)的 TD 學(xué)習(xí)算法。 圖 6 中的更新規(guī)則保持不變，但現(xiàn)在狀態(tài)的效用表示為使用 Q 函數(shù)的狀態(tài)-動(dòng)作對(duì)的效用，因此得名 Q-Learning。 被動(dòng) TD 學(xué)習(xí)與主動(dòng) TD 學(xué)習(xí)的更新規(guī)則差異如下圖 7 所示。

這種差異是由于被動(dòng)RL都是用固定的策略，因此每個(gè)狀態(tài)只會(huì)執(zhí)行固定的操作，效用僅取決于狀態(tài)。 而在主動(dòng)RL 中，策略會(huì)被更新并且效用現(xiàn)在取決于狀態(tài)-動(dòng)作對(duì)，因?yàn)槊總€(gè)狀態(tài)可能會(huì)根據(jù)不同的策略執(zhí)行不同的動(dòng)作。

Q-Learning 是 Off-Policy（無(wú)既定策略），這意味著目標(biāo)或下一個(gè)狀態(tài)的效用是使Q函數(shù)最大化（而不是下一個(gè)狀態(tài)中可能的操作），我們就不需要下一個(gè)狀態(tài)下的實(shí)際動(dòng)作。

優(yōu)點(diǎn)：可以應(yīng)用于復(fù)雜領(lǐng)域，因?yàn)樗菬o(wú)模型的，代理不需要學(xué)習(xí)或應(yīng)用轉(zhuǎn)換模型。

缺點(diǎn)：它不看到未來(lái)的情況，所以當(dāng)獎(jiǎng)勵(lì)稀少時(shí)可能會(huì)遇到困難。 與 ADP 相比，它學(xué)習(xí)策略的速度較慢，因?yàn)楸镜馗虏荒艽_保 Q 值的一致性。

6、SARSA

無(wú)模型的在線(xiàn)學(xué)習(xí)，主動(dòng)TD學(xué)習(xí)

SARSA是一種主動(dòng)TD學(xué)習(xí)算法。算法名稱(chēng)SARSA源自算法的組件，即狀態(tài)S、動(dòng)作A、獎(jiǎng)勵(lì)R、(下一個(gè))狀態(tài)S和(下一個(gè))動(dòng)作A。這意味著SARSA算法在更新Q函數(shù)之前，要等待下一個(gè)狀態(tài)下執(zhí)行下一個(gè)動(dòng)作。相比之下，Q-Learning是一種“SARS”算法，因?yàn)樗豢紤]下一個(gè)狀態(tài)的動(dòng)作。

SARSA 算法知道在下一個(gè)狀態(tài)下采取的動(dòng)作，并且不需要在下一個(gè)狀態(tài)下的所有可能動(dòng)作上最大化 Q 函數(shù)。 Q-Learning與SARSA的更新規(guī)則差異顯示在下面的圖8中。

SARSA 以“策略”或者當(dāng)前正在運(yùn)行的策略的下一個(gè)狀態(tài)的效用的q函數(shù)為目標(biāo)，這樣就能夠獲得下一個(gè)狀態(tài)下的實(shí)際動(dòng)作。

也就是說(shuō)如果Q-Learning不探索其他操作并在下一個(gè)狀態(tài)下遵循當(dāng)前策略，則它與SARSA相同。

優(yōu)點(diǎn)：如果整個(gè)策略由另一個(gè)代理或程序控制，則適合使用策略，這樣代理就不會(huì)脫離策略并嘗試其他操作。

缺點(diǎn)：SARSA不如Q-Learning靈活，因?yàn)樗粫?huì)脫離策略來(lái)進(jìn)行探索。與 ADP 相比，它學(xué)習(xí)策略的速度較慢，因?yàn)楸镜馗聼o(wú)法確保與 Q 值的一致性。

總結(jié)

在本文中我們介紹了強(qiáng)化學(xué)習(xí)的基本概念，并且討論了6種算法，并將其分為不同類(lèi)型的強(qiáng)化學(xué)習(xí)。

這6種算法是幫助形成對(duì)強(qiáng)化學(xué)習(xí)的基本理解的基本算法。還有更有效的強(qiáng)化學(xué)習(xí)算法，如深度Q網(wǎng)絡(luò)(Deep Q Network, DQN)、深度確定性策略梯度(Deep Deterministic Policy Gradient, DDPG)等算法，具有更實(shí)際的應(yīng)用。

我一直覺(jué)得強(qiáng)化學(xué)習(xí)很有趣，因?yàn)樗U明了人類(lèi)如何學(xué)習(xí)以及我們?nèi)绾螌⑦@些知識(shí)傳授給機(jī)器人(當(dāng)然也包括其他應(yīng)用，如自動(dòng)駕駛汽車(chē)、國(guó)際象棋和Alpha Go等)。希望本文能夠讓你對(duì)強(qiáng)化學(xué)習(xí)有了更多的了解，并且知道了強(qiáng)化學(xué)習(xí)的不同類(lèi)型，以及說(shuō)明每種類(lèi)型的強(qiáng)化學(xué)習(xí)的算法。