政策勾配法

ポリシー勾配法は、強化学習アルゴリズムの一種です。

方策勾配法は方策最適化法のサブクラスです。方策を導出するために価値関数を学習する価値ベース法とは異なり、方策最適化法は価値関数を参照することなく行動を選択する方策関数を直接学習します。方策勾配を適用するには、方策関数が微分可能なパラメータによってパラメータ化される必要があります。^[1] $\pi$ $\pi _{\theta }$ $\theta$

概要

ポリシーベース強化学習では、アクターはパラメータ化されたポリシー関数であり、はアクターのパラメータです。アクターは環境の状態を引数として受け取り、確率分布を生成します。 $\pi _{\theta }$ $\theta$ $s$ $\pi _{\theta }(\cdot \mid s)$

行動空間が離散的であれば、。行動空間が連続的であれば、。 $\sum _{a}\pi _{\theta }(a\mid s)=1$ $\int _{a}\pi _{\theta }(a\mid s)\mathrm {d} a=1$

ポリシー最適化の目標は、期待されるエピソード報酬を最大化するを見つけることです。ここで、は割引率、はステップでの報酬、は開始状態、は時間範囲（無限大になる場合があります）です。 $\theta$ $J(\theta )$ $J(\theta )=\mathbb {E} _{\pi _{\theta }}\left[\sum _{t\in 0:T}\gamma ^{t}R_{t}{\Big |}S_{0}=s_{0}\right]$ $\gamma$ $R_{t}$ $t$ $s_{0}$ $T$

方策勾配はと定義されます。方策勾配法はそれぞれ異なる方法で確率的に方策勾配を推定します。いずれの方策勾配法も、勾配上昇によってを反復的に最大化することを目標としています。方策勾配法の主要部分は方策勾配の確率的推定であるため、「モンテカルロ勾配推定」という名称でも研究されています。^[2] $\nabla _{\theta }J(\theta )$ $J(\theta )$

強化する

政策勾配

REINFORCEアルゴリズムは、1992年にロナルド・J・ウィリアムズによって導入され、最初の方策勾配法でした。^[3]これは方策勾配の恒等式に基づいており、「因果律トリック」 ^[1]によって改善することができます。 $\nabla _{\theta }J(\theta )=\mathbb {E} _{\pi _{\theta }}\left[\sum _{t\in 0:T}\nabla _{\theta }\ln \pi _{\theta }(A_{t}\mid S_{t})\;\sum _{t\in 0:T}(\gamma ^{t}R_{t}){\Big |}S_{0}=s_{0}\right]$ $\nabla _{\theta }J(\theta )=\mathbb {E} _{\pi _{\theta }}\left[\sum _{t\in 0:T}\nabla _{\theta }\ln \pi _{\theta }(A_{t}\mid S_{t})\sum _{\tau \in t:T}(\gamma ^{\tau }R_{\tau }){\Big |}S_{0}=s_{0}\right]$

補題—スコア関数の期待値は、現在または過去の任意の状態を条件としてゼロとなる。つまり、任意の状態および任意の状態に対して、 $0\leq i\leq j\leq T$ $s_{i}$ $\mathbb {E} _{\pi _{\theta }}[\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j})|S_{i}=s_{i}]=0.$

さらに、がに依存しない確率変数である場合、 ${\textstyle \Psi _{i}}$ ${\textstyle A_{i},S_{i+1},A_{i+1},\dots }$ $\mathbb {E} _{\pi _{\theta }}[\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j})\cdot \Psi _{i}|S_{i}=s_{i}]=0.$

証明

補題の証明

再パラメータ化トリックを使用します。

${\begin{aligned}\mathbb {E} _{\pi _{\theta }}[\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j})|S_{i}=s_{i}]&=\sum _{s}Pr(S_{j}=s|S_{i}=s_{i})\sum _{a}\pi _{\theta }(a|s)\nabla _{\theta }\ln \pi _{\theta }(a|s)\\&=\sum _{s}Pr(S_{j}=s|S_{i}=s_{i})\sum _{a}\pi _{\theta }(a|s){\frac {\nabla _{\theta }\pi _{\theta }(a|s)}{\pi _{\theta }(a|s)}}\\&=\sum _{s}Pr(S_{j}=s|S_{i}=s_{i})\sum _{a}\nabla _{\theta }\pi _{\theta }(a|s)\\&=\sum _{s}Pr(S_{j}=s|S_{i}=s_{i})\nabla _{\theta }\sum _{a}\pi _{\theta }(a|s)\end{aligned}}$ ポリシーは与えられた状態に対するアクションの確率分布であるため、。 $\pi _{\theta }(a|s)$ ${\textstyle \sum _{a}\pi _{\theta }(a|s)=1}$ ${\begin{aligned}\mathbb {E} _{\pi _{\theta }}[\nabla _{\theta }\ln \pi _{\theta }(A|S)]&=\sum _{s}Pr(S_{j}=s|S_{i}=s_{i})\nabla _{\theta }(1)\\&=\sum _{s}Pr(S_{j}=s|S_{i}=s_{i})0\\&=0\end{aligned}}$

タワー法と前述の補題により。

${\begin{aligned}\mathbb {E} _{\pi _{\theta }}\left[\Psi _{i}\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j}){\Big |}S_{i}=s_{i}\right]&=\mathbb {E} _{\pi _{\theta }}\left[\mathbb {E} _{\pi _{\theta }}[\Psi _{i}\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j})|S_{j}]{\Big |}S_{i}=s_{i}\right]\\&=\mathbb {E} _{\pi _{\theta }}\left[\Psi _{i}\mathbb {E} _{\pi _{\theta }}[\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j})|S_{j}]{\Big |}S_{i}=s_{i}\right]\\&=\mathbb {E} _{\pi _{\theta }}\left[\Psi _{i}0{\Big |}S_{i}=s_{i}\right]\\&=0\end{aligned}}$

2つの身元の証明

再パラメータ化トリックを適用すると、

${\begin{aligned}\nabla _{\theta }J(\theta )&=\nabla _{\theta }\mathbb {E} _{\pi _{\theta }}\left[\sum _{i\in 0:T}\gamma ^{i}R_{i}{\Big |}S_{0}=s_{0}\right]\\&=\mathbb {E} _{\pi _{\theta }}\left[\left(\sum _{i\in 0:T}\gamma ^{i}R_{i}\right)\nabla _{\theta }\ln(\pi _{\theta }(A_{0},A_{1},\dots ,A_{T}|S_{0},S_{1},\dots ,S_{T})){\Big |}S_{0}=s_{0}\right]\\&=\mathbb {E} _{\pi _{\theta }}\left[\left(\sum _{i\in 0:T}\gamma ^{i}R_{i}\right)\sum _{j\in 0:T}\nabla _{\theta }\ln(\pi _{\theta }(A_{j}|S_{j})){\Big |}S_{0}=s_{0}\right]\\&=\mathbb {E} _{\pi _{\theta }}\left[\sum _{i,j\in 0:T}(\gamma ^{i}R_{i})\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j}){\Big |}S_{0}=s_{0}\right]\end{aligned}}$ これが最初の方程式です。

補題により、任意のに対してとなります。これを前の式に代入すると、三角形の項全体をゼロにして、2番目の方程式が得られます。 $\mathbb {E} _{\pi _{\theta }}\left[(\gamma ^{i}R_{i})\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j}){\Big |}S_{0}=s_{0}\right]0$ ${\textstyle 0\leq i<j\leq T}$ ${\begin{aligned}\nabla _{\theta }J(\theta )&=\mathbb {E} _{\pi _{\theta }}\left[\sum _{0\leq j\leq i\leq T}(\gamma ^{i}R_{i})\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j}){\Big |}S_{0}=s_{0}\right]\\&=\mathbb {E} _{\pi _{\theta }}\left[\sum _{j\in 0:T}\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j})\sum _{i\in j:T}(\gamma ^{i}R_{i}){\Big |}S_{0}=s_{0}\right]\end{aligned}}$

したがって、ポリシー勾配の不偏推定値が得られます。ここで、インデックスは、ポリシーを使用したロールアウト軌道の範囲にわたります。 $\nabla _{\theta }J(\theta )\approx {\frac {1}{N}}\sum _{n=1}^{N}\left[\sum _{t\in 0:T}\nabla _{\theta }\ln \pi _{\theta }(A_{t,n}\mid S_{t,n})\sum _{\tau \in t:T}(\gamma ^{\tau -t}R_{\tau ,n})\right]$ $n$ $N$ $\pi _{\theta }$

スコア関数は、状態における行動の確率を高めるパラメータ空間内の方向として解釈できます。つまり、方策勾配は、あらゆる状態におけるあらゆる行動の確率を高めるためのあらゆる可能な方向の加重平均ですが、報酬シグナルによって重み付けされます。つまり、特定の状態における特定の行動が高い報酬と関連付けられている場合、その方向は強く強化され、逆もまた同様です。 $\nabla _{\theta }\ln \pi _{\theta }(A_{t}\mid S_{t})$ $A_{t}$ $S_{t}$

アルゴリズム

REINFORCE アルゴリズムはループです。

ポリシー関数として使用して、環境内での軌道を展開します。 $N$ $\pi _{\theta _{t}}$
ポリシー勾配推定を計算します。 $g_{i}\leftarrow {\frac {1}{N}}\sum _{n=1}^{N}\left[\sum _{t\in 0:T}\nabla _{\theta _{t}}\ln \pi _{\theta }(A_{t,n}\mid S_{t,n})\sum _{\tau \in t:T}(\gamma ^{\tau }R_{\tau ,n})\right]$
勾配上昇法でポリシーを更新します。 $\theta _{i+1}\leftarrow \theta _{i}+\alpha _{i}g_{i}$

ここで、は更新ステップにおける学習率です。 $\alpha _{i}$ $i$

分散の削減

REINFORCEは方策オンアルゴリズムです。つまり、更新に使用する軌道は現在の方策からサンプリングする必要があります。軌道ごとにリターンが大きく異なるため、更新結果に大きな分散が生じる可能性があります。REINFORCEには、分散低減という名称で多くのバリエーションが提案されています。 $\pi _{\theta }$ $R(\tau )$

ベースラインで強化

分散を低減する一般的な方法は、ベースラインアルゴリズムを用いたREINFORCEです。これは、任意の関数に対して、次の恒等式に基づいています。これは、前述の補題を適用することで証明できます。 $\nabla _{\theta }J(\theta )=\mathbb {E} _{\pi _{\theta }}\left[\sum _{t\in 0:T}\nabla _{\theta }\ln \pi _{\theta }(A_{t}|S_{t})\left(\sum _{\tau \in t:T}(\gamma ^{\tau }R_{\tau })-b(S_{t})\right){\Big |}S_{0}=s_{0}\right]$ $b:{\text{States}}\to \mathbb {R}$

このアルゴリズムは修正勾配推定器を使用し、オリジナルの REINFORCE アルゴリズムはの特殊なケースです。 $g_{i}\leftarrow {\frac {1}{N}}\sum _{n=1}^{N}\left[\sum _{t\in 0:T}\nabla _{\theta _{t}}\ln \pi _{\theta }(A_{t,n}|S_{t,n})\left(\sum _{\tau \in t:T}(\gamma ^{\tau }R_{\tau ,n})-b_{i}(S_{t,n})\right)\right]$ $b_{i}\equiv 0$

俳優批評家の方法

が適切に選択され、となるようにすれば、勾配推定における分散を大幅に低減できる可能性があります。つまり、ベースラインは可能な限り価値関数に近くなり、の理想に近づくことになります。ポリシーが更新されると価値関数も更新されるため、ベースラインも更新する必要があることに注意してください。一般的なアプローチの1つは、価値関数を推定する別の関数を学習し、それをベースラインとして使用することです。これは、ポリシー関数がアクター、価値関数がクリティックであるアクター・クリティック法の1つです。 ${\textstyle b_{i}}$ ${\textstyle b_{i}(S_{t})\approx \sum _{\tau \in t:T}(\gamma ^{\tau }R_{\tau })=\gamma ^{t}V^{\pi _{\theta _{i}}}(S_{t})}$ $V^{\pi _{\theta _{i}}}(S_{t})$ $\nabla _{\theta }J(\theta )=\mathbb {E} _{\pi _{\theta }}\left[\sum _{t\in 0:T}\nabla _{\theta }\ln \pi _{\theta }(A_{t}|S_{t})\left(\sum _{\tau \in t:T}(\gamma ^{\tau }R_{\tau })-\gamma ^{t}V^{\pi _{\theta }}(S_{t})\right){\Big |}S_{0}=s_{0}\right]$ $\pi _{\theta _{t}}$ $V^{\pi _{\theta _{i}}}(S_{t})$

Q関数は、タワー法則を使用した同様の議論により、批評家としても使用できます。 $Q^{\pi }$ $\nabla _{\theta }J(\theta )=E_{\pi _{\theta }}\left[\sum _{0\leq t\leq T}\gamma ^{t}\nabla _{\theta }\ln \pi _{\theta }(A_{t}|S_{t})\cdot Q^{\pi _{\theta }}(S_{t},A_{t}){\Big |}S_{0}=s_{0}\right]$

価値関数を基準として差し引くと、アドバンテージ関数 も批評家として使用できることがわかります。まとめると、には多くの不偏推定値があり、すべての形式をとります。ここでは次の項の任意の線形和です。 $A^{\pi }(S,A)=Q^{\pi }(S,A)-V^{\pi }(S)$ $\nabla _{\theta }J(\theta )=E_{\pi _{\theta }}\left[\sum _{0\leq t\leq T}\gamma ^{t}\nabla _{\theta }\ln \pi _{\theta }(A_{t}|S_{t})\cdot A^{\pi _{\theta }}(S_{t},A_{t}){\Big |}S_{0}=s_{0}\right]$ ${\textstyle \nabla _{\theta }J_{\theta }}$ $\nabla _{\theta }J(\theta )=E_{\pi _{\theta }}\left[\sum _{0\leq t\leq T}\nabla _{\theta }\ln \pi _{\theta }(A_{t}|S_{t})\cdot \Psi _{t}{\Big |}S_{0}=s_{0}\right]$ ${\textstyle \Psi _{t}}$

${\textstyle \sum _{0\leq \tau \leq T}(\gamma ^{\tau }R_{\tau })}$ : 未使用。
${\textstyle \gamma ^{t}\sum _{t\leq \tau \leq T}(\gamma ^{\tau -t}R_{\tau })}$ : REINFORCE アルゴリズムによって使用されます。
${\textstyle \gamma ^{t}\sum _{t\leq \tau \leq T}(\gamma ^{\tau -t}R_{\tau })-b(S_{t})}$ : ベースラインアルゴリズムを使用した REINFORCE によって使用されます。
${\textstyle \gamma ^{t}\left(R_{t}+\gamma V^{\pi _{\theta }}(S_{t+1})-V^{\pi _{\theta }}(S_{t})\right)}$ : 1ステップTD学習。
${\textstyle \gamma ^{t}Q^{\pi _{\theta }}(S_{t},A_{t})}$ 。
${\textstyle \gamma ^{t}A^{\pi _{\theta }}(S_{t},A_{t})}$ 。

さらに可能性のあるものは次のとおりです。証明も非常に似ています。 ${\textstyle \Psi _{t}}$

${\textstyle \gamma ^{t}\left(R_{t}+\gamma R_{t+1}+\gamma ^{2}V^{\pi _{\theta }}(S_{t+2})-V^{\pi _{\theta }}(S_{t})\right)}$ : 2段階TD学習。
${\textstyle \gamma ^{t}\left(\sum _{k=0}^{n-1}\gamma ^{k}R_{t+k}+\gamma ^{n}V^{\pi _{\theta }}(S_{t+n})-V^{\pi _{\theta }}(S_{t})\right)}$ : nステップTD学習。
${\textstyle \gamma ^{t}\sum _{n=1}^{\infty }{\frac {\lambda ^{n-1}}{1-\lambda }}\cdot \left(\sum _{k=0}^{n-1}\gamma ^{k}R_{t+k}+\gamma ^{n}V^{\pi _{\theta }}(S_{t+n})-V^{\pi _{\theta }}(S_{t})\right)}$ : TD(λ)学習、 GAE(一般化利点推定)とも呼ばれる。^[4]これはn段階のTD学習の指数関数的に減少する和によって得られる。

自然な政策勾配

自然ポリシー勾配法は、 2001年にシャム・カカデによって提案されたポリシー勾配法の変形です。^[5]パラメータの選択に依存する標準的なポリシー勾配法（更新を座標依存にする）とは異なり、自然ポリシー勾配は、幾何学的に「自然」な座標フリーの更新を提供することを目的とします。 $\theta$

モチベーション

標準的な方策勾配更新は、制約付き最適化問題を解きます。目的関数（線形化改善）は幾何学的に意味を持ちますが、ユークリッド制約は座標依存性をもたらします。これに対処するため、自然な方策勾配は、ユークリッド制約をカルバック・ライブラー・ダイバージェンス（KL）制約に置き換えます。ここで、2つの方策間のKLダイバージェンスは、方策における状態分布にわたって平均化されます。つまり、これにより、更新は可逆なアフィンパラメータ変換に対して不変であることが保証されます。 $\theta _{i+1}=\theta _{i}+\alpha \nabla _{\theta }J(\theta _{i})$ ${\begin{cases}\max _{\theta _{i+1}}J(\theta _{i})+(\theta _{i+1}-\theta _{i})^{T}\nabla _{\theta }J(\theta _{i})\\\|\theta _{i+1}-\theta _{i}\|\leq \alpha \cdot \|\nabla _{\theta }J(\theta _{i})\|\end{cases}}$ $\|\theta _{i+1}-\theta _{i}\|$ ${\begin{cases}\max _{\theta _{i+1}}J(\theta _{i})+(\theta _{i+1}-\theta _{i})^{T}\nabla _{\theta }J(\theta _{i})\\{\bar {D}}_{KL}(\pi _{\theta _{i+1}}\|\pi _{\theta _{i}})\leq \epsilon \end{cases}}$ $\pi _{\theta _{i}}$ ${\bar {D}}_{KL}(\pi _{\theta _{i+1}}\|\pi _{\theta _{i}}):=\mathbb {E} _{s\sim \pi _{\theta _{i}}}[D_{KL}(\pi _{\theta _{i+1}}(\cdot |s)\|\pi _{\theta _{i}}(\cdot |s))]$

フィッシャー情報近似

が小さい場合、KL ダイバージェンスはフィッシャー情報メトリックによって近似されます。ここで、はポリシーのフィッシャー情報行列で、次のように定義されます。これにより、問題が二次計画法の問題に変換され、自然なポリシー勾配更新が生成されます。ステップサイズは通常、という KL 制約を維持するように調整されます。 $\epsilon$ ${\bar {D}}_{KL}(\pi _{\theta _{i+1}}\|\pi _{\theta _{i}})\approx {\frac {1}{2}}(\theta _{i+1}-\theta _{i})^{T}F(\theta _{i})(\theta _{i+1}-\theta _{i})$ $F(\theta )$ $F(\theta )=\mathbb {E} _{s,a\sim \pi _{\theta }}\left[\nabla _{\theta }\ln \pi _{\theta }(a|s)\left(\nabla _{\theta }\ln \pi _{\theta }(a|s)\right)^{T}\right]$ $\theta _{i+1}=\theta _{i}+\alpha F(\theta _{i})^{-1}\nabla _{\theta }J(\theta _{i})$ $\alpha$ ${\textstyle \alpha \approx {\sqrt {\frac {2\epsilon }{(\nabla _{\theta }J(\theta _{i}))^{T}F(\theta _{i})^{-1}\nabla _{\theta }J(\theta _{i})}}}}$

逆行列演算は、特に高次元パラメータ（ニューラルネットワークなど）の場合、計算負荷が高くなります。実用的な実装では、近似値が用いられることが多いです。 $F(\theta )$

信頼領域ポリシー最適化 (TRPO)

信頼領域ポリシー最適化（TRPO）は、ポリシー更新に信頼領域制約を適用することで、自然なポリシー勾配アプローチを拡張したポリシー勾配法です。 ^[6] 2015年にSchulmanらによって開発されたTRPOは、自然なポリシー勾配法を改良したものです。

自然勾配降下法は、目的関数が真の二次関数である場合、理論的には最適ですが、これはあくまで近似値に過ぎません。TRPOの直線探索法とKL制約は、この近似値が崩れない「信頼領域」内に解を限定しようとします。これにより、TRPOは実用上、より堅牢になります。

処方

自然なポリシー勾配と同様に、TRPOは、座標フリーで指定された制約付き最適化問題を解くことによって、ポリシーパラメータを反復的に更新します。ここで $\theta$ ${\begin{cases}\max _{\theta }L(\theta ,\theta _{i})\\{\bar {D}}_{KL}(\pi _{\theta }\|\pi _{\theta _{i}})\leq \epsilon \end{cases}}$

$L(\theta ,\theta _{i})=\mathbb {E} _{s,a\sim \pi _{\theta _{i}}}\left[{\frac {\pi _{\theta }(a|s)}{\pi _{\theta _{i}}(a|s)}}A^{\pi _{\theta _{i}}}(s,a)\right]$ は、古いポリシーと比較したのパフォーマンスを測定する代替の利点です。 $\pi _{\theta }$ $\pi _{\theta _{i}}$
$\epsilon$ 信頼領域の半径です。

一般に、他の代替的な利点も可能であることに注意してください。ここでは、前述のタイプの任意の線形和です。実際、OpenAIは単純な利点ではなく、一般化利点推定を使用することを推奨しています。 $L(\theta ,\theta _{i})=\mathbb {E} _{s,a\sim \pi _{\theta _{i}}}\left[{\frac {\pi _{\theta }(a|s)}{\pi _{\theta _{i}}(a|s)}}\Psi ^{\pi _{\theta _{i}}}(s,a)\right]$ $\Psi$ $A^{\pi _{\theta }}$

代理アドバンテージは、政策勾配と一致するように設計されています。具体的には、のとき、はアドバンテージ関数から導出される政策勾配と等しくなります。しかし、のとき、これは必ずしも真ではありません。したがって、これは真の目的関数の「代理」です。 $L(\theta ,\theta _{t})$ $\nabla _{\theta }J(\theta )$ $\theta =\theta _{t}$ $\nabla _{\theta }L(\theta ,\theta _{t})$ $\nabla _{\theta }J(\theta )=\mathbb {E} _{(s,a)\sim \pi _{\theta }}\left[\nabla _{\theta }\ln \pi _{\theta }(a|s)\cdot A^{\pi _{\theta }}(s,a)\right]=\nabla _{\theta }L(\theta ,\theta _{t})$ $\theta \neq \theta _{i}$

自然なポリシー勾配と同様に、小さなポリシー更新の場合、TRPO はの周りのテイラー展開を使用して代理利点と KL ダイバージェンスを近似します。ここで、 $\theta _{t}$ ${\begin{aligned}L(\theta ,\theta _{i})&\approx g^{T}(\theta -\theta _{i}),\\{\bar {D}}_{\text{KL}}(\pi _{\theta }\|\pi _{\theta _{i}})&\approx {\frac {1}{2}}(\theta -\theta _{i})^{T}H(\theta -\theta _{i}),\end{aligned}}$

$g=\nabla _{\theta }L(\theta ,\theta _{i}){\big |}_{\theta =\theta _{i}}$ ポリシー勾配です。
$F=\nabla _{\theta }^{2}{\bar {D}}_{\text{KL}}(\pi _{\theta }\|\pi _{\theta _{i}}){\big |}_{\theta =\theta _{i}}$ フィッシャー情報行列です。

これにより問題は二次最適化に帰着し、自然方策勾配更新が得られる。ここまでは、これは本質的に自然勾配法と同じである。しかし、TRPOは2つの変更を加えることでこれを改善している。 $\theta _{i+1}=\theta _{i}+{\sqrt {\frac {2\epsilon }{g^{T}F^{-1}g}}}F^{-1}g.$

明示的な逆行列計算を行わずに、共役勾配法を使用して反復的に解きます。 $x$ $Fx=g$
信頼領域制約が満たされていることを確認するために、バックトラッキング直線探索法を用いる。具体的には、ステップサイズをバックトラックすることで、KL制約と方策の改善を保証する。つまり、 KL制約を満たし、かつより高いが得られる解が見つかるまで、以下の各テスト解をテストする。ここで、はバックトラッキング係数である。 $\theta _{i+1}=\theta _{i}+{\sqrt {\frac {2\epsilon }{x^{T}Fx}}}x,\;\theta _{i}+\alpha {\sqrt {\frac {2\epsilon }{x^{T}Fx}}}x,\;\theta _{i}+\alpha ^{2}{\sqrt {\frac {2\epsilon }{x^{T}Fx}}}x,\;\dots$ ${\bar {D}}_{KL}(\pi _{\theta _{i+1}}\|\pi _{\theta _{i}})\leq \epsilon$ $L(\theta _{i+1},\theta _{i})\geq L(\theta _{i},\theta _{i})$ $\alpha \in (0,1)$

近似ポリシー最適化（PPO）

さらなる改善は近似ポリシー最適化（PPO）であり、これは計算を回避し、クリップされた確率比を使用した一次近似を介して行われます。^[7] $F(\theta )$ $F(\theta )^{-1}$

具体的には、KL ダイバージェンス制約の下で代理利点を最大化するのではなく、制約を代理利点に直接挿入します。そして、PPO は、通常どおり、確率的勾配降下法によって代理利点を最大化します。 $\max _{\theta }L(\theta ,\theta _{t})=\mathbb {E} _{s,a\sim \pi _{\theta _{t}}}\left[{\frac {\pi _{\theta }(a|s)}{\pi _{\theta _{t}}(a|s)}}A^{\pi _{\theta _{t}}}(s,a)\right]$ $\max _{\theta }\mathbb {E} _{s,a\sim \pi _{\theta _{t}}}\left[{\begin{cases}\min \left({\frac {\pi _{\theta }(a|s)}{\pi _{\theta _{t}}(a|s)}},1+\epsilon \right)A^{\pi _{\theta _{t}}}(s,a)&{\text{ if }}A^{\pi _{\theta _{t}}}(s,a)>0\\\max \left({\frac {\pi _{\theta }(a|s)}{\pi _{\theta _{t}}(a|s)}},1-\epsilon \right)A^{\pi _{\theta _{t}}}(s,a)&{\text{ if }}A^{\pi _{\theta _{t}}}(s,a)<0\end{cases}}\right]$

言い換えれば、新しい代理アドバンテージ関数の勾配上昇とは、ある状態において、アドバンテージが正の場合、つまりの場合、勾配は状態におけるアクション実行の確率を高める方向に向くべきであることを意味します。しかし、が大きく変化してになった場合、勾配はその方向への向きを止めるべきです。の場合も同様です。このように、PPO はパラメータ更新を過度に強くプッシュすることを避け、ポリシーを過度に変更することを避けます。 $s,a$ $A^{\pi _{\theta _{t}}}(s,a)>0$ $\theta$ $a$ $s$ $\theta$ $\pi _{\theta }(a|s)\geq (1+\epsilon )\pi _{\theta _{t}}(a|s)$ $A^{\pi _{\theta _{t}}}(s,a)<0$

より正確に言うと、をに更新するには、同じデータバッチに対して複数の更新ステップが必要です。を初期化し、代理変数の優位性が安定するまで、勾配降下法（ Adam最適化器など）を繰り返し適用して更新します。その後、をに代入し、これを繰り返します。 $\theta _{t}$ $\theta _{t+1}$ $\theta =\theta _{t}$ $\theta$ $\theta _{t+1}$ $\theta$

この内部ループ中、への最初の更新は境界に達しませんが、がからどんどん離れて更新されるにつれて、最終的に境界に達し始めます。境界に達するたびに、対応する勾配はゼロになるため、PPO はからあまりに離れた更新を回避します。 $\theta$ $1-\epsilon ,1+\epsilon$ $\theta$ $\theta _{t}$ $\theta$ $\theta _{t}$

これは重要です。なぜなら、代理損失は、エージェントが方策を実行した場合に状態と行動のペアがどのようなものになるかをサンプリングすると仮定しているからです。しかし、方策勾配は方策に則っていなければなりません。したがって、が変化するにつれて、代理損失はますます方策から外れていきます。これが、をに近接させることが不可欠な理由です。 $s,a$ $\pi _{\theta _{t}}$ $\theta$ $\theta$ $\theta _{t}$

学習済みポリシーが参照ポリシーから大きく乖離してはならない場合、KLダイバージェンスペナルティを追加することができます。ここで、はペナルティの強度を調整します。これは、人間のフィードバックからの強化学習を用いた推論言語モデルの学習に使用されています。^[8] KLダイバージェンスペナルティ項は、同等の形式を用いて、より低い分散で推定できます（詳細はfダイバージェンスを参照）。 ^[9] $\pi _{\text{ref}}$ $-\beta \mathbb {E} _{s,a\sim \pi _{\theta _{t}}}\left[\log \left({\frac {\pi _{\theta }(a|s)}{\pi _{\text{ref}}(a|s)}}\right)\right]$ $\beta$ $-\beta \mathbb {E} _{s,a\sim \pi _{\theta _{t}}}\left[\log \left({\frac {\pi _{\theta }(a|s)}{\pi _{\text{ref}}(a|s)}}\right)+{\frac {\pi _{\text{ref}}(a|s)}{\pi _{\theta }(a|s)}}-1\right]$

グループ相対ポリシー最適化（GRPO）

グループ相対方策最適化（GRPO）は、PPOのマイナーバリアントであり、価値関数推定器を省略しています。代わりに、各状態に対して、方策から複数の行動をサンプリングし、グループ相対的優位性^[9]を計算します。ここで、はの平均と標準偏差です。つまり、は報酬の標準スコアです。 $V$ $s$ $a_{1},\dots ,a_{G}$ $\pi _{\theta _{t}}$ $A^{\pi _{\theta _{t}}}(s,a_{j})={\frac {r(s,a_{j})-\mu }{\sigma }}$ $\mu ,\sigma$ $r(s,a_{1}),\dots ,r(s,a_{G})$

次に、すべてのアクションの平均である PPO 目標を最大化します。直感的に、GRPO の各ポリシー更新ステップにより、ポリシーは各状態に対して、その状態で試行された他のアクションよりも比較的パフォーマンスの優れたアクションで応答する可能性が高くなり、比較的パフォーマンスの低いアクションで応答する可能性が低くなります。 $\max _{\theta }{\frac {1}{G}}\sum _{i=1}^{G}\mathbb {E} _{(s,a_{1},\dots ,a_{G})\sim \pi _{\theta _{t}}}\left[{\begin{cases}\min \left({\frac {\pi _{\theta }(a_{i}|s)}{\pi _{\theta _{t}}(a_{i}|s)}},1+\epsilon \right)A^{\pi _{\theta _{t}}}(s,a_{i})&{\text{ if }}A^{\pi _{\theta _{t}}}(s,a_{i})>0\\\max \left({\frac {\pi _{\theta }(a_{i}|s)}{\pi _{\theta _{t}}(a_{i}|s)}},1-\epsilon \right)A^{\pi _{\theta _{t}}}(s,a_{i})&{\text{ if }}A^{\pi _{\theta _{t}}}(s,a_{i})<0\end{cases}}\right]$

これまでと同様に、KLペナルティ項を適用することで、学習済みポリシーが参照ポリシーに近づくように促すことができます。GRPOは、DeepSeekの研究者によって推論言語モデルの学習という文脈で初めて提案されました。^[9]

政策最適化とミラー降下観点（MDPO）

TRPO、PPO、自然ポリシー勾配などの方法は共通の考え方を持っています。つまり、ポリシーはポリシー勾配の方向に更新される必要がありますが、更新は安全かつ安定した方法で実行する必要があります。通常は、更新前のポリシーに対して一定の距離で測定されます。

更新安定性に関する同様の概念は、ミラー降下法のような近似凸最適化手法にも見られます。^[10]そこでは、何らかの制約セットにおけるの提案された最小化器は、何らかのブレグマンダイバージェンスによって測定された現在のに対する近接ペナルティを伴い、勾配の方向に反復的に更新されます。これは、次の式で形式化できます。ここで、は、勾配降下法における学習率と同様に、連続する反復間の近接性を制御します。 ${\textstyle \mathbf {x} }$ ${\textstyle f}$ ${\textstyle {\mathcal {C}}}$ ${\textstyle \nabla f}$ ${\textstyle \mathbf {x} _{t}}$ ${\textstyle B_{\omega }}$ $\mathbf {x} _{t+1}\in \arg \min _{\mathbf {x} \in {\mathcal {C}}}\nabla f(\mathbf {x} _{t})^{T}(\mathbf {x} -\mathbf {x} _{t})+{\frac {1}{\eta _{t}}}B_{\omega }(x,x_{t}),$ ${\textstyle \eta _{t}}$

このことから、ポリシー更新手順は、基盤となるマルコフ決定プロセス(MDP)の (非凸) 最適化ランドスケープで最適なポリシーを見つけることを目的とした最適化手順として再考されることになります。ポリシー勾配を使用するこの最適化の観点は、ミラー降下ポリシー最適化 (MDPO) と呼ばれ、^[11]^[12] KL が選択されたブレグマンダイバージェンスである場合に次の更新が導かれます。パラメーター化されたポリシーでは、MDPO 損失は次のようになります。この目的は、PPO で行われるクリッピングなどの他の一般的な手法と併用できます。実際、KL ダイバージェンスのペナルティは元の PPO 論文にも登場し、^[7]多くの同時ポリシー勾配手法の背後にある主要な導出概念の理論的統一として MDPO の観点を示唆しています。 $\pi _{t+1}\in \arg \max _{\pi }\mathbb {E} _{s,a\sim \pi }\left[A^{\pi _{t}}(s,a)\right]+{\frac {1}{\eta _{t}}}D_{KL}(\pi ||\pi _{t})$ ${\textstyle \pi _{\theta }}$ $\max _{\theta }L(\theta ,\theta _{t})=\mathbb {E} _{s,a\sim \pi _{\theta _{t}}}\left[{\frac {\pi _{\theta }(a|s)}{\pi _{\theta _{t}}(a|s)}}A^{\pi _{\theta _{t}}}(s,a)\right]+{\frac {1}{\eta _{t}}}D_{KL}(\pi _{\theta }||\pi _{\theta _{t}})$

参照

参考文献

^ ab Sutton, Richard S; McAllester, David; Singh, Satinder; Mansour, Yishay (1999). 「関数近似を用いた強化学習のための方策勾配法」.ニューラル情報処理システムの進歩. 12. MITプレス.
^ Mohamed, Shakir; Rosca, Mihaela; Figurnov, Michael; Mnih, Andriy (2020). 「機械学習におけるモンテカルロ勾配推定」. Journal of Machine Learning Research . 21 (132): 1– 62. arXiv : 1906.10652 . ISSN 1533-7928.
^ Williams, Ronald J. (1992年5月). 「コネクショニスト強化学習のための単純な統計的勾配追従アルゴリズム」.機械学習. 8 ( 3–4 ): 229–256 . doi :10.1007/BF00992696. ISSN 0885-6125.
^ Schulman, John; Moritz, Philipp; Levine, Sergey; Jordan, Michael; Abbeel, Pieter (2018-10-20). 「一般化アドバンテージ推定を用いた高次元連続制御」. arXiv : 1506.02438 [cs.LG].
^ Kakade, Sham M (2001). 「自然なポリシー勾配」.ニューラル情報処理システムの進歩. 14. MITプレス.
^ Schulman, John; Levine, Sergey; Moritz, Philipp; Jordan, Michael; Abbeel, Pieter (2015-07-06). 「信頼領域ポリシー最適化」. Proceedings of the 32nd International Conference on Machine Learning - Volume 37. ICML'15. リール（フランス）: JMLR.org: 1889– 1897.
^ ab Schulman, John; Wolski, Filip; Dhariwal, Prafulla; Radford, Alec; Klimov, Oleg (2017-08-28). 「近似ポリシー最適化アルゴリズム」. arXiv : 1707.06347 [cs.LG].
^ Nisan Stiennon、Long Ouyang、Jeffrey Wu、Daniel Ziegler、Ryan Lowe、Chelsea Voss、Alec Radford、Dario Amodei、Paul F. Christiano (2020). 「人間のフィードバックによる要約の学習」。Advances in Neural Information Processing Systems、33ページ。
^ abc シャオ、ジホン;ワン・ペイイー。朱、チーハオ。徐、潤新。ソン・ジュンシャオ。ビー、シャオ。チャン・ハオウェイ。チャン・ミンチュアン；李、YK (2024-04-27)。「DeepSeekMath: オープン言語モデルにおける数学的推論の限界を押し上げる」。arXiv : 2402.03300 [cs.CL]。
^ Arkadi Nemirovsky、David Yudin. 最適化における問題の複雑性と手法の効率性. John Wiley & Sons, 1983.
^ Shani, Lior; Efroni, Yonathan; Mannor, Shie (2020-04-03). 「適応型信頼領域ポリシー最適化：正規化MDPのグローバル収束と高速化」. AAAI人工知能会議議事録. 34 (04): 5668– 5675. arXiv : 1909.02769 . doi :10.1609/aaai.v34i04.6021. ISSN 2374-3468.
^ トマール、マナン;シャニ、リオール。エフローニ、ヨナサン。ガヴァムザデ、モハマド（2020-05-20）。「ミラー降下ポリシーの最適化」。arXiv.org 。2025 年 11 月 11 日に取得。

サットン, リチャード・S.; バート, アンドリュー・G. (2018).強化学習：入門. 適応計算と機械学習シリーズ（第2版）. マサチューセッツ州ケンブリッジ: MIT出版. ISBN 978-0-262-03924-6。
Bertsekas, Dimitri P. (2019). 『強化学習と最適制御』（第2版）. マサチューセッツ州ベルモント: Athena Scientific. ISBN 978-1-886529-39-7。
Grossi, Csaba (2010).強化学習アルゴリズム. 人工知能と機械学習に関する統合講義（第1版）. シュプリンガー・インターナショナル・パブリッシング. ISBN 978-3-031-00423-0。
Mohamed, Shakir; Rosca, Mihaela; Figurnov, Michael; Mnih, Andriy (2020). 「機械学習におけるモンテカルロ勾配推定」. Journal of Machine Learning Research . 21 (132): 1– 62. arXiv : 1906.10652 . ISSN 1533-7928.

外部リンク

Weng, Lilian (2018-04-08). 「ポリシー勾配アルゴリズム」lilianweng.github.io . 2025年1月25日閲覧。
「Vanilla Policy Gradient — Spinning Upドキュメント」。spinningup.openai.com 。 2025年1月25日閲覧。

[suttonetal-1] Sutton, Richard S; McAllester, David; Singh, Satinder; Mansour, Yishay (1999). 「関数近似を用いた強化学習のための方策勾配法」.ニューラル情報処理システムの進歩. 12. MITプレス.

[2] Mohamed, Shakir; Rosca, Mihaela; Figurnov, Michael; Mnih, Andriy (2020). 「機械学習におけるモンテカルロ勾配推定」. Journal of Machine Learning Research . 21 (132): 1– 62. arXiv : 1906.10652 . ISSN 1533-7928.

[3] Williams, Ronald J. (1992年5月). 「コネクショニスト強化学習のための単純な統計的勾配追従アルゴリズム」.機械学習. 8 ( 3–4 ): 229–256 . doi :10.1007/BF00992696. ISSN 0885-6125.

[4] Schulman, John; Moritz, Philipp; Levine, Sergey; Jordan, Michael; Abbeel, Pieter (2018-10-20). 「一般化アドバンテージ推定を用いた高次元連続制御」. arXiv : 1506.02438 [cs.LG].

[5] Kakade, Sham M (2001). 「自然なポリシー勾配」.ニューラル情報処理システムの進歩. 14. MITプレス.

[:3-6] Schulman, John; Levine, Sergey; Moritz, Philipp; Jordan, Michael; Abbeel, Pieter (2015-07-06). 「信頼領域ポリシー最適化」. Proceedings of the 32nd International Conference on Machine Learning - Volume 37. ICML'15. リール（フランス）: JMLR.org: 1889– 1897.

[:0-7] Schulman, John; Wolski, Filip; Dhariwal, Prafulla; Radford, Alec; Klimov, Oleg (2017-08-28). 「近似ポリシー最適化アルゴリズム」. arXiv : 1707.06347 [cs.LG].

[summarizationpaper-8] Nisan Stiennon、Long Ouyang、Jeffrey Wu、Daniel Ziegler、Ryan Lowe、Chelsea Voss、Alec Radford、Dario Amodei、Paul F. Christiano (2020). 「人間のフィードバックによる要約の学習」。Advances in Neural Information Processing Systems、33ページ。

[:1-9] シャオ、ジホン;ワン・ペイイー。朱、チーハオ。徐、潤新。ソン・ジュンシャオ。ビー、シャオ。チャン・ハオウェイ。チャン・ミンチュアン；李、YK (2024-04-27)。「DeepSeekMath: オープン言語モデルにおける数学的推論の限界を押し上げる」。arXiv : 2402.03300 [cs.CL]。

[10] Arkadi Nemirovsky、David Yudin. 最適化における問題の複雑性と手法の効率性. John Wiley & Sons, 1983.

[11] Shani, Lior; Efroni, Yonathan; Mannor, Shie (2020-04-03). 「適応型信頼領域ポリシー最適化：正規化MDPのグローバル収束と高速化」. AAAI人工知能会議議事録. 34 (04): 5668– 5675. arXiv : 1909.02769 . doi :10.1609/aaai.v34i04.6021. ISSN 2374-3468.

[12] トマール、マナン;シャニ、リオール。エフローニ、ヨナサン。ガヴァムザデ、モハマド（2020-05-20）。「ミラー降下ポリシーの最適化」。arXiv.org 。2025 年 11 月 11 日に取得。