モデルフリー強化学習アルゴリズム

Q学習は、環境モデルを必要とせず（モデルフリー）、エージェントが現在の状態に基づいて可能な行動に値を割り当てるように訓練する強化学習アルゴリズムです。適応を必要とせずに、確率的な遷移と報酬の問題を処理できます^{。 [ 1 ]}

例えば、グリッド迷路において、エージェントは10ポイントの出口に到達することを学習します。交差点では、Q学習は右の方が出口に早く到達する場合、左よりも右への移動に高い価値を割り当て、時間の経過とともに両方向を試すことで、この選択を改善します。

任意の有限マルコフ決定プロセスに対して、Q学習は現在の状態から始めて、すべての連続するステップにわたって総報酬の期待値を最大化するという意味で最適なポリシーを見つけます。^{[ 2 ]} Q学習は、無限の探索時間と部分的にランダムなポリシーが与えられた場合、任意の有限マルコフ決定プロセスに対して最適な行動選択ポリシーを識別できます。^{[ 2 ]}

「Q」はアルゴリズムが計算する関数、つまり特定の状態で行われた行動の期待報酬、つまり質を指します。 ^{[ 3 ]}

強化学習

[編集]

主要記事:強化学習

強化学習には、エージェント、状態 集合、そして状態ごとのアクション集合が含まれます。アクションを実行することで、エージェントは状態から状態へと遷移します。特定の状態においてアクションを実行すると、エージェントに報酬（数値スコア）が与えられます。 ${\displaystyle {\mathcal {S}}}$ ${\displaystyle {\mathcal {A}}}$ ${\displaystyle a\in {\mathcal {A}}}$

エージェントの目標は、総報酬を最大化することです。これは、将来の状態から得られる最大の報酬を現在の状態を達成するための報酬に加えることで実現され、潜在的な将来の報酬によって現在の行動に効果的に影響を与えます。この潜在的な報酬は、現在の状態から始まるすべての将来のステップの報酬の期待値の加重和です。 ^{[ 1 ]}

例として、電車に乗るプロセスを考えてみましょう。このプロセスでは、報酬は乗車に費やした総時間のマイナスで測られます（あるいは、乗車にかかるコストは乗車時間に等しいとします）。一つの戦略は、電車のドアが開いたらすぐに入り、最初の待ち時間を最小限に抑えることです。しかし、電車が混雑している場合、ドアに入るという最初の行動の後、乗車しようとすると、人々が降車しようと押し合いへし合いをするため、乗車に時間がかかります。この場合、総乗車時間、つまりコストは次のようになります。

• 待機時間0秒 + 戦闘時間15秒

翌日、ランダムな偶然（探索）により、あなたは待機して他の人が先に出発するのを待つことにしました。これにより、当初は待ち時間が長くなりますが、出発する乗客とのやり取りに費やす時間は短縮されます。全体として、この経路は前日よりも報酬が高く、搭乗時間は以下のようになります。

• 待機時間5秒 + 戦闘時間0秒

探索を通じて、最初の（忍耐強い）行動は強制的な戦略よりも大きなコスト（またはマイナスの報酬）をもたらすにもかかわらず、全体的なコストは低くなり、より報酬の高い戦略が明らかになります。

アルゴリズム

[編集]

状態と行動をマッピングするQ学習テーブル。最初はゼロで埋められ、トレーニングを通じて反復的に更新される。

未来へステップを踏んだ後、エージェントは次のステップを決定します。このステップの重みは として計算されます。ここで、（割引係数）は0から1（ ）の間の数値です。 と仮定すると、これは先に受け取った報酬を後に受け取った報酬よりも高く評価する効果があります（「良いスタート」の価値を反映しています）。 は、各ステップ で成功（または生存）する確率として解釈することもできます。 ${\displaystyle \Delta t}$ ${\displaystyle \gamma ^{\Delta t}}$ ${\displaystyle \gamma }$ ${\displaystyle 0\leq \gamma \leq 1}$ ${\displaystyle \gamma <1}$ ${\displaystyle \gamma }$ ${\displaystyle \Delta t}$

したがって、このアルゴリズムには、状態とアクションの組み合わせの品質を計算する関数があります。

${\displaystyle Q:{\mathcal {S}}\times {\mathcal {A}}\to \mathbb {R} }$。

学習が始まる前に、⁠ ⁠ は ${\displaystyle Q}$（プログラマが選択した）任意の固定値に初期化されます。その後、エージェントが行動を選択するたびに、報酬を観測し、新しい状態（前の状態と選択された行動の両方に依存する可能性があります）に入り、更新されます。アルゴリズムの中核は、現在の値と新しい情報の加重平均を用いた単純な値反復更新であるベルマン方程式です。 ^{[ 4 ]} ${\displaystyle t}$ ${\displaystyle A_{t}}$ ${\displaystyle R_{t+1}}$ ${\displaystyle S_{t+1}}$ ${\displaystyle S_{t}}$ ${\displaystyle Q}$

${\displaystyle Q^{new}(S_{t},A_{t})\leftarrow (1-\underbrace {\alpha } _{\text{learning rate}})\cdot \underbrace {Q(S_{t},A_{t})} _{\text{current value}}+\underbrace {\alpha } _{\text{learning rate}}\cdot {\bigg (}\underbrace {\underbrace {R_{t+1}} _{\text{reward}}+\underbrace {\gamma } _{\text{discount factor}}\cdot \underbrace {\max _{a}Q(S_{t+1},a)} _{\text{estimate of optimal future value}}} _{\text{new value (temporal difference target)}}{\bigg )}}$

ここで、 は状態 から状態 に移行するときに受け取る報酬であり、は学習率です。 ${\displaystyle R_{t+1}}$ ${\displaystyle S_{t}}$ ${\displaystyle S_{t+1}}$ ${\displaystyle \alpha }$ ${\displaystyle (0<\alpha \leq 1)}$

3 つの項の合計であることに注意してください。 ${\displaystyle Q^{new}(S_{t},A_{t})}$

• ${\displaystyle (1-\alpha )Q(S_{t},A_{t})}$: 現在の値（学習率を1から引いた重み付け）
• ${\displaystyle \alpha \,R_{t+1}}$:状態にあるときにアクションをとった場合に得られる報酬（学習率によって重み付けされる） ${\displaystyle R_{t+1}}$ ${\displaystyle A_{t}}$ ${\displaystyle S_{t}}$
• ${\displaystyle \alpha \gamma \max _{a}Q(S_{t+1},a)}$: 状態から得られる最大報酬（学習率と割引率によって重み付けされる） ${\displaystyle S_{t+1}}$

アルゴリズムのエピソードは、状態が最終状態または終端状態になった時点で終了します。ただし、Q学習は非エピソード的なタスクでも学習できます（収束無限級数の性質による）。割引率が1未満の場合、問題に無限ループや無限パスが含まれる場合でも、アクション値は有限です。 ${\displaystyle S_{t+1}}$

すべての最終状態 において、は更新されず、状態 で観測された報酬値に設定されます。ほとんどの場合、はゼロに等しくなります。 ${\displaystyle s_{f}}$ ${\displaystyle Q(s_{f},a)}$ ${\displaystyle r}$ ${\displaystyle s_{f}}$ ${\displaystyle Q(s_{f},a)}$

変数の影響

[編集]

学習率

[編集]

学習率またはステップサイズは、新たに獲得した情報がどの程度古い情報を上書きするかを決定します。係数が0の場合、エージェントは何も学習しません（事前知識のみを活用します）。一方、係数が1の場合、エージェントは最新の情報のみを考慮します（可能性を探索するために事前知識を無視します）。完全に決定論的な環境では、学習率は が最適です。問題が確率的である場合、アルゴリズムはいくつかの技術的条件下で、学習率がゼロに減少することを要求する に収束します。実際には、すべての に対してのように、一定の学習率が使用されることがよくあります。^{[ 5 ]} ${\displaystyle \alpha _{t}=1}$ ${\displaystyle \alpha _{t}=0.1}$ ${\displaystyle t}$

割引率

[編集]

割引係数⁠ ⁠ ${\displaystyle \gamma }$は将来の報酬の重要性を決定します。係数が0の場合、エージェントは現在の報酬のみを考慮するため「近視眼的」（つまり近視眼的）になります（つまり（上記の更新規則において）。一方、係数が1に近づくと、長期的に高い報酬を目指すようになります。割引係数が1以上になると、行動の価値は発散する可能性があります。⁠ ⁠の場合、終端状態がない場合、またはエージェントが終端状態に到達しない場合、すべての環境履歴は無限長になり、加算的で割引されていない報酬を持つ効用は一般的に無限大になります。^{[ 6 ]}割引係数が1よりわずかに低い場合でも、価値関数を人工ニューラルネットワークで近似すると、 Q関数学習はエラーの伝播と不安定性につながります。^{[ 7 ]}その場合、低い割引係数から始めて最終値に向かって増加させることで学習が加速されます。^{[ 8 ]} ${\displaystyle r_{t}}$ ${\displaystyle \gamma =1}$

初期条件（Q ₀）

[編集]

Q学習は反復アルゴリズムであるため、最初の更新が行われる前に暗黙的に初期条件を仮定します。「楽観的初期条件」とも呼ばれる高い初期値^{[ 9 ]}は、探索を促進する可能性があります。つまり、どの行動が選択されても、更新規則によって他の選択肢よりも低い値が設定され、選択確率が高まります。最初の報酬は初期条件をリセットするために使用できます。^{[ 10 ]}この考え方によれば、行動が最初に実行される際に、報酬が の値を設定するために使用されます。これにより、固定された決定論的報酬の場合に即時学習が可能になります。初期条件のリセット（RIC）を組み込んだモデルは、任意の初期条件（AIC）を仮定するモデルよりも、参加者の行動をより正確に予測することが期待されます。^{[ 10 ]} RICは、反復的な二者択一実験において人間の行動と一致しているようです。^{[ 10 ]} ${\displaystyle r}$ ${\displaystyle Q}$

実装

[編集]

Q学習は、最も単純な形ではデータをテーブルに保存します。このアプローチは、状態/行動の数が増えるにつれて、エージェントが特定の状態を訪れ、特定の行動を実行する確率が小さくなるため、うまく機能しなくなります。

関数近似

[編集]

Q学習は関数近似と組み合わせることができる。^{[ 11 ]}これにより、状態空間が連続している場合でも、より大きな問題にアルゴリズムを適用することができる。

一つの解決策は、（適応型）人工ニューラルネットワークを関数近似器として用いることである^{[ 12 ]} 。もう一つの可能​​性は、ファジールール補間（FRI）を統合し、離散QテーブルやANNの代わりにスパースファジールールベース^{[ 13 ]}を用いることである。これは人間が読みやすい知識表現形式であるという利点がある。関数近似は、アルゴリズムが過去の経験を未知状態へと一般化できるため、有限問題における学習を高速化できる可能性がある。

量子化

[編集]

状態/行動空間を縮小するもう一つの手法は、可能な値を量子化することである。棒を指の上でバランスをとることを学習する例を考えてみよう。ある時点における状態を記述するには、空間における指の位置、速度、棒の角度、棒の角速度が必要となる。これにより、1つの状態を記述する4要素ベクトル、つまり4つの値にエンコードされた1つの状態のスナップショットが得られる。問題は、可能な状態が無限に存在することである。有効な行動の可能な空間を縮小するために、複数の値をバケットに割り当てることができる。開始位置からの指の正確な距離（-無限大から無限大）は分からず、指が遠いか遠いか（近いか遠いか）は分からない。^{[ 14 ]}

歴史

[編集]

Q学習は1989年にクリス・ワトキンスによって導入されました。^{[ 15 ]}収束性の証明は1992年にワトキンスとピーター・ダヤンによって発表されました。 ^{[ 16 ]}これはワトキンスの博士論文「遅延報酬からの学習」に基づいています。8年前の1981年には、同じ問題が「遅延強化学習」という名前で、ボジノフスキーのクロスバー・アダプティブ・アレイ（CAA）によって解決されました。^{[ 17 ] [ 18 ]}メモリマトリックスは、8年後のQ学習のQテーブルと同じでした。このアーキテクチャは、強化学習に「状態評価」という用語を導入しました。論文では 数学的な擬似コードで記述されているクロスバー学習アルゴリズムは、各反復で以下の計算を実行します。 ${\displaystyle W=\|w(a,s)\|}$

• 状態sでアクションaを実行します。
• 結果状態s'を受信します。
• 状態評価を計算します⁠ ⁠ ${\displaystyle v(s')}$ ;
• クロスバー値を更新します。 ${\displaystyle w'(a,s)=w(a,s)+v(s')}$

「二次強化」という用語は動物学習理論から借用されたもので、バックプロパゲーションによって状態値をモデル化するために用いられます。つまり、 ${\displaystyle v(s')}$結果状況の状態値は、以前に遭遇した状況にバックプロパゲーションされます。CAAは状態値を垂直方向に、行動を水平方向（「クロスバー」）に計算します。遅延強化学習を示すデモンストレーショングラフには、状態評価関数によって計算された状態（望ましい状態、望ましくない状態、中立状態）が含まれていました。この学習システムはQ学習アルゴリズムの先駆けでした。^{[ 19 ]}

2014年にGoogle DeepMindは「深層強化学習」または「深層Q学習」と題されたQ学習の深層学習への応用の特許を取得しました^{[ 20 ]} 。この技術により、 Atari 2600のゲームを人間の専門家レベルでプレイすることが可能になりました。

変種

[編集]

ディープQラーニング

[編集]

DeepMindシステムは、受容野の効果を模倣するために、タイル状の畳み込みフィルタの層を備えた深層畳み込みニューラルネットワークを採用しました。ニューラルネットワークのような非線形関数近似器を用いてQを表現すると、強化学習は不安定または発散します。この不安定性は、観測系列に存在する相関関係、Qへの小さな更新がエージェントのポリシーとデータ分布を大きく変化させる可能性があるという事実、そしてQと目標値との相関関係に起因します。この手法は、様々な分野やアプリケーションにおける確率的探索に利用できます。^{[ 1 ] [ 21 ]}

この手法では、経験再生という生物学に着想を得たメカニズムが用いられ、最新の行動ではなく、過去の行動のランダムサンプルを用いて次の行動に進む。^{[ 3 ]}これにより、観測シーケンスにおける相関が除去され、データ分布の変化が平滑化される。反復更新により、Qは定期的に更新される目標値に調整され、目標値との相関がさらに低減される。^{[ 22 ]}

ダブルQ学習

[編集]

Q学習における将来の最大近似行動値は、現在の行動選択ポリシーと同じQ関数を用いて評価されるため、ノイズの多い環境ではQ学習が行動値を過大評価し、学習速度が低下することがあります。これを修正するために、Double Q学習と呼ばれる変種が提案されました。Double Q学習^{[ 23 ]}は、オフポリシー強化学習アルゴリズムであり、次の行動を選択する際に使用されるポリシーとは異なるポリシーを価値評価に使用します。

実際には、2つの別々の価値関数 とが、別々の経験を用いて相互に対称的な方法で学習されます。二重Q学習の更新ステップは以下のようになります。 ${\displaystyle Q^{A}}$ ${\displaystyle Q^{B}}$

${\displaystyle Q_{t+1}^{A}(s_{t},a_{t})=Q_{t}^{A}(s_{t},a_{t})+\alpha _{t}(s_{t},a_{t})\left(r_{t}+\gamma Q_{t}^{B}\left(s_{t+1},\mathop {\operatorname {arg~max} } _{a}Q_{t}^{A}(s_{t+1},a)\right)-Q_{t}^{A}(s_{t},a_{t})\right)}$、 そして

${\displaystyle Q_{t+1}^{B}(s_{t},a_{t})=Q_{t}^{B}(s_{t},a_{t})+\alpha _{t}(s_{t},a_{t})\left(r_{t}+\gamma Q_{t}^{A}\left(s_{t+1},\mathop {\operatorname {arg~max} } _{a}Q_{t}^{B}(s_{t+1},a)\right)-Q_{t}^{B}(s_{t},a_{t})\right).}$

現在、割引後の将来の推定値は別のポリシーを使用して評価され、過大評価の問題が解決されています。

このアルゴリズムは2015年に改良され、DQNアルゴリズムと同様にディープラーニングと組み合わせられ、^{[ 24 ] 、オリジナルのDQNアルゴリズムよりも優れた性能を持つダブルDQNが誕生しました。 [ 25 ]}

その他

[編集]

遅延Q学習はオンラインQ学習アルゴリズムの代替実装であり、おそらく近似的に正しい（PAC）学習である。^{[ 26 ]}

貪欲GQはQ学習の変形であり、（線形）関数近似と組み合わせて使用​​されます。^{[ 27 ]}貪欲GQの利点は、関数近似を使用してアクション値を推定する場合でも収束が保証されることです。

分布型Q学習はQ学習の変種であり、各行動の期待収益ではなく、収益の分布をモデル化することを目指します。これは、ディープニューラルネットワークによる推定を容易にし、リスクに敏感な制御などの代替的な制御手法を可能にすることが観察されています。^{[ 28 ]}

マルチエージェント学習

[編集]

Q学習はマルチエージェント環境において提案されている（^{[ 29 ]}の4.1.2節参照）。一つのアプローチは、環境が受動的であると仮定することである。^{[ 30 ]}リットマンはミニマックスQ学習アルゴリズムを提案している。^{[ 31 ]}

制限事項

[編集]

標準的なQ学習アルゴリズム（表を用いる）は、離散的な行動空間と状態空間にのみ適用されます。これらの値を離散化すると、主に次元の呪いにより、学習効率が低下します。しかしながら、この問題を解決しようとするQ学習の適応型アルゴリズムとして、ワイヤーフィットニューラルネットワークQ学習があります。^{[ 32 ]} ${\displaystyle Q}$

参照

[編集]

• 強化学習
• 時間差学習
• サルサ
• 反復囚人のジレンマ
• ゲーム理論

参考文献

[編集]

1. Li, Shengbo (2023).強化学習による逐次決定と最適制御（初版）. Springer Verlag, シンガポール. pp.  1– 460. doi : 10.1007/978-981-19-7784-8 . ISBN 978-9-811-97783-1. S2CID  257928563 .{{cite book}}: CS1 maint: location missing publisher (link)
2. Melo, Francisco S. 「Q学習の収束：簡単な証明」（PDF） 。 2017年11月18日時点のオリジナル（PDF）からアーカイブ。 2017年8月8日閲覧。
3. Matiisen, Tambet (2015年12月19日). 「Demystifying Deep Reinforcement Learning」 . neuro.cs.ut.ee . Computational Neuroscience Lab. 2018年4月7日時点のオリジナルよりアーカイブ。 2018年4月6日閲覧。
4. Dietterich, Thomas G. (1999年5月21日). 「MAXQ価値関数分解を用いた階層的強化学習」. arXiv : cs/9905014 .
5. サットン、リチャード、バート、アンドリュー (1998).強化学習入門. MITプレス.
6. ラッセル、スチュアート・J.、ノーヴィグ、ピーター(2010). 『人工知能：現代的アプローチ（第3版）』プレンティス・ホール649頁. ISBN 978-0136042594。
7. Baird, Leemon (1995). 「残差アルゴリズム：関数近似を用いた強化学習」（PDF） . ICML : 30–37 .
8. François-Lavet, Vincent; Fonteneau, Raphael; Ernst, Damien (2015-12-07). 「深層強化学習の割引方法：新たな動的戦略に向けて」arXiv : 1512.02011 [ cs.LG ].
9. Sutton, Richard S.; Barto, Andrew G. 「2.7 楽観的初期値」 . 『強化学習：入門』 . 2013年9月8日時点のオリジナルよりアーカイブ。 2013年7月18日閲覧。
10. シュタインガート, ハナン; ネイマン, タル; ローウェンシュタイン, ヨナタン (2013年5月). 「オペラント学習における第一印象の役割」(PDF) .実験心理学ジャーナル: 一般. 142 (2): 476– 488. doi : 10.1037/a0029550 . ISSN 1939-2222 . PMID 22924882 .   
11. ハッセルト、ハドー・ヴァン (2012 年 3 月 5 日)。「連続状態およびアクション空間における強化学習」。ウィーリングでは、マルコ。オッテルロー、マルティン・ヴァン編（編）。強化学習: 最先端。シュプリンガーのサイエンス＆ビジネスメディア。207 ～ 251ページ 。ISBN 978-3-642-27645-3。
12. Tesauro, Gerald (1995年3月). 「Temporal Difference Learning and TD-Gammon」 . Communications of the ACM . 38 (3): 58– 68. doi : 10.1145/203330.203343 . S2CID 8763243. 2010年2月8日閲覧. 
13. Vincze, David (2017). 「ファジールール補間と強化学習」(PDF) . 2017 IEEE 第15回応用機械知能・情報科学国際シンポジウム (SAMI) . IEEE. pp.  173– 178. doi : 10.1109/SAMI.2017.7880298 . ISBN  978-1-5090-5655-2. S2CID  17590120 .
14. Krishnan, Srivatsan; Lam, Maximilian; Chitlangia, Sharad; Wan, Zishen; Barth-Maron, Gabriel; Faust, Aleksandra; Reddi, Vijay Janapa (2022年11月13日). 「QuaRL: 高速かつ環境的に持続可能な強化学習のための量子化」. arXiv : 1910.01055 [ cs.LG ].
15. Watkins, CJCH (1989).遅延報酬からの学習(PDF) (博士論文).ケンブリッジ大学. EThOS uk.bl.ethos.330022 .  
16. Watkins, Chris; Dayan, Peter (1992). 「Q学習」 .機械学習. 8 ( 3–4 ): 279– 292. doi : 10.1007/BF00992698 . hdl : 21.11116/0000-0002-D738-D .
17. Bozinovski, S. (1999年7月15日). 「クロスバー・アダプティブ・アレイ：遅延強化学習問題を解決した最初のコネクショニスト・ネットワーク」 . Dobnikar, Andrej; Steele, Nigel C.; Pearson, David W.; Albrecht, Rudolf F. (編).人工ニューラルネットと遺伝的アルゴリズム：1999年スロベニア・ポルトロス国際会議議事録. Springer Science & Business Media. pp.  320– 325. ISBN 978-3-211-83364-3。
18. Bozinovski, S. (1982). 「二次強化を用いた自己学習システム」 . Trappl, Robert (編). 『サイバネティクスとシステム研究：第6回ヨーロッパサイバネティクスとシステム研究会議議事録』 . 北ホラント. pp.  397– 402. ISBN 978-0-444-86488-8。
19. Barto, A. (1997年2月24日). 「強化学習」 . Omidvar, Omid; Elliott, David L. (編). Neural Systems for Control . Elsevier. ISBN 978-0-08-053739-9。
20. 「強化学習のための方法および装置、米国特許 #20150100530A1」（PDF） . 米国特許庁. 2015年4月9日. 2018年7月28日閲覧。
21. Matzliach B.; Ben-Gal I.; Kagan E. (2022). 「ディープQ学習能力を持つ自律エージェントによる静的および移動ターゲットの検出」 .エントロピー. 24 ( 8): 1168. Bibcode : 2022Entrp..24.1168M . doi : 10.3390/e24081168 . PMC 9407070. PMID 36010832 .  
22. Mnih, Volodymyr; Kavukcuoglu, Koray; Silver, David; Rusu, Andrei A.; Veness, Joel; Bellemare, Marc G.; Graves, Alex; Riedmiller, Martin; Fidjeland, Andreas K. (2015年2月). 「深層強化学習による人間レベルの制御」. Nature . 518 ( 7540): 529– 533. Bibcode : 2015Natur.518..529M . doi : 10.1038/nature14236 . ISSN 0028-0836 . PMID 25719670. S2CID 205242740 .   
23. van Hasselt, Hado (2011). 「二重Q学習」(PDF) .ニューラル情報処理システムの進歩. 23 : 2613–2622 .
24. van Hasselt, Hado; Guez, Arthur; Silver, David (2015年12月8日). 「Double Q-learningによる深層強化学習」. arXiv : 1509.06461 [ cs.LG ].
25. van Hasselt, Hado; Guez, Arthur; Silver, David (2015). 「二重Q学習による深層強化学習」(PDF) . AAAI人工知能会議: 2094– 2100. arXiv : 1509.06461 .
26. Strehl, Alexander L.; Li, Lihong; Wiewiora, Eric; Langford, John; Littman, Michael L. (2006). 「Pacモデルフリー強化学習」(PDF) . Proc. 22nd ICML : 881– 888.
27. Maei, Hamid; Szepesvári, Csaba; Bhatnagar, Shalabh; Sutton, Richard (2010). 「関数近似を用いたオフポリシー学習制御に向けて」第27回国際機械学習会議論文集(PDF) pp.  719– 726. 2012年9月8日時点のオリジナル(PDF)からアーカイブ。 2016年1月25日閲覧。
28. Hessel, Matteo; Modayil, Joseph; van Hasselt, Hado; Schaul, Tom; Ostrovski, Georg; Dabney, Will; Horgan, Dan; Piot, Bilal; Azar, Mohammad; Silver, David (2018年2月). 「Rainbow: 深層強化学習における改善の組み合わせ」. AAAI人工知能会議論文集. 32. arXiv : 1710.02298 . doi : 10.1609/aaai.v32i1.11796 . S2CID 19135734 . 
29. Shoham, Yoav; Powers, Rob; Grenager, Trond (2007年5月1日). 「マルチエージェント学習が答えなら、問題は何か？」人工知能. 171 (7): 365– 377. doi : 10.1016/j.artint.2006.02.006 . ISSN 0004-3702 . 2023年4月4日閲覧。 
30. Sen, Sandip; Sekaran, Mahendra; Hale, John (1994年8月1日). 「情報共有なしで協調を学ぶ」 .第12回AAAI全国人工知能会議議事録. AAAI Press: 426–431 . 2023年4月4日閲覧。
31. リットマン、マイケル・L. (1994年7月10日). 「マルコフゲームを用いたマルチエージェント強化学習の枠組み」 .第11回国際機械学習会議議事録. Morgan Kaufmann Publishers Inc.: 157–163 . ISBN 9781558603356. 2023年4月4日閲覧。
32. Gaskett, Chris; Wettergreen, David; Zelinsky, Alexander (1999). 「連続状態空間と行動空間におけるQ学習」(PDF) .

外部リンク

[編集]

• ワトキンス, CJCH (1989). 遅延報酬からの学習. ケンブリッジ大学博士論文, イギリス, ケンブリッジ.
• Strehl, Li, Wiewiora, Langford, Littman (2006). PACモデルフリー強化学習
• リチャード・サットンとアンドリュー・S・バルト著『強化学習入門』（オンライン教科書）。「6.5 Q学習：オフポリシーTD制御」を参照。
• Piqle: 強化学習のための汎用 Java プラットフォーム
• 強化学習迷路、 Q学習を使用して迷路でアリを誘導するデモンストレーション
• ジェラルド・テサウロによるQラーニングワーク

Retrieved from "https://en.wikipedia.org/w/index.php?title=Q-learning&oldid=1311484908"