分布推定アルゴリズム

分布推定アルゴリズム（ EDA）は、確率モデル構築遺伝的アルゴリズム（PMBGA）とも呼ばれ、^{[1]有望な候補解の明示的な確率モデルを構築・サンプリングすることで最適解の探索を導く}確率的最適化手法である。最適化は、許容解に対する無情報事前分布を符号化したモデルから始まり、大域的最適解のみを生成するモデルに至る、確率モデルの一連の増分更新とみなされる。^[2]^[3]^[4]

EDAは進化アルゴリズムのクラスに属します。EDAと従来のほとんどの進化アルゴリズムの主な違いは、進化アルゴリズムが1つ以上の変分演算子によって定義された暗黙的な分布を使用して新しい候補解を生成するのに対し、EDAはベイジアンネットワーク、多変量正規分布、または他のモデルクラスによってエンコードされた明示的な確率分布を使用することです。他の進化アルゴリズムと同様に、EDAはベクトルからLISPスタイルのS式まで、さまざまな表現で定義された最適化問題を解くために使用でき、候補解の品質は多くの場合、1つ以上の目的関数を使用して評価されます。

EDAの一般的な手順は、次のように概説されます。

t  := 0許容解上の一様分布を表すようにモデルM(0)を初期化するwhile (終了条件が満たされない) do  P  := N>0個の候補解をサンプリングによって生成 M( t ) F  := P内のすべての候補解を評価 M(t + 1) := adjust_model( P , F , M( t )) t  := t + 1

最適化において明示的な確率モデルを使用することで、EDAは、従来の進化アルゴリズムや従来の最適化手法では非常に困難であった最適化問題、例えば高レベルのエピスタシスを伴う問題^[要出典]などを実現可能に解くことができました。それにもかかわらず、EDAの利点は、これらのアルゴリズムが最適化の専門家に、解決しようとしている問題に関する多くの情報を明らかにする一連の確率モデルを提供することです。この情報は、局所探索のための問題固有の近傍演算子を設計したり、同様の問題に対するEDAの将来の実行にバイアスをかけたり、問題の効率的な計算モデルを作成したりするために使用できます

例えば、母集団が長さ4のビット文字列で表される場合、EDAは4つの確率（p1、p2、p3、p4）の単一のベクトルを使用して有望な解の母集団を表すことができます。ここで、pの各要素は、その位置が1である確率を定義します。この確率ベクトルを使用することで、任意の数の候補解を作成できます。

分布推定アルゴリズム（EDA）

このセクションでは、いくつかのよく知られたEDAによって構築された、複雑さのレベルが異なるモデルについて説明します。世代における集団、選択演算子、モデル構築演算子、およびサンプリング演算子が常に仮定されます。 $P(t)$ $t$ $S$ $\alpha$ $\beta$

一変量因子分解

最も単純なEDAは、決定変数が独立している、つまり、と想定します。したがって、単変量EDAは単変量統計のみに依存し、多変量分布は単変量確率分布の積として因子分解する必要があります。 $p(X_{1},X_{2})=p(X_{1})\cdot p(X_{2})$ $N$

$D_{\text{Univariate}}:=p(X_{1},\dots ,X_{N})=\prod _{i=1}^{N}p(X_{i}).$

このような因子分解は多くの異なるEDAで使用されており、次にいくつかについて説明します。

単変量周辺分布アルゴリズム（UMDA）

UMDA ^[5]は、選択された集団から周辺確率を推定するために演算子を使用する単純なEDAです。要素が含まれていると仮定することで、確率を生成します。 $\alpha _{UMDA}$ $S(P(t))$ $S(P(t))$ $\lambda$ $\alpha _{UMDA}$

$p_{t+1}(X_{i})={\dfrac {1}{\lambda }}\sum _{x\in S(P(t))}x_{i},~\forall i\in 1,2,\dots ,N.$

UMDAの各ステップは次のように記述できます。

$D(t+1)=\alpha _{\text{UMDA}}\circ S\circ \beta _{\lambda }(D(t)).$

集団ベースの増分学習(PBIL)

PBIL ^[6]は、そのモデルによって暗黙的に集団を表し、そこから新しい解をサンプリングしてモデルを更新します。各世代で、個体がサンプリングされ、選択されます。これらの個体は、次のようにモデルを更新するために使用されます $\mu$ $\lambda \leq \mu$

$p_{t+1}(X_{i})=(1-\gamma )p_{t}(X_{i})+(\gamma /\lambda )\sum _{x\in S(P(t))}x_{i},~\forall i\in 1,2,\dots ,N,$

ここで、学習率を定義するパラメーターです。値が小さい場合、以前のモデルはサンプリングされた新しい解によってわずかに変更されるだけで済みます。PBILは次のように記述できます。 $\gamma \in (0,1]$ $p_{t}(X_{i})$

$D(t+1)=\alpha _{\text{PIBIL}}\circ S\circ \beta _{\mu }(D(t))$

コンパクト遺伝的アルゴリズム（cGA）

CGA ^[7]も、単変量分布によって定義される暗黙の集団に依存しています。各世代で、2つの個体がサンプリングされます。集団は適応度の降順でソートされ、が最良の解、が最悪の解となります。CGAは次のように単変量確率を推定します。 $t$ $x,y$ $P(t)=\beta _{2}(D(t))$ $P(t)$ $S_{{\text{Sort}}(f)}(P(t))$ $u$ $v$

$p_{t+1}(X_{i})=p_{t}(X_{i})+\gamma (u_{i}-v_{i}),\quad \forall i\in 1,2,\dots ,N,$

ここで、は学習率を定義する定数で、通常はに設定されます。CGAは次のように定義できます。 $\gamma \in (0,1]$ $\gamma =1/N$

$D(t+1)=\alpha _{\text{CGA}}\circ S_{{\text{Sort}}(f)}\circ \beta _{2}(D(t))$

二変量因子分解

単変量モデルは効率的に計算できますが、多くの場合、GAよりも優れた性能を提供するほど代表的ではありません。このような欠点を克服するために、EDAコミュニティでは二変量因子分解の使用が提案されました。二変量因子分解では、変数のペア間の依存関係をモデル化できます。二変量因子分解は次のように定義できます。ここで、にはに依存する可能性のある変数が含まれます。つまり、 $\pi _{i}$ $X_{i}$ $|\pi _{i}|=1$

$D_{\text{Bivariate}}:=p(X_{1},\dots ,X_{N})=\prod _{i=1}^{N}p(X_{i}|\pi _{i}).$

二変量分布と多変量分布は通常、確率的グラフィカルモデル（グラフ）として表され、辺は統計的依存関係（または条件付き確率）を示し、頂点は変数を示します。データからPGMの構造を学習するために、リンケージ学習が用いられます。

相互情報量最大化入力クラスタリング（MIMIC）

MIMIC ^[8]は、変数間の連続的な依存関係を表す連鎖状のモデルで結合確率分布を因数分解します。真の確率分布、すなわちに対するカルバック・ライブラー情報を最小化するような決定変数の順列を見つけます。MIMICは分布をモデル化します。 $r:i\mapsto j$ $x_{r(1)}x_{r(2)},\dots ,x_{r(N)}$ $\pi _{r(i+1)}=\{X_{r(i)}\}$

$p_{t+1}(X_{1},\dots ,X_{N})=p_{t}(X_{r(N)})\prod _{i=1}^{N-1}p_{t}(X_{r(i)}|X_{r(i+1)}).$

新しい解は左端の変数から右端の変数へとサンプリングされ、最初の解は独立して生成され、他の解は条件付き確率に従って生成されます。推定分布は各世代で再計算する必要があるため、MIMICは次のように具体的な集団を使用します。

$P(t+1)=\beta _{\mu }\circ \alpha _{\text{MIMIC}}\circ S(P(t)).$

二変量周辺分布アルゴリズム（BMDA）

BMDA ^[9]は、二変量分布における結合確率分布を因数分解します。まず、ランダムに選択された変数がグラフのノードとして追加され、グラフ内の変数の1つに最も従属する変数が、まだグラフに存在しない変数の中から選択されます。この手順は、残りの変数がグラフ内のどの変数にも依存しなくなるまで繰り返されます（しきい値に従って検証されます）。

結果として得られるモデルは、ノードを根とする複数の木を持つ森です。ルート以外の変数を考慮すると、BMDAは、ルート変数は独立してサンプリングできる一方、他のすべての変数は親変数に条件付けされる必要がある因子分解分布を推定します。 $\Upsilon _{t}$ $I_{t}$ $\pi _{i}$

$p_{t+1}(X_{1},\dots ,X_{N})=\prod _{X_{i}\in \Upsilon _{t}}p_{t}(X_{i})\cdot \prod _{X_{i}\in I_{t}}p_{t}(X_{i}|\pi _{i}).$

BMDAの各ステップは次のように定義されます

$P(t+1)=\beta _{\mu }\circ \alpha _{\text{BMDA}}\circ S(P(t)).$

多変量因子分解

EDA開発の次の段階は、多変量因子分解の使用でした。この場合、結合確率分布は通常、限られたサイズの複数の要素に因子分解されます。 $|\pi _{i}|\leq K,~\forall i\in 1,2,\dots ,N$

$p(X_{1},\dots ,X_{N})=\prod _{i=1}^{N}p(X_{i}|\pi _{i})$

多変量分布をエンコードするPGMの学習は計算コストの高いタスクであるため、EDAでは二変量統計量から多変量統計量を推定するのが一般的です。このような緩和により、PGMを多項式時間で構築できますが、そのようなEDAの一般性も制限されます。 $N$

拡張コンパクト遺伝的アルゴリズム（eCGA）

ECGA ^[10]は、多変量因子分解を採用した最初のEDAの1つであり、決定変数間の高次の依存関係をモデル化できます。このアプローチは、多変量周辺分布の積における結合確率分布を因子分解します。が部分集合の集合であり、その中のすべてのが変数を含む連結集合であると仮定します。因子分解された結合確率分布は次のように表されます $T_{\text{eCGA}}=\{\tau _{1},\dots ,\tau _{\Psi }\}$ $\tau \in T_{\text{eCGA}}$ $|\tau |\leq K$

$p(X_{1},\dots ,X_{N})=\prod _{\tau \in T_{\text{eCGA}}}p(\tau ).$

ECGAは、連鎖集合を識別する手順を表す「連鎖学習」という用語を普及させました。その連鎖学習手順は、(1)モデル複雑度（MC）と(2)圧縮母集団複雑度（CPC）という2つの尺度に基づいています。MCは、すべての周辺確率を格納するために必要なビット数でモデル表現サイズを定量化します。

$MC=\log _{2}(\lambda +1)\sum _{\tau \in T_{\text{eCGA}}}(2^{|\tau |-1}),$

一方、CPCは、すべてのパーティションにわたる周辺分布のエントロピーでデータ圧縮を定量化します。ここで、は選択された母集団サイズ、は連鎖集合内の決定変数の数、は変数の結合エントロピーです $\lambda$ $|\tau |$ $\tau$ $H(\tau )$ $\tau$

$CPC=\lambda \sum _{\tau \in T_{\text{eCGA}}}H(\tau ).$

ECGAにおけるリンケージ学習は次のように機能します。(1) 各変数をクラスターに挿入する。(2) 現在のリンケージセットのCCC = MC + CPCを計算する。(3) クラスターのペアを結合することで得られるCCCの増加を検証する。(4) CCCの改善が最も高いクラスターを効果的に結合する。この手順は、CCCの改善が不可能になるまで繰り返され、リンケージモデルを生成します。ECGAは具体的な集団を扱うため、ECGAによってモデル化された因子分解分布を用いて、次のように記述できます。 $T_{\text{eCGA}}$

$P(t+1)=\beta _{\mu }\circ \alpha _{\text{eCGA}}\circ S(P(t))$

ベイズ最適化アルゴリズム（BOA）

BOA ^[11]^[12]^[13]はベイジアンネットワークを用いて有望な解をモデル化し、サンプリングします。ベイジアンネットワークは有向非巡回グラフであり、ノードは変数を表し、エッジは変数のペア間の条件付き確率を表します。変数の値は、で定義される他の変数の最大値に条件付けることができます。BOAは、因子分解された結合分布をエンコードしたPGMを構築します。PGMでは、ネットワークのパラメータ、つまり条件付き確率は、選択された母集団から最尤推定量を用いて推定されます $x_{i}$ $K$ $\pi _{i}$

$p(X_{1},X_{2},\dots ,X_{N})=\prod _{i=1}^{N}p(X_{i}|\pi _{i}).$

一方、ベイジアンネットワーク構造は反復的に構築する必要があります（連鎖学習）。エッジのないネットワークから開始し、各ステップで、スコアリングメトリック（例：ベイジアン情報量基準（BIC）または尤度等価性ベイジアン・ディリクレメトリック（BDe））をより良く改善するエッジを追加します。^[14]スコアリングメトリックは、選択された集団をモデル化する際の精度に応じてネットワーク構造を評価します。構築されたネットワークから、BOAは次のように新しい有望な解をサンプリングします。(1) 各変数の祖先順序を計算します。各ノードの前には親が位置します。(2) 各変数は条件付きで親にサンプリングされます。このようなシナリオでは、BOAの各ステップは次のように定義できます。

$P(t+1)=\beta _{\mu }\circ \alpha _{\text{BOA}}\circ S(P(t))$

連鎖木遺伝的アルゴリズム（LTGA）

LTGA ^[15]は、確率分布を明示的にモデル化するのではなく、連鎖木と呼ばれる連鎖モデルのみをモデル化するという点で、ほとんどのEDAとは異なります。連鎖とは、確率分布が関連付けられていない連鎖セットの集合であり、したがって、から直接新しい解をサンプリングする方法はありません。連鎖モデルは、集合のファミリー(FOS)として保存される連鎖木です。 $T$ $T$

$T_{\text{LT}}=\{\{x_{1}\},\{x_{2}\},\{x_{3}\},\{x_{4}\},\{x_{1},x_{2}\},\{x_{3},x_{4}\}\}.$

連鎖木学習手順は階層的クラスタリングアルゴリズムであり、次のように動作します。各ステップで、最も近い2つのクラスターとがマージされ、この手順は1つのクラスターだけが残るまで繰り返され、各サブツリーはサブセットとして保存されます。 $i$ $j$ $\tau \in T_{\text{LT}}$

LTGAは、組換え演算子に似ていますが、改善する動きのみを受け入れる「最適混合」手順をガイドするためにを使用します。これをと表記します。ここで、という表記は、でインデックス付けされた遺伝物質がからに転送されることを示します。 $T_{\text{LT}}$ $R_{\text{LTGA}}$ $x[\tau ]\gets y[\tau ]$ $\tau$ $y$ $x$

：遺伝子プール最適混合 入力：部分集合の族と母集団。  出力：母集団。for each in do for each in do ランダムに選択 := := if then return $T_{\text{LT}}$  $P(t)$  $P(t+1)$   $x_{i}$    $P(t)$     $\tau$    $T_{\text{LT}}$   $x_{j}\in P(t):x_{i}\neq x_{j}$   $f_{x_{i}}$  $f(x_{i})$   $x_{i}[\tau ]$  $x_{j}[\tau ]$    $f(x_{i})\leq f_{x_{i}}$    $x_{i}[\tau ]:=x_{j}[\tau ]$    $P(t)$

「←」は代入を表します。たとえば、「largest ← item 」は、 largestの値がitemの値に変更されることを意味します。
「return」はアルゴリズムを終了し、次の値を出力します。

LTGAは典型的な選択演算子を実装しておらず、代わりに組換え中に選択が行われます。同様の考え方は通常、局所探索ヒューリスティックスに適用されており、この意味でLTGAはハイブリッド手法と見なすことができます。要約すると、LTGAの1つのステップは次のように定義されます。

$P(t+1)=R_{\text{LTGA}}(P(t))\circ \alpha _{\text{LTGA}}(P(t))$

その他

確率集団（PC）^[16]^[17]
学習付き山登り法（HCwL）^[18]
多変量正規分布推定アルゴリズム（EMNA）^[要出典]
ベイジアンネットワーク推定アルゴリズム（EBNA）^[要出典]
正規分布のベクトルによる学習を用いた確率的山登り法（SHCLVND）^[19]
実数符号化PBIL ^[要出典]
利己的遺伝子アルゴリズム（SG）^[20]
コンパクト差分進化（cDE）^[21]とその派生^[22]^[23]^[24]^[25]^[26]^[27]
コンパクト粒子群最適化（cPSO）^[28]
コンパクトバクテリア採餌最適化（cBFO）^[29]
確率的増分プログラム進化（PIPE）^[30]
ガウスネットワーク推定アルゴリズム（EGNA）^[要出典]
閾値収束を伴う多変量正規分布推定アルゴリズム^[31]
依存構造行列遺伝的アルゴリズム（DSMGA）^[32]^[33]

参考文献

^ Pelikan, Martin (2005-02-21)、「確率的モデル構築遺伝的アルゴリズム」、階層的ベイズ最適化アルゴリズム、ファジネスとソフトコンピューティングの研究、第170巻、Springer Berlin Heidelberg、pp. 13– 30、doi :10.1007/978-3-540-32373-0_2、ISBN 9783540237747
^ Pedro Larrañaga; Jose A. Lozano (2002).分布推定アルゴリズム：進化計算のための新しいツール。ボストン、マサチューセッツ州：Springer US. ISBN 978-1-4615-1539-5。
^ Jose A. Lozano; Larrañaga, P.; Inza, I.; Bengoetxea, E. (2006). 『分布推定アルゴリズムにおける新たな進化的計算の進歩に向けて』ベルリン: Springer. ISBN 978-3-540-32494-2.
^ Pelikan, Martin; Sastry, Kumara; Cantú-Paz, Erick (2006). 『確率モデリングによるスケーラブルな最適化：アルゴリズムから応用まで』26の表付き. ベルリン: Springer. ISBN 978-3540349532.
^ Mühlenbein, Heinz (1997年9月1日). 「選択に対する反応の方程式とその予測への利用」 . Evol. Computation . 5 (3): 303– 346. doi :10.1162/evco.1997.5.3.303. ISSN 1063-6560. PMID 10021762. S2CID 2593514.
^ Baluja, Shummet (1994年1月1日). 「集団ベースの増分学習：遺伝的探索に基づく関数最適化と競合学習を統合する手法」. カーネギーメロン大学. {{cite journal}}：ジャーナルの引用には|journal=（ヘルプ）が必要です
^ Harik, GR; Lobo, FG; Goldberg, DE (1999). 「コンパクトな遺伝的アルゴリズム」. IEEE Transactions on Evolutionary Computation . 3 (4): 287–297 . doi :10.1109/4235.797971.
^ Bonet, Jeremy S. De; Isbell, Charles L.; Viola, Paul (1996年1月1日). 「MIMIC：確率密度の推定による最適解の探索」. Advances in Neural Information Processing Systems : 424. CiteSeerX 10.1.1.47.6497
^ Pelikan, Martin; Muehlenbein, Heinz (1999年1月1日). 「二変量周辺分布アルゴリズム」. Advances in Soft Computing . pp. 521– 535. CiteSeerX 10.1.1.55.1151 . doi :10.1007/978-1-4471-0819-1_39. ISBN 978-1-85233-062-0。
^ Harik, Georges Raif (1997). 「遺伝的アルゴリズムを用いた制限難易度の問題を効率的に解くための遺伝子連鎖学習（博士号）」. ミシガン大学
^ ペリカン、マーティン、ゴールドバーグ、デビッド・E、カントゥ＝パス、エリック（1999年1月1日）「BOA：ベイズ最適化アルゴリズム」、モーガン・カウフマン：525～ 532ページ。CiteSeerX 10.1.1.46.8131 {{cite journal}}：ジャーナルの引用には|journal=（ヘルプ）が必要です
^ ペリカン、マーティン（2005年）「階層的ベイズ最適化アルゴリズム：新世代の進化的アルゴリズムに向けて（第1版）」、ベルリン[ua]：シュプリンガー。ISBN 978-3-540-23774-7。
^ Wolpert, David H.; Rajnarayan, Dev (2013年1月1日). 「機械学習を用いた確率的最適化の改善」.第17回AAAI人工知能分野における最新開発会議議事録. Aaaiws'13-17: 146–148 .
^ Larrañaga, Pedro; Karshenas, Hossein; Bielza, Concha; Santana, Roberto (2012年8月21日). 「進化計算における確率的グラフィカルモデルのレビュー」. Journal of Heuristics . 18 (5): 795– 819. doi :10.1007/s10732-012-9208-4. S2CID 9734434
^ Thierens, Dirk (2010年9月11日). 「連結木遺伝的アルゴリズム」.自然からの並列問題解決, PPSN XI . pp. 264– 273. doi :10.1007/978-3-642-15844-5_27. ISBN 978-3-642-15843-8。
^ WOLPERT, DAVID H.; STRAUSS, CHARLIE EM; RAJNARAYAN, DEV (2006年12月). 「確率集団を用いた分散最適化の進歩」. Advances in Complex Systems . 09 (4): 383–436 . CiteSeerX 10.1.1.154.6395 . doi :10.1142/S0219525906000884
^ Pelikan, Martin; Goldberg, David E.; Lobo, Fernando G. (2002). 「確率モデルの構築と利用による最適化の概観」.計算最適化とその応用. 21 (1): 5– 20. doi :10.1023/A:1013500812258.
^ Rudlof, Stephan; Köppen, Mario (1997). 「正規分布のベクトルによる学習を伴う確率的ヒルクライミング」: 60–70 . CiteSeerX 10.1.1.19.3536 . {{cite journal}}：ジャーナルの引用には|journal=（ヘルプ）が必要です
^ Rudlof, Stephan; Köppen, Mario (1997). 「正規分布のベクトルによる学習を伴う確率的ヒルクライミング」: 60–70. CiteSeerX 10.1.1.19.3536 {{cite journal}}：ジャーナルの引用には|journal=（ヘルプ）が必要です
^ フルヴィオ・コルノ、マッテオ・ソンザ・レオダ、ジョヴァンニ・スクイレロ (1998年2月27日).利己的遺伝子アルゴリズム：新しい進化的最適化戦略. ACM. pp. 349– 355. doi :10.1145/330560.330838. ISBN 978-0897919692 . S2CID 9125252
^ ミニノ、エルネスト、ネリ、フェランテ、クパティーノ、デイビッド・ナソ (2011). 「コンパクト微分進化」. IEEE Transactions on Evolutionary Computation . 15 (1): 32– 54. doi :10.1109/tevc.2010.2058120. ISSN 1089-778X. S2CID 20582233
^ Iacca, Giovanni; Caraffini, Fabio; Neri, Ferrante (2012). 「Compact Differential Evolution Light：限られたメモリ要件と適度な計算オーバーヘッドにもかかわらず高いパフォーマンスを実現」. Journal of Computer Science and Technology . 27 (5): 1056– 1076. doi :10.1007/s11390-012-1284-2. hdl : 2086/11740 . ISSN 1000-9000. S2CID 3184035
^ イアッカ、ジョヴァンニ、ネリ、フェランテ、ミニンノ、エルネスト (2011)、「コンパクト差分進化における反対意見に基づく学習」、進化計算の応用、シュプリンガー・ベルリン・ハイデルベルク、pp. 264– 273、doi :10.1007/978-3-642-20525-5_27、hdl : 11572 /196440 、ISBN 9783642205248
^ マリペッディ、ラムモハン、イアッカ、ジョヴァンニ、スガンタン、ポンヌトゥライ・ナガラトナム、ネリ、フェランテ、ミニンノ、エルネスト (2011).「コンパクト微分進化におけるアンサンブル戦略」。2011 IEEE進化計算会議 (CEC) . IEEE. pp. 1972– 1977. doi :10.1109/cec.2011.5949857. ISBN 9781424478347. S2CID 11781300
^ Neri, Ferrante; Iacca, Giovanni; Mininno, Ernesto (2011). 「Disturbed Exploitation compact Differential Evolution for limited memory optimization problems. Information Sciences . 181 (12): 2469– 2487. doi :10.1016/j.ins.2011.02.004. ISSN 0020-0255.
^ Iacca, Giovanni; Mallipeddi, Rammohan; Mininno, Ernesto; Neri, Ferrante; Suganthan, Pannuthurai Nagaratnam (2011). 「コンパクトな微分進化のための大域的監視」. 2011 IEEE Symposium on Differential Evolution (SDE) . IEEE. pp. 1– 8. doi :10.1109/sde.2011.5952051. ISBN 9781612840710. S2CID 8874851
^ Iacca, Giovanni; Mallipeddi, Rammohan; Mininno, Ernesto; Neri, Ferrante; Suganthan, Pannuthurai Nagaratnam (2011). 「コンパクト微分進化におけるスーパーフィットと個体群サイズの縮小」. 2011 IEEEミームコンピューティングワークショップ (MC) . IEEE. pp. 1– 8. doi :10.1109/mc.2011.5953633. ISBN 9781612840659. S2CID 5692951
^ Neri, Ferrante; Mininno, Ernesto; Iacca, Giovanni (2013). 「コンパクト粒子群最適化」. Information Sciences . 239 : 96–121 . doi :10.1016/j.ins.2013.03.026. ISSN 0020-0255.
^ Iacca, Giovanni; Neri, Ferrante; Mininno, Ernesto (2012), 「コンパクト細菌採餌最適化」. Swarm and Evolutionary Computation , Springer Berlin Heidelberg, pp. 84– 92, doi :10.1007/978-3-642-29353-5_10, hdl : 11572/196442 , ISBN 9783642293528
^ Salustowicz, null; Schmidhuber, null (1997). 「確率的増分プログラム進化」.進化計算. 5 (2): 123–141 . doi :10.1162/evco.1997.5.2.123. ISSN 1530-9304. PMID 10021756. S2CID 10759266
^ Tamayo-Vera, Dania; Bolufe-Rohler, Antonio; Chen, Stephen (2016). 「閾値収束による多変量正規分布推定アルゴリズム」. 2016 IEEE Congress on Evolutionary Computation (CEC) . IEEE. pp. 3425– 3432. doi :10.1109/cec.2016.7744223. ISBN 9781509006236. S2CID 33114730
^ Yu, Tian-Li; Goldberg, David E.; Yassine, Ali; Chen, Ying-Ping (2003)、「組織理論に着想を得た遺伝的アルゴリズム設計：依存構造マトリックス駆動型遺伝的アルゴリズムのパイロットスタディ」、遺伝的および進化的計算 — GECCO 2003、Springer Berlin Heidelberg、pp. 1620– 1621、doi :10.1007/3-540-45110-2_54、ISBN 9783540406037
^ Hsu, Shih-Huan; Yu, Tian-Li (2015-07-11).ペアワイズリンケージ検出、増分リンケージセット、および制限付き/バックミキシングによる最適化：DSMGA-II . ACM. pp. 519– 526. arXiv : 1807.11669 . doi :10.1145/2739480.2754737. ISBN 9781450334723. S2CID 17031156.

[1] Pelikan, Martin (2005-02-21)、「確率的モデル構築遺伝的アルゴリズム」、階層的ベイズ最適化アルゴリズム、ファジネスとソフトコンピューティングの研究、第170巻、Springer Berlin Heidelberg、pp. 13– 30、doi :10.1007/978-3-540-32373-0_2、ISBN 9783540237747

[2] Pedro Larrañaga; Jose A. Lozano (2002).分布推定アルゴリズム：進化計算のための新しいツール。ボストン、マサチューセッツ州：Springer US. ISBN 978-1-4615-1539-5。

[3] Jose A. Lozano; Larrañaga, P.; Inza, I.; Bengoetxea, E. (2006). 『分布推定アルゴリズムにおける新たな進化的計算の進歩に向けて』ベルリン: Springer. ISBN 978-3-540-32494-2.

[4] Pelikan, Martin; Sastry, Kumara; Cantú-Paz, Erick (2006). 『確率モデリングによるスケーラブルな最適化：アルゴリズムから応用まで』26の表付き. ベルリン: Springer. ISBN 978-3540349532.

[5] Mühlenbein, Heinz (1997年9月1日). 「選択に対する反応の方程式とその予測への利用」 . Evol. Computation . 5 (3): 303– 346. doi :10.1162/evco.1997.5.3.303. ISSN 1063-6560. PMID 10021762. S2CID 2593514.

[6] Baluja, Shummet (1994年1月1日). 「集団ベースの増分学習：遺伝的探索に基づく関数最適化と競合学習を統合する手法」. カーネギーメロン大学. {{cite journal}}：ジャーナルの引用には|journal=（ヘルプ）が必要です

[7] Harik, GR; Lobo, FG; Goldberg, DE (1999). 「コンパクトな遺伝的アルゴリズム」. IEEE Transactions on Evolutionary Computation . 3 (4): 287–297 . doi :10.1109/4235.797971.

[8] ^ Bonet, Jeremy S. De; Isbell, Charles L.; Viola, Paul (1996年1月1日). 「MIMIC：確率密度の推定による最適解の探索」. Advances in Neural Information Processing Systems : 424. CiteSeerX 10.1.1.47.6497

[9] Pelikan, Martin; Muehlenbein, Heinz (1999年1月1日). 「二変量周辺分布アルゴリズム」. Advances in Soft Computing . pp. 521– 535. CiteSeerX 10.1.1.55.1151 . doi :10.1007/978-1-4471-0819-1_39. ISBN 978-1-85233-062-0。

[10] Harik, Georges Raif (1997). 「遺伝的アルゴリズムを用いた制限難易度の問題を効率的に解くための遺伝子連鎖学習（博士号）」. ミシガン大学

[11] ペリカン、マーティン、ゴールドバーグ、デビッド・E、カントゥ＝パス、エリック（1999年1月1日）「BOA：ベイズ最適化アルゴリズム」、モーガン・カウフマン：525～ 532ページ。CiteSeerX 10.1.1.46.8131 {{cite journal}}：ジャーナルの引用には|journal=（ヘルプ）が必要です

[12] ペリカン、マーティン（2005年）「階層的ベイズ最適化アルゴリズム：新世代の進化的アルゴリズムに向けて（第1版）」、ベルリン[ua]：シュプリンガー。ISBN 978-3-540-23774-7。

[13] Wolpert, David H.; Rajnarayan, Dev (2013年1月1日). 「機械学習を用いた確率的最適化の改善」.第17回AAAI人工知能分野における最新開発会議議事録. Aaaiws'13-17: 146–148 .

[14] Larrañaga, Pedro; Karshenas, Hossein; Bielza, Concha; Santana, Roberto (2012年8月21日). 「進化計算における確率的グラフィカルモデルのレビュー」. Journal of Heuristics . 18 (5): 795– 819. doi :10.1007/s10732-012-9208-4. S2CID 9734434

[15] Thierens, Dirk (2010年9月11日). 「連結木遺伝的アルゴリズム」.自然からの並列問題解決, PPSN XI . pp. 264– 273. doi :10.1007/978-3-642-15844-5_27. ISBN 978-3-642-15843-8。

[16] WOLPERT, DAVID H.; STRAUSS, CHARLIE EM; RAJNARAYAN, DEV (2006年12月). 「確率集団を用いた分散最適化の進歩」. Advances in Complex Systems . 09 (4): 383–436 . CiteSeerX 10.1.1.154.6395 . doi :10.1142/S0219525906000884

[17] Pelikan, Martin; Goldberg, David E.; Lobo, Fernando G. (2002). 「確率モデルの構築と利用による最適化の概観」.計算最適化とその応用. 21 (1): 5– 20. doi :10.1023/A:1013500812258.

[18] Rudlof, Stephan; Köppen, Mario (1997). 「正規分布のベクトルによる学習を伴う確率的ヒルクライミング」: 60–70 . CiteSeerX 10.1.1.19.3536 . {{cite journal}}：ジャーナルの引用には|journal=（ヘルプ）が必要です

[19] Rudlof, Stephan; Köppen, Mario (1997). 「正規分布のベクトルによる学習を伴う確率的ヒルクライミング」: 60–70. CiteSeerX 10.1.1.19.3536 {{cite journal}}：ジャーナルの引用には|journal=（ヘルプ）が必要です

[20] フルヴィオ・コルノ、マッテオ・ソンザ・レオダ、ジョヴァンニ・スクイレロ (1998年2月27日).利己的遺伝子アルゴリズム：新しい進化的最適化戦略. ACM. pp. 349– 355. doi :10.1145/330560.330838. ISBN 978-0897919692 . S2CID 9125252

[21] ミニノ、エルネスト、ネリ、フェランテ、クパティーノ、デイビッド・ナソ (2011). 「コンパクト微分進化」. IEEE Transactions on Evolutionary Computation . 15 (1): 32– 54. doi :10.1109/tevc.2010.2058120. ISSN 1089-778X. S2CID 20582233

[22] Iacca, Giovanni; Caraffini, Fabio; Neri, Ferrante (2012). 「Compact Differential Evolution Light：限られたメモリ要件と適度な計算オーバーヘッドにもかかわらず高いパフォーマンスを実現」. Journal of Computer Science and Technology . 27 (5): 1056– 1076. doi :10.1007/s11390-012-1284-2. hdl : 2086/11740 . ISSN 1000-9000. S2CID 3184035

[23] イアッカ、ジョヴァンニ、ネリ、フェランテ、ミニンノ、エルネスト (2011)、「コンパクト差分進化における反対意見に基づく学習」、進化計算の応用、シュプリンガー・ベルリン・ハイデルベルク、pp. 264– 273、doi :10.1007/978-3-642-20525-5_27、hdl : 11572 /196440 、ISBN 9783642205248

[24] マリペッディ、ラムモハン、イアッカ、ジョヴァンニ、スガンタン、ポンヌトゥライ・ナガラトナム、ネリ、フェランテ、ミニンノ、エルネスト (2011).「コンパクト微分進化におけるアンサンブル戦略」。2011 IEEE進化計算会議 (CEC) . IEEE. pp. 1972– 1977. doi :10.1109/cec.2011.5949857. ISBN 9781424478347. S2CID 11781300

[25] Neri, Ferrante; Iacca, Giovanni; Mininno, Ernesto (2011). 「Disturbed Exploitation compact Differential Evolution for limited memory optimization problems. Information Sciences . 181 (12): 2469– 2487. doi :10.1016/j.ins.2011.02.004. ISSN 0020-0255.

[26] Iacca, Giovanni; Mallipeddi, Rammohan; Mininno, Ernesto; Neri, Ferrante; Suganthan, Pannuthurai Nagaratnam (2011). 「コンパクトな微分進化のための大域的監視」. 2011 IEEE Symposium on Differential Evolution (SDE) . IEEE. pp. 1– 8. doi :10.1109/sde.2011.5952051. ISBN 9781612840710. S2CID 8874851

[27] Iacca, Giovanni; Mallipeddi, Rammohan; Mininno, Ernesto; Neri, Ferrante; Suganthan, Pannuthurai Nagaratnam (2011). 「コンパクト微分進化におけるスーパーフィットと個体群サイズの縮小」. 2011 IEEEミームコンピューティングワークショップ (MC) . IEEE. pp. 1– 8. doi :10.1109/mc.2011.5953633. ISBN 9781612840659. S2CID 5692951

[28] Neri, Ferrante; Mininno, Ernesto; Iacca, Giovanni (2013). 「コンパクト粒子群最適化」. Information Sciences . 239 : 96–121 . doi :10.1016/j.ins.2013.03.026. ISSN 0020-0255.

[29] Iacca, Giovanni; Neri, Ferrante; Mininno, Ernesto (2012), 「コンパクト細菌採餌最適化」. Swarm and Evolutionary Computation , Springer Berlin Heidelberg, pp. 84– 92, doi :10.1007/978-3-642-29353-5_10, hdl : 11572/196442 , ISBN 9783642293528

[30] Salustowicz, null; Schmidhuber, null (1997). 「確率的増分プログラム進化」.進化計算. 5 (2): 123–141 . doi :10.1162/evco.1997.5.2.123. ISSN 1530-9304. PMID 10021756. S2CID 10759266

[31] Tamayo-Vera, Dania; Bolufe-Rohler, Antonio; Chen, Stephen (2016). 「閾値収束による多変量正規分布推定アルゴリズム」. 2016 IEEE Congress on Evolutionary Computation (CEC) . IEEE. pp. 3425– 3432. doi :10.1109/cec.2016.7744223. ISBN 9781509006236. S2CID 33114730

[32] Yu, Tian-Li; Goldberg, David E.; Yassine, Ali; Chen, Ying-Ping (2003)、「組織理論に着想を得た遺伝的アルゴリズム設計：依存構造マトリックス駆動型遺伝的アルゴリズムのパイロットスタディ」、遺伝的および進化的計算 — GECCO 2003、Springer Berlin Heidelberg、pp. 1620– 1621、doi :10.1007/3-540-45110-2_54、ISBN 9783540406037

[33] Hsu, Shih-Huan; Yu, Tian-Li (2015-07-11).ペアワイズリンケージ検出、増分リンケージセット、および制限付き/バックミキシングによる最適化：DSMGA-II . ACM. pp. 519– 526. arXiv : 1807.11669 . doi :10.1145/2739480.2754737. ISBN 9781450334723. S2CID 17031156.