Matrix of second derivatives
数学 において 、 ヘッセ行列（ ヘッセんぎょう、 Hessian 、または（あまり一般的ではないが） ヘッセ行列） は、スカラー値 関数 （または スカラー体） の2階偏 微分からなる 正方行列 である。これは 、多変数関数の局所 曲率を 記述する。ヘッセ行列は19世紀にドイツの数学者 ルートヴィヒ・オットー・ヘッセ によって考案され、後に彼の名にちなんで命名された。ヘッセは当初「関数行列式」という用語を用いていた。ヘッセ行列は、H、または、またはで表される こと も ある 。 ∇ ∇ {\displaystyle \nabla \nabla } ∇ 2 {\displaystyle \nabla ^{2}} ∇ ⊗ ∇ {\displaystyle \nabla \otimes \nabla } D 2 {\displaystyle D^{2}}
定義とプロパティ はベクトルを入力として スカラーを出力する関数であるとする。 の 2階偏 微分が すべて存在する場合、の ヘッセ行列は 正方 行列であり、通常は次のように定義され、配置される。 つまり、 i 行 j 列目 の要素は f : R n → R {\displaystyle f:\mathbb {R} ^{n}\to \mathbb {R} } x ∈ R n {\displaystyle \mathbf {x} \in \mathbb {R} ^{n}} f ( x ) ∈ R . {\displaystyle f(\mathbf {x} )\in \mathbb {R} .} f {\displaystyle f} H {\displaystyle \mathbf {H} } f {\displaystyle f} n × n {\displaystyle n\times n} H f = [ ∂ 2 f ∂ x 1 2 ∂ 2 f ∂ x 1 ∂ x 2 ⋯ ∂ 2 f ∂ x 1 ∂ x n ∂ 2 f ∂ x 2 ∂ x 1 ∂ 2 f ∂ x 2 2 ⋯ ∂ 2 f ∂ x 2 ∂ x n ⋮ ⋮ ⋱ ⋮ ∂ 2 f ∂ x n ∂ x 1 ∂ 2 f ∂ x n ∂ x 2 ⋯ ∂ 2 f ∂ x n 2 ] . {\displaystyle \mathbf {H} _{f}={\begin{bmatrix}{\dfrac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}}.} ( H f ) i , j = ∂ 2 f ∂ x i ∂ x j . {\displaystyle (\mathbf {H} _{f})_{i,j}={\frac {\partial ^{2}f}{\partial x_{i}\,\partial x_{j}}}.}
さらに、2 番目の偏導関数がすべて連続している場合、 2 番目の導関数の対称性 により、ヘッセ行列は 対称行列に なります。
ヘッセ行列の行列式はヘッセ行列式と呼ば れる 。 [ 1 ]
関数のヘッセ行列は、 関数の 勾配 の ヤコビ行列 の 転置 です 。つまり、 f {\displaystyle f} f {\displaystyle f} H ( f ( x ) ) = J ( ∇ f ( x ) ) T . {\displaystyle \mathbf {H} (f(\mathbf {x} ))=\mathbf {J} (\nabla f(\mathbf {x} ))^{\mathsf {T}}.}
アプリケーション
変曲点 が3変数同次多項式 である 場合 、方程式は 平面射影曲線 の 暗黙方程式 となる 。曲線の 変曲点 は、ヘッセ行列式が0となる非特異点と全く同じである。 ベズーの定理によれば、ヘッセ行列式は3次多項式であるため、3 次平面曲線は 最大 9個の変曲点を持つ。 f {\displaystyle f} f = 0 {\displaystyle f=0}
2次導関数検定 凸関数 のヘッセ行列は 半正定値行列 である。この性質を改良することで、 臨界点が 極大値、極小値、あるいは鞍点のいずれ であるかを以下のように判定することができる。 x {\displaystyle x}
ヘッセ行列が で 正定値行列 である場合、は で 孤立した局所最小値を達成します。 ヘッセ行列が で 負定値行列 である場合、は で 孤立した局所最大値を達成します。 ヘッセ行列が正と負の 固有値の 両方を持つ場合、 は の鞍点 となります。それ以外 の 場合、この検定は決定的ではありません。これは、局所最小値ではヘッセ行列が半正定値行列であり、局所最大値ではヘッセ行列が半負定値行列であることを意味します。 x , {\displaystyle x,} f {\displaystyle f} x . {\displaystyle x.} x , {\displaystyle x,} f {\displaystyle f} x . {\displaystyle x.} x {\displaystyle x} f . {\displaystyle f.}
半正定値および半負定値ヘッセ行列については、この検定は決定的なものではない（ヘッセ行列が半正定値でありながら正定値ではない臨界点は、局所的極値または鞍点である可能性がある）。しかし、モース理論 の観点からは、より多くのことが言える 。
1変数および2変数関数の2階微分検定は、一般の場合よりも簡単です。1変数の場合、ヘッセ行列には2階微分が1つだけ含まれます。2階微分が正であれば 極小 値 、負であれば 極大値となります。0の場合、検定は不確定です。2変数の場合、行列 式は 固有値の積であるため、行列式を使用できます。行列式が正であれば、固有値は両方とも正、または両方とも負です。行列式が負であれば、2つの固有値の符号が異なります。行列式が0の場合、2階微分検定は不確定です。 x {\displaystyle x} x {\displaystyle x}
同様に、局所的最小値または最大値の十分条件となる2階の条件は、ヘッセ行列の主（左上端） 小 行列式（部分行列の行列式）の列で表現できます。これらの条件は、制約付き最適化における境界付きヘッセ行列について次節で示す条件の特殊なケース、つまり制約の数が0の場合です。具体的には、最小値の十分条件は、これらの主小行列式がすべて正であることであり、最大値の十分条件は、これらの小行列式の符号が交互に変化し、小行列式が 負であることです。 1 × 1 {\displaystyle 1\times 1}
重要なポイント 関数の 勾配 （偏導関数のベクトル）がある点でゼロになる 場合、関数は に 臨界点 （または 停留点 ） を持ちます。 におけるヘッセ 行列 の行列式は、文脈によっては 判別式 と呼ばれます 。この行列式がゼロの場合、 は の 退化した臨界点 、または の 非モース臨界点 と呼ばれます。 そうでない場合は、 は退化していないため、 の モース臨界点と呼ばれます。 f {\displaystyle f} x , {\displaystyle \mathbf {x} ,} f {\displaystyle f} x . {\displaystyle \mathbf {x} .} x {\displaystyle \mathbf {x} } x {\displaystyle \mathbf {x} } f , {\displaystyle f,} f . {\displaystyle f.} f . {\displaystyle f.}
ヘッセ行列は、 その 核 と 固有値 によって臨界点の分類が可能になるため、 モース理論 や カタストロフィー理論において重要な役割を果たしている。 [2] [3] [4]
ヘッセ行列の行列式は、関数の臨界点において評価されると、多様体として捉えられた関数の ガウス曲率 に等しい。その点におけるヘッセ行列の固有値は関数の主曲率であり、固有ベクトルは曲率の主方向である。（ ガウス曲率 § 主曲率との関係 を 参照。）
最適化での使用 ヘッセ行列は、関数の局所テイラー展開 の二次項の係数であるため、 ニュートン 法における 大規模 最適化 問題で用いられる。つまり、 勾配 は
で ある。 完全なヘッセ行列を計算して保存するにはメモリを消費するため、 ニューラルネットワーク の 損失関数 、 条件付きランダムフィールド 、その他多数のパラメータを持つ 統計モデル などの高次元関数では実現不可能である 。このような状況に対処するため、 打ち切りニュートン 法と 準ニュートン 法が開発されている。後者のアルゴリズム群はヘッセ行列の近似値を用いる。最も一般的な準ニュートン法の1つは BFGS である。 [5] y = f ( x + Δ x ) ≈ f ( x ) + ∇ f ( x ) T Δ x + 1 2 Δ x T H ( x ) Δ x {\displaystyle y=f(\mathbf {x} +\Delta \mathbf {x} )\approx f(\mathbf {x} )+\nabla f(\mathbf {x} )^{\mathsf {T}}\Delta \mathbf {x} +{\frac {1}{2}}\,\Delta \mathbf {x} ^{\mathsf {T}}\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} } ∇ f {\displaystyle \nabla f} ( ∂ f ∂ x 1 , … , ∂ f ∂ x n ) . {\displaystyle \left({\frac {\partial f}{\partial x_{1}}},\ldots ,{\frac {\partial f}{\partial x_{n}}}\right).} Θ ( n 2 ) {\displaystyle \Theta \left(n^{2}\right)}
このような近似では、最適化アルゴリズムがヘッセ行列を線形演算子 としてのみ使用するという事実を利用し 、まずヘッセ行列が勾配の局所展開にも現れることに注意して進めます。 H ( v ) , {\displaystyle \mathbf {H} (\mathbf {v} ),} ∇ f ( x + Δ x ) = ∇ f ( x ) + H ( x ) Δ x + O ( ‖ Δ x ‖ 2 ) {\displaystyle \nabla f(\mathbf {x} +\Delta \mathbf {x} )=\nabla f(\mathbf {x} )+\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} +{\mathcal {O}}(\|\Delta \mathbf {x} \|^{2})}
あるスカラーを 仮定すると 、となる。
したがって 、 勾配が既に計算されている場合、近似ヘッセ行列は線形（勾配の大きさに比例）回数のスカラー演算によって計算できる。（この近似法はプログラムが簡単である一方、項 による誤差を防ぐために小さくする必要があり 、それを小さくすると最初の項の精度が失われるため、数値的に安定ではない。 [6] ） Δ x = r v {\displaystyle \Delta \mathbf {x} =r\mathbf {v} } r , {\displaystyle r,} H ( x ) Δ x = H ( x ) r v = r H ( x ) v = ∇ f ( x + r v ) − ∇ f ( x ) + O ( r 2 ) , {\displaystyle \mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} =\mathbf {H} (\mathbf {x} )r\mathbf {v} =r\mathbf {H} (\mathbf {x} )\mathbf {v} =\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )+{\mathcal {O}}(r^{2}),} H ( x ) v = 1 r [ ∇ f ( x + r v ) − ∇ f ( x ) ] + O ( r ) {\displaystyle \mathbf {H} (\mathbf {x} )\mathbf {v} ={\frac {1}{r}}\left[\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )\right]+{\mathcal {O}}(r)} r {\displaystyle r} O ( r ) {\displaystyle {\mathcal {O}}(r)}
ランダム化探索ヒューリスティックスに関して特に注目すべきは、 進化戦略 の共分散行列が、スカラー因子と小さなランダム変動 を除けば 、ヘッセ行列の逆行列に適応する点である。この結果は、個体群サイズが増加するにつれて、単親戦略と静的モデルにおいて、二次近似を用いて正式に証明されている。 [7]
その他のアプリケーション ヘッセ行列は、 画像処理 や コンピュータビジョン における画像処理演算子の表現に広く用いられています（ ガウス分布のラプラシアン （LoG）ブロブ検出器、 ヘッセ行列式（DoH）ブロブ検出器 、 スケールスペースを参照）。これは、 赤外分光法 における異なる分子周波数を計算するために、 通常モード 解析に用いることができます 。 [8] また、局所感度や統計診断にも用いられます。 [9]
一般化
縁取りヘッセン 境界付きヘッセ行列 は 、特定の制約付き最適化問題における2次導関数検定に用いられる。前述の関数を仮定するが、境界付きヘッセ行列が ラグランジュ関数 のヘッセ行列 となるような 制約関数を追加すると、次のようになる 。 [10] f {\displaystyle f} g {\displaystyle g} g ( x ) = c , {\displaystyle g(\mathbf {x} )=c,} Λ ( x , λ ) = f ( x ) + λ [ g ( x ) − c ] {\displaystyle \Lambda (\mathbf {x} ,\lambda )=f(\mathbf {x} )+\lambda [g(\mathbf {x} )-c]} H ( Λ ) = [ ∂ 2 Λ ∂ λ 2 ∂ 2 Λ ∂ λ ∂ x ( ∂ 2 Λ ∂ λ ∂ x ) T ∂ 2 Λ ∂ x 2 ] = [ 0 ∂ g ∂ x 1 ∂ g ∂ x 2 ⋯ ∂ g ∂ x n ∂ g ∂ x 1 ∂ 2 Λ ∂ x 1 2 ∂ 2 Λ ∂ x 1 ∂ x 2 ⋯ ∂ 2 Λ ∂ x 1 ∂ x n ∂ g ∂ x 2 ∂ 2 Λ ∂ x 2 ∂ x 1 ∂ 2 Λ ∂ x 2 2 ⋯ ∂ 2 Λ ∂ x 2 ∂ x n ⋮ ⋮ ⋮ ⋱ ⋮ ∂ g ∂ x n ∂ 2 Λ ∂ x n ∂ x 1 ∂ 2 Λ ∂ x n ∂ x 2 ⋯ ∂ 2 Λ ∂ x n 2 ] = [ 0 ∂ g ∂ x ( ∂ g ∂ x ) T ∂ 2 Λ ∂ x 2 ] {\displaystyle \mathbf {H} (\Lambda )={\begin{bmatrix}{\dfrac {\partial ^{2}\Lambda }{\partial \lambda ^{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial \lambda \partial \mathbf {x} }}\\\left({\dfrac {\partial ^{2}\Lambda }{\partial \lambda \partial \mathbf {x} }}\right)^{\mathsf {T}}&{\dfrac {\partial ^{2}\Lambda }{\partial \mathbf {x} ^{2}}}\end{bmatrix}}={\begin{bmatrix}0&{\dfrac {\partial g}{\partial x_{1}}}&{\dfrac {\partial g}{\partial x_{2}}}&\cdots &{\dfrac {\partial g}{\partial x_{n}}}\\[2.2ex]{\dfrac {\partial g}{\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial g}{\partial x_{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial g}{\partial x_{n}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}^{2}}}\end{bmatrix}}={\begin{bmatrix}0&{\dfrac {\partial g}{\partial \mathbf {x} }}\\\left({\dfrac {\partial g}{\partial \mathbf {x} }}\right)^{\mathsf {T}}&{\dfrac {\partial ^{2}\Lambda }{\partial \mathbf {x} ^{2}}}\end{bmatrix}}}
たとえば、制約がある場合 、左上隅のゼロは ゼロのブロックになり、 上部に 境界行、左側に境界列が存在します。 m {\displaystyle m} m × m {\displaystyle m\times m} m {\displaystyle m} m {\displaystyle m}
極値は（非特異ヘッセ行列を持つ臨界点の間では）正定値または負定値のヘッセ行列によって特徴付けられると述べている上記の規則は、境界付きヘッセ行列は負定値にも正定値にもなり得ないため、ここでは適用できません 。これは、唯一の非ゼロ要素が最初の要素である任意のベクトルの 場合と同じです。 z T H z = 0 {\displaystyle \mathbf {z} ^{\mathsf {T}}\mathbf {H} \mathbf {z} =0} z {\displaystyle \mathbf {z} }
ここでの2次導関数テストは、 境界付きヘッセ行列の特定の集合の部分行列の行列式の符号制約から構成されます。 [11] 直感的には、 制約は問題を自由変数の問題に縮小するものと考えることができます 。（例えば、 制約条件の下での最大化は、制約条件なしで の最大化に縮小できます 。） n − m {\displaystyle n-m} m {\displaystyle m} n − m {\displaystyle n-m} f ( x 1 , x 2 , x 3 ) {\displaystyle f\left(x_{1},x_{2},x_{3}\right)} x 1 + x 2 + x 3 = 1 {\displaystyle x_{1}+x_{2}+x_{3}=1} f ( x 1 , x 2 , 1 − x 1 − x 2 ) {\displaystyle f\left(x_{1},x_{2},1-x_{1}-x_{2}\right)}
具体的には、境界付きヘッセ行列の主要な主小行列式（左上揃えの部分行列の行列式）のシーケンスに符号条件が課せられ、最初の 主要な主小行列式は無視され、最小の小行列式は切り捨てられた最初の 行と列で構成され、次の小行列式は切り捨てられた最初の 行と列で構成され、以下同様に続き、最後は境界付きヘッセ行列全体になります。 が より大きい場合 、最小の主要な主小行列式はヘッセ行列そのものです。 [12] したがって 、特定のポイントで評価される各小行列式が 最大値 または 最小値 の候補として考えられます。 極大値 のための十分な条件 は、これらの小行列式の符号が交互に変化し、最小の小行列式の符号が になることです。極小 値 のための十分な条件 は、これらの小行列式の符号がすべての小行列式の符号が になることです （これらの条件の制約なしの場合、 境界なしヘッセ行列がそれぞれ負定値または正定値になるための条件と一致する）。 2 m {\displaystyle 2m} 2 m + 1 {\displaystyle 2m+1} 2 m + 2 {\displaystyle 2m+2} 2 m + 1 {\displaystyle 2m+1} n + m , {\displaystyle n+m,} n − m {\displaystyle n-m} ( − 1 ) m + 1 . {\displaystyle (-1)^{m+1}.} ( − 1 ) m . {\displaystyle (-1)^{m}.} m = 0 {\displaystyle m=0}
ベクトル値関数 がベクトル場 、つまり である 場合 、 2階偏微分の総和は 行列ではなく、3階 テンソル となる。これはの各成分に対応するヘッセ行列 の配列と考えることができる 。 このテンソルは、 のとき、通常のヘッセ行列に退化する。 f {\displaystyle f} f : R n → R m , {\displaystyle \mathbf {f} :\mathbb {R} ^{n}\to \mathbb {R} ^{m},} f ( x ) = ( f 1 ( x ) , f 2 ( x ) , … , f m ( x ) ) , {\displaystyle \mathbf {f} (\mathbf {x} )=\left(f_{1}(\mathbf {x} ),f_{2}(\mathbf {x} ),\ldots ,f_{m}(\mathbf {x} )\right),} n × n {\displaystyle n\times n} m {\displaystyle m} f {\displaystyle \mathbf {f} } H ( f ) = ( H ( f 1 ) , H ( f 2 ) , … , H ( f m ) ) . {\displaystyle \mathbf {H} (\mathbf {f} )=\left(\mathbf {H} (f_{1}),\mathbf {H} (f_{2}),\ldots ,\mathbf {H} (f_{m})\right).} m = 1. {\displaystyle m=1.}
複雑なケースへの一般化 複素変数が複数 ある場合 、ヘッセ行列は一般化できます。 と仮定し 、 と書きます。 と 同一視すると 、通常の「実」ヘッセ行列は 行列です。 複素変数が複数ある場合の研究対象は 正則関数 、つまりn次元 コーシー・リーマン条件 の解であるため、通常はヘッセ行列のうち、正則な座標変換に対して不変な情報を含む部分に注目します。この「部分」はいわゆる複素ヘッセ行列で、行列 です。 が正則である 場合 、その複素ヘッセ行列は恒等的にゼロとなるため、複素ヘッセ行列は滑らかな関数の研究に用いられますが、正則関数の研究には用いられません。例えば、 レヴィ擬凸性 を参照してください。正則関数を扱う場合、ヘッセ行列 を検討することができます。 f : C n → C , {\displaystyle f\colon \mathbb {C} ^{n}\to \mathbb {C} ,} f ( z 1 , … , z n ) . {\displaystyle f\left(z_{1},\ldots ,z_{n}\right).} C n {\displaystyle {\mathbb {C} }^{n}} R 2 n {\displaystyle {\mathbb {R} }^{2n}} 2 n × 2 n {\displaystyle 2n\times 2n} ( ∂ 2 f ∂ z j ∂ z ¯ k ) j , k . {\displaystyle \left({\frac {\partial ^{2}f}{\partial z_{j}\partial {\bar {z}}_{k}}}\right)_{j,k}.} f {\displaystyle f} ( ∂ 2 f ∂ z j ∂ z k ) j , k . {\displaystyle \left({\frac {\partial ^{2}f}{\partial z_{j}\partial z_{k}}}\right)_{j,k}.}
リーマン多様体への一般化 をリーマン多様 体とし 、 その レヴィ・チヴィタ接続 とする 。 を滑らかな関数とする。ヘッセテンソルを で定義する。 これは、関数の第一共変微分がその常微分と同じであるという事実を利用している。局所座標を選択すると、 ヘッセ行列の局所表現は となる
。 ここでは接続の クリストッフェル記号 である 。ヘッセ行列の他の同値な形式は で与えられる。 ( M , g ) {\displaystyle (M,g)} ∇ {\displaystyle \nabla } f : M → R {\displaystyle f:M\to \mathbb {R} } Hess ( f ) ∈ Γ ( T ∗ M ⊗ T ∗ M ) by Hess ( f ) := ∇ ∇ f = ∇ d f , {\displaystyle \operatorname {Hess} (f)\in \Gamma \left(T^{*}M\otimes T^{*}M\right)\quad {\text{ by }}\quad \operatorname {Hess} (f):=\nabla \nabla f=\nabla df,} { x i } {\displaystyle \left\{x^{i}\right\}} Hess ( f ) = ∇ i ∂ j f d x i ⊗ d x j = ( ∂ 2 f ∂ x i ∂ x j − Γ i j k ∂ f ∂ x k ) d x i ⊗ d x j {\displaystyle \operatorname {Hess} (f)=\nabla _{i}\,\partial _{j}f\ dx^{i}\!\otimes \!dx^{j}=\left({\frac {\partial ^{2}f}{\partial x^{i}\partial x^{j}}}-\Gamma _{ij}^{k}{\frac {\partial f}{\partial x^{k}}}\right)dx^{i}\otimes dx^{j}} Γ i j k {\displaystyle \Gamma _{ij}^{k}} Hess ( f ) ( X , Y ) = ⟨ ∇ X grad f , Y ⟩ and Hess ( f ) ( X , Y ) = X ( Y f ) − d f ( ∇ X Y ) . {\displaystyle \operatorname {Hess} (f)(X,Y)=\langle \nabla _{X}\operatorname {grad} f,Y\rangle \quad {\text{ and }}\quad \operatorname {Hess} (f)(X,Y)=X(Yf)-df(\nabla _{X}Y).}
参照
参考文献
^ ビンモア, ケン ; デイヴィス, ジョアン (2007). 微積分の概念と方法 . ケンブリッジ大学出版局. p. 190. ISBN 978-0-521-77541-0 . OCLC 717598615。 ^ Callahan, James J. (2010). Advanced Calculus: A Geometric View. Springer Science & Business Media. p. 248. ISBN 978-1-4419-7332-0 。 ^ Casciaro, B.; Fortunato, D.; Francaviglia, M.; Masiello, A. 編 (2011). 一般相対性理論の最近の発展. Springer Science & Business Media. p. 178. ISBN 978-88-470-2113-6 。 ^ Domenico PL Castrigiano; Sandra A. Hayes (2004). 『カタストロフィー理論 』 Westview Press. p. 18. ISBN 978-0-8133-4126-2 。 ^ Nocedal, Jorge ; Wright, Stephen (2000). 数値最適化 . Springer Verlag. ISBN 978-0-387-98793-4 。 ^ Pearlmutter, Barak A. (1994). 「ヘッセ行列による高速厳密乗算」 (PDF) . ニューラル・コンピュテーション . 6 (1): 147– 160. doi :10.1162/neco.1994.6.1.147. S2CID 1251969. ^ Shir, OM; A. Yehudayoff (2020). 「進化戦略における共分散-ヘッセ行列関係について」. 理論計算機科学 . 801. Elsevier: 157–174 . arXiv : 1806.03674 . doi : 10.1016/j.tcs.2019.09.002 . ^ Mott, Adam J.; Rez, Peter (2014年12月24日). 「タンパク質の赤外スペクトルの計算」 . European Biophysics Journal . 44 (3): 103– 112. doi :10.1007/s00249-014-1005-6. ISSN 0175-7571. PMID 25538002. S2CID 2945423. ^ Liu, Shuangzhe; Leiva, Victor; Zhuang, Dan; Ma, Tiefeng; Figueroa-Zúñiga, Jorge I. (2022年3月). 「行列微分計算とその多変量線形モデルへの応用とその診断法」. Journal of Multivariate Analysis . 188 104849. doi : 10.1016/j.jmva.2021.104849 . ^ Hallam, Arne (2004年10月7日). 「Econ 500: 経済分析における定量的手法 I」 (PDF) . アイオワ州立大学 . ^ ノイデッカー、ハインツ、マグナス、ヤン・R. (1988). 行列微分積分学とその統計・計量経済学への応用 . ニューヨーク: ジョン・ワイリー・アンド・サンズ . p. 136. ISBN 978-0-471-91516-4 。 ^ Chiang, Alpha C. (1984). 『数理経済学の基礎的手法（第3版）』McGraw-Hill. p. 386. ISBN 978-0-07-010813-4 。
さらに読む
外部リンク
![{\displaystyle \mathbf {H} _{f}={\begin{bmatrix}{\dfrac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3415c5d5fc9cdae0acb6b3d4666a3c26d06da915)
![{\displaystyle \mathbf {H} (\mathbf {x} )\mathbf {v} ={\frac {1}{r}}\left[\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )\right]+{\mathcal {O}}(r)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e7655a1df4945c74b185fc3f94a4991346994fc6)
![{\displaystyle \Lambda (\mathbf {x} ,\lambda )=f(\mathbf {x} )+\lambda [g(\mathbf {x} )-c]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1b2f76731859fe6258147f50e7d32bbf863fb48e)
![{\displaystyle \mathbf {H} (\Lambda )={\begin{bmatrix}{\dfrac {\partial ^{2}\Lambda }{\partial \lambda ^{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial \lambda \partial \mathbf {x} }}\\\left({\dfrac {\partial ^{2}\Lambda }{\partial \lambda \partial \mathbf {x} }}\right)^{\mathsf {T}}&{\dfrac {\partial ^{2}\Lambda }{\partial \mathbf {x} ^{2}}}\end{bmatrix}}={\begin{bmatrix}0&{\dfrac {\partial g}{\partial x_{1}}}&{\dfrac {\partial g}{\partial x_{2}}}&\cdots &{\dfrac {\partial g}{\partial x_{n}}}\\[2.2ex]{\dfrac {\partial g}{\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial g}{\partial x_{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial g}{\partial x_{n}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}^{2}}}\end{bmatrix}}={\begin{bmatrix}0&{\dfrac {\partial g}{\partial \mathbf {x} }}\\\left({\dfrac {\partial g}{\partial \mathbf {x} }}\right)^{\mathsf {T}}&{\dfrac {\partial ^{2}\Lambda }{\partial \mathbf {x} ^{2}}}\end{bmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c0cd792434fccdc124364b8ce1ca395c75288482)
