Specialized notation for multivariable calculus
数学 において 、 行列計算は 多変数計算 、特に 行列 空間上での計算を行うための特殊な表記法です 。行列計算は、 単一の 関数の多 変数 に関する偏 微分 、および／または 多変数関数 の単一変数に関する偏微分を、 単一の実体として扱える ベクトルや行列にまとめます。これにより、多変数関数の最大値や最小値を求めたり、 微分方程式 系を解いたりといった演算が大幅に簡素化されます。ここで用いられる表記法は 統計学 や 工学 で一般的に用いられていますが、 物理学では テンソル指数表記法 が好まれます 。
2 つの競合する表記法の慣習により、行列計算の分野は 2 つの別々のグループに分かれています。2 つのグループは、 スカラー のベクトルに関する導関数を 列ベクトルとするか行ベクトル とするかで区別できます。ベクトルは、行列と組み合わせる場合は行ベクトルではなく列ベクトルとして扱うべきであるという共通の仮定がなされた場合でも、これらの慣習は両方とも可能です。行列計算をよく使用する 1 つの分野 ( 計量経済学 、統計学、 推定理論 、 機械学習 など) では、1 つの慣習がほぼ標準になることがあります。ただし、特定の分野内であっても、異なる著者が競合する慣習を使用していることがあります。両グループの著者は、多くの場合、自分たちの特定の慣習が標準であるかのように書いています。互換性のある表記法が使用されていることを慎重に確認せずに、異なる著者の結果を組み合わせると、重大な間違いを犯す可能性があります。これら 2 つの慣習の定義と比較は、レイアウト慣習のセクションにまとめられています。
範囲 行列計算とは、行列とベクトルを用いて従属変数の各要素を独立変数の各要素に対して微分する様々な表記法を指します。一般的に、独立変数はスカラー、ベクトル、または行列のいずれかであり、従属変数もこれらのいずれかです。それぞれの状況に応じて、異なる規則、あるいはより広い意味での 「計算法」 が用いられます。行列表記法は、多くの微分を整理してまとめる便利な方法です。
最初の例として、 ベクトル解析 の 勾配 を考えてみましょう。3つの独立変数を持つスカラー関数 の場合 、勾配はベクトル方程式で与えられます。 f ( x 1 , x 2 , x 3 ) {\displaystyle f(x_{1},x_{2},x_{3})}
∇ f = ∂ f ∂ x 1 x ^ 1 + ∂ f ∂ x 2 x ^ 2 + ∂ f ∂ x 3 x ^ 3 , {\displaystyle \nabla f={\frac {\partial f}{\partial x_{1}}}{\hat {x}}_{1}+{\frac {\partial f}{\partial x_{2}}}{\hat {x}}_{2}+{\frac {\partial f}{\partial x_{3}}}{\hat {x}}_{3},} ここで、 は の方向 の単位ベクトルを表します。このタイプの一般化微分は、スカラー f のベクトル に関する 微分として見ることができ 、その結果はベクトル形式で簡単にまとめることができます。 x ^ i {\displaystyle {\hat {x}}_{i}} x i {\displaystyle x_{i}} 1 ≤ i ≤ 3 {\displaystyle 1\leq i\leq 3} x {\displaystyle \mathbf {x} }
∇ f = ( ∂ f ∂ x ) T = [ ∂ f ∂ x 1 ∂ f ∂ x 2 ∂ f ∂ x 3 ] T . {\displaystyle \nabla f=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\mathsf {T}}={\begin{bmatrix}{\dfrac {\partial f}{\partial x_{1}}}&{\dfrac {\partial f}{\partial x_{2}}}&{\dfrac {\partial f}{\partial x_{3}}}\\\end{bmatrix}}^{\textsf {T}}.} より複雑な例としては、スカラー関数の行列に対する微分（勾配行列と呼ばれる）が挙げられます。これは、結果の行列内の対応する位置にある各行列要素に対する微分をまとめたものです。この場合、スカラーは行列内の各独立変数の関数でなければなりません。別の例として、 m個 の独立変数からなる従属変数または関数の n ベクトルがある場合、従属ベクトルの独立ベクトルに対する微分を考えることができます。結果は、すべての可能な微分の組み合わせからなる m × n 行列にまとめることができます。
スカラー、ベクトル、行列を用いた場合、合計9つの可能性があります。独立変数と従属変数のそれぞれの要素の数が増えるにつれて、非常に多くの可能性が残されることに注意してください。行列形式で最も整理しやすい6種類の微分を次の表に示します。 [1]
行列微分の種類 種類 スカラー ベクター マトリックス スカラー ∂ y ∂ x {\displaystyle {\frac {\partial y}{\partial x}}} ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}} ∂ Y ∂ x {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}} ベクター ∂ y ∂ x {\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}} ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}} マトリックス ∂ y ∂ X {\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}
ここでは「行列」という用語を最も一般的な意味で使用しており、ベクトルは単に1列の行列であり（スカラーは単に1行のベクトルである）、ベクトルは単に1列の行列であることを理解しています。さらに、太字はベクトルを、太字の大文字は行列を示しています。この表記法は本文全体で使用されています。
ベクトルの行列に対する微分、あるいは表の他の空欄に対する微分についても言及できることに注意してください。しかし、これらの微分は2階以上の テンソル に最も自然にまとめられるため、行列にうまく収まりません。以下の3つのセクションでは、これらの微分をそれぞれ定義し、他の数学の分野と関連付けます。より詳細な表については、レイアウト規則のセクションを参照してください。
他のデリバティブとの関係 行列微分は、計算を行う際に偏微分を記録するのに便利な表記法です。 フレシェ微分は、 関数解析 の分野において ベクトルに関する微分を取るための標準的な方法です。行列の行列関数がフレシェ微分可能である場合、2つの微分は表記の変換を除いて一致するでしょう。偏 微分 の場合に一般的に当てはまるように、一部の公式は、線型写像を近似する微分の存在よりも弱い解析的条件下で拡張されることがあります。
用途 行列計算は最適な確率推定値を導出するために用いられ、多くの場合ラグランジュ乗数 を用いる 。これには以下の導出が含まれる。
表記 以降のセクションで説明するベクトル導関数と行列導関数は 、多数の変数を 1 つの変数で表すという 行列表記法の利点を最大限に活用しています。以下では、スカラー、ベクトル、行列をその書体で区別します。 M ( n , m ) で、 n 行 m 列の実数 n × m 行列の空間を表すことに します。このような行列は、太字の大文字を使用して A 、 X 、 Yなどと表記します。 M ( n ,1) の要素 、つまり 列ベクトル は、太字の小文字で a 、 x 、 yなどと表記します。 M (1,1) の要素は スカラーであり、小文字のイタリック体書体で a 、 t 、 x などと表記します。 X T は行列の 転置 、 tr( X ) は トレース 、 det( X ) または | X |は 行列式 です 。特に断りのない限り、すべての関数は 微分可能クラス C 1 であると仮定します 。一般的に、アルファベットの前半の文字（a、b、c、…）は定数を表し、後半の文字（t、x、y、…）は変数を表します。
注 ：前述の通り、ベクトルと行列における 偏微分系 のレイアウトには競合する表記法が存在し、まだ標準的なものは確立されていないようです。次の2つの導入セクションでは、議論が過度に複雑になるのを避けるため、便宜上、分子のレイアウト規則を使用します。その後のセクションでは、レイアウト規則についてより詳細に説明します。以下の点を理解することが重要です。
「分子レイアウト」と「分母レイアウト」という用語が使われているにもかかわらず、実際には表記法の選択肢は2つ以上あります。その理由は、分子と分母（あるいは場合によっては分子と混合）の選択は、スカラー×ベクトル、ベクトル×スカラー、ベクトル×ベクトル、スカラー×行列の導関数それぞれで独立して行えるためであり、多くの著者が様々な方法でこれらのレイアウトを組み合わせています。 以下の導入セクションで分子のレイアウトを選択しているからといって、それが「正しい」あるいは「優れた」選択であるとは限りません。それぞれのレイアウトには長所と短所があります。異なるレイアウトで記述された数式を不用意に組み合わせると、重大なミスにつながる可能性があり、あるレイアウトから別のレイアウトに変換する際には、ミスを避けるために注意が必要です。したがって、既存の数式を扱う際には、あらゆる状況で同じレイアウトを使用するのではなく、使用されているレイアウトを特定し、一貫性を保つことが最善策と言えるでしょう。
代替案 テンソル のインデックス表記法 とその アインシュタイン総和 規則は、一度に 1 つの要素しか記述しないことを除けば、行列計算と非常によく似ています。この表記法には、任意の高階数のテンソルを簡単に操作できるという利点がありますが、2 階以上のテンソルは行列表記では扱いにくくなります。ここでのすべての作業は、単変数行列表記法を使用せずにこの表記法で行うことができます。ただし、推定理論やその他の応用数学の分野では、インデックスが多すぎて適切に追跡できない問題が多く発生するため、これらの分野では行列計算の方が適しています。また、アインシュタイン表記法は、ここで提示した恒等式を証明する際に、明示的な和を持ち運ぶときに扱いにくくなる可能性がある一般的な要素表記法の代わりとして非常に役立ちます ( 微分化 のセクションを参照)。行列は階数 2 のテンソルと見なすことができることに注意してください。
ベクトルによる微分 ベクトルは 1 列のみの行列であるため、最も単純な行列微分はベクトル微分です。
ここで展開される記法は、 n ベクトル の 空間 M ( n ,1)を ユークリッド空間 Rnと同一視 し 、スカラー M (1,1)を R と同一視することで、 ベクトル解析 の通常の演算に対応する。ベクトル解析における対応する概念は、各節の末尾に示されている。
注 ：このセクションでは、教育上の目的から分子のレイアウト規則を前提としています。著者によっては異なる規則を使用している場合もあります。レイアウト規則のセクションでは、この問題についてより詳細に説明しています。後述の恒等式は、一般的なレイアウト規則と組み合わせて使用できる形式で提示されています。
ベクトル×スカラー ベクトル の スカラー x による微分 は 、 （分子レイアウト表記法で）次のように表されます。 y = [ y 1 y 2 ⋯ y m ] T {\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}}
d y d x = [ d y 1 d x d y 2 d x ⋮ d y m d x ] . {\displaystyle {\frac {d\mathbf {y} }{dx}}={\begin{bmatrix}{\frac {dy_{1}}{dx}}\\{\frac {dy_{2}}{dx}}\\\vdots \\{\frac {dy_{m}}{dx}}\\\end{bmatrix}}.} ベクトル解析 において、ベクトル yのスカラー x に関する 微分は、 ベクトル yの 接線ベクトル と呼ばれます 。 ここで、 y : R 1 → R m であることに注意してください。 ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}
例 簡単な例としては、 ユークリッド空間 における 速度ベクトルが挙げられます。これは 位置 ベクトル（時間の関数として考えた場合） の 接線ベクトル です。また、 加速度 は速度の接線ベクトルです。
スカラー×ベクトル スカラー y の ベクトルによる 微分 は 、（分子レイアウト表記法で）次のように表される。 x = [ x 1 x 2 ⋯ x n ] {\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}}
∂ y ∂ x = [ ∂ y ∂ x 1 ∂ y ∂ x 2 ⋯ ∂ y ∂ x n ] . {\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}={\begin{bmatrix}{\dfrac {\partial y}{\partial x_{1}}}&{\dfrac {\partial y}{\partial x_{2}}}&\cdots &{\dfrac {\partial y}{\partial x_{n}}}\end{bmatrix}}.} ベクトル計算 では 、 スカラー場 f : R n → R (その独立座標は x の成分) の 勾配 は、スカラーをベクトルで微分したものの転置です。
∇ f = [ ∂ f ∂ x 1 ⋮ ∂ f ∂ x n ] = ( ∂ f ∂ x ) T {\displaystyle \nabla f={\begin{bmatrix}{\frac {\partial f}{\partial x_{1}}}\\\vdots \\{\frac {\partial f}{\partial x_{n}}}\end{bmatrix}}=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\mathsf {T}}} たとえば、物理学では、 電場は 電位 の 負のベクトル 勾配 です。
空間ベクトル x のスカラー関数 f ( x )の単位ベクトル u (この場合は列ベクトルとして表される) の方向への 方向 微分は、次のように勾配を使用して定義されます。
∇ u f ( x ) = ∇ f ( x ) ⋅ u {\displaystyle \nabla _{\mathbf {u} }{f}(\mathbf {x} )=\nabla f(\mathbf {x} )\cdot \mathbf {u} } ベクトルに関するスカラーの微分に対して定義した表記法を使用すると、方向微分を と書き直すことができます。
このタイプの表記法は、スカラー 微分 でよく知られているものと似た積則や連鎖律を証明するときに便利です 。 ∇ u f = ∂ f ∂ x u . {\displaystyle \nabla _{\mathbf {u} }f={\frac {\partial f}{\partial \mathbf {x} }}\mathbf {u} .}
ベクトルごと 前の2つのケースはそれぞれ、ベクトルのベクトルに関する微分（ただし、サイズ1のベクトルを適切に用いた）の適用とみなすことができます。同様に、行列を含む微分は、対応する方法でベクトルを含む微分に帰着することがわかります。
ベクトル関数 （成分が関数であるベクトル）の 入力ベクトルに対する 微分は 、（分子レイアウト表記法で）次のように表されます。 y = [ y 1 y 2 ⋯ y m ] T {\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}} x = [ x 1 x 2 ⋯ x n ] T {\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}
∂ y ∂ x = [ ∂ y 1 ∂ x 1 ∂ y 1 ∂ x 2 ⋯ ∂ y 1 ∂ x n ∂ y 2 ∂ x 1 ∂ y 2 ∂ x 2 ⋯ ∂ y 2 ∂ x n ⋮ ⋮ ⋱ ⋮ ∂ y m ∂ x 1 ∂ y m ∂ x 2 ⋯ ∂ y m ∂ x n ] . {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.} ベクトル計算 では、 要素が空間を表すベクトル x に関するベクトル関数 y の微分は、 プッシュフォワード (または微分) または ヤコビ行列 として知られています。
R n のベクトル v に関するベクトル関数 f に沿ったプッシュフォワードは 次のように与えられる。 d f ( v ) = ∂ f ∂ v d v . {\displaystyle d\mathbf {f} (\mathbf {v} )={\frac {\partial \mathbf {f} }{\partial \mathbf {v} }}d\mathbf {v} .}
行列の微分 行列の微分には、同じサイズの行列にまとめられる2種類があります。それは、行列のスカラーによる微分と、スカラーの行列による微分です。これらは応用数学の多くの分野における最小化問題で有用であり、ベクトルの類似物にちなんで、それぞれ 接線行列 と 勾配行列 と呼ばれています。
注 ：このセクションでは、教育上の目的から分子のレイアウト規則を前提としています。著者によっては異なる規則を使用している場合もあります。レイアウト規則のセクションでは、この問題についてより詳細に説明しています。後述の識別子は、一般的なレイアウト規則と組み合わせて使用できる形式で提示されています。
行列×スカラー 行列関数Y のスカラー x による微分は 接線行列 として知られており 、（分子レイアウト表記では）次のように表される。
∂ Y ∂ x = [ ∂ y 11 ∂ x ∂ y 12 ∂ x ⋯ ∂ y 1 n ∂ x ∂ y 21 ∂ x ∂ y 22 ∂ x ⋯ ∂ y 2 n ∂ x ⋮ ⋮ ⋱ ⋮ ∂ y m 1 ∂ x ∂ y m 2 ∂ x ⋯ ∂ y m n ∂ x ] . {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}.}
スカラー×行列 スカラー関数 yの p × q 行列 X に対する微分は 、分子レイアウト表記で次のように表される。
∂ y ∂ X = [ ∂ y ∂ x 11 ∂ y ∂ x 21 ⋯ ∂ y ∂ x p 1 ∂ y ∂ x 12 ∂ y ∂ x 22 ⋯ ∂ y ∂ x p 2 ⋮ ⋮ ⋱ ⋮ ∂ y ∂ x 1 q ∂ y ∂ x 2 q ⋯ ∂ y ∂ x p q ] . {\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.} 行列のスカラー関数の重要な例としては、 行列の 跡と 行列式 が挙げられます。
ベクトル解析 と同様に、 この導関数は次のように記述されることが多いです。
∇ X y ( X ) = ∂ y ( X ) ∂ X {\displaystyle \nabla _{\mathbf {X} }y(\mathbf {X} )={\frac {\partial y(\mathbf {X} )}{\partial \mathbf {X} }}} ベクトル解析 と同様に 、 行列 X のスカラー f ( X )の行列 Y の方向の 方向微分 は次のように表される。
∇ Y f = tr ( ∂ f ∂ X Y ) . {\displaystyle \nabla _{\mathbf {Y} }f=\operatorname {tr} \left({\frac {\partial f}{\partial \mathbf {X} }}\mathbf {Y} \right).} 特に勾配行列は、 推定理論 における最小化問題、特に この分野で非常に重要な カルマンフィルタ アルゴリズムの 導出において多くの用途が見られます。
その他の行列微分 これまで考慮されていない3種類の微分は、ベクトル×行列、行列×ベクトル、行列×行列です。これらはあまり広く考慮されておらず、表記法も広く合意されていません。
レイアウト規則 この節では、行列計算を利用する様々な分野で用いられる表記法の類似点と相違点について論じます。概ね一貫した表記法は2つありますが、後述する形式では2つの表記法を混在させる方が便利だと考える著者もいます。この節以降、方程式は2つの競合する形式でそれぞれ別々に列挙されます。
根本的な問題は、ベクトルのベクトルに対する微分、すなわち が 、しばしば2つの矛盾する方法で記述されることです。分子 y の サイズが m で、分母 x のサイズが n の場合、結果は m × n 行列または n × m 行列、つまり y の m要素が行に、 x の n 要素が列に配置される 、あるいはその逆のいずれかで表されます。このことから、以下の可能性が考えられます。 ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}
分子レイアウト、つまり y と x T に従って （つまり x とは逆に）レイアウトします。これは ヤコビアン定式化と呼ばれることもあります。これは前の例の m × n レイアウトに対応し 、 の行番号は 分子のサイズに等しく 、 の列番号は x T のサイズに等しいことを意味します 。 ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}} y {\displaystyle \mathbf {y} } ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}} 分母レイアウト、つまり y T と x に従って （つまり y とは逆に）レイアウトします。これは ヘッセ行列式 と呼ばれることもあります。一部の著者は、このレイアウトを 、 その転置である ヤコビ 行列（分子レイアウト）と区別するために勾配 と呼んでいます。（ただし、 勾配は レイアウトに関わらず導関数を指す場合が多いです 。）これは前の例の n×m レイアウトに対応し、 の行数は x （分母） のサイズに等しいことを意味します。 ∂ y ∂ x , {\displaystyle {\frac {\partial y}{\partial \mathbf {x} }},} ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}} 3つ目の可能性として、導関数を （つまり、 x の転置について導関数をとる） と書き 、分子の配置に従うことが時々見られます。これにより、行列は分子と分母の両方に従って配置されていると主張できます。実際には、この方法では分子の配置と同じ結果が得られます。 ∂ y ∂ x ′ , {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} '}},} 勾配 と逆勾配 を扱う際にも 同じ問題が発生します。一貫性を保つには、次のいずれかを行う必要があります。 ∂ y ∂ x {\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}} ∂ y ∂ x , {\displaystyle {\frac {\partial \mathbf {y} }{\partial x}},}
分子レイアウトを選択した場合は、 勾配を 行ベクトルとして、列 ベクトルとして レイアウトする必要があります。 ∂ y ∂ x , {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},} ∂ y ∂ x {\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}} ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}} 分母レイアウトを選択した場合は、 勾配を 列ベクトルとして、 行ベクトルとして レイアウトする必要があります。 ∂ y ∂ x , {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},} ∂ y ∂ x {\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}} ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}} 上記の 3 番目の可能性では、およびを記述し 、 分子レイアウトを使用します。 ∂ y ∂ x ′ {\displaystyle {\frac {\partial y}{\partial \mathbf {x} '}}} ∂ y ∂ x , {\displaystyle {\frac {\partial \mathbf {y} }{\partial x}},} この点において、すべての数学の教科書や論文が一貫しているわけではありません。つまり、同じ本や論文でも、文脈によって異なる表記法が用いられることがあります。例えば、勾配の分母配置（列ベクトルとして配置）を選択する一方で、ベクトルごとの微分では分子配置を選択する場合があります。 ∂ y ∂ x . {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}.}
同様に、スカラー対行列の微分と行列対スカラーの 微分については、分子の 一貫したレイアウトは Y と X Tに従ってレイアウトされ、分母の一貫したレイアウトは Y T と X に従ってレイアウトされます 。しかし実際には、分母のレイアウトをY T に従ってレイアウトし、結果を Y T に従ってレイアウトすることは、スカラー式と一致しない見苦しい式になるため、ほとんど見られません。結果として、次のようなレイアウトがよく見られます。 ∂ y ∂ X {\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}} ∂ Y ∂ x , {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},} ∂ Y ∂ x , {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},}
一貫した分子レイアウト 。Yおよび X T に従って レイアウト さ れ ます 。 ∂ Y ∂ x {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}} ∂ y ∂ X {\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}} 混合レイアウト: Y に従って レイアウトし 、 X に従ってレイアウトします 。 ∂ Y ∂ x {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}} ∂ y ∂ X {\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}} 一貫した分子レイアウトと同じ結果になる 表記法を使用します。 ∂ y ∂ X ′ , {\displaystyle {\frac {\partial y}{\partial \mathbf {X} '}},} 以下の式では、 と の 5 つの可能な組み合わせ を 個別に扱います。また、中間ベクトルまたは行列を含むスカラーごとの微分の場合も扱います (これは、たとえば、多次元 パラメトリック曲線 がスカラー変数で定義され、曲線のスカラー関数の微分が、曲線をパラメータ化するスカラーに関して取られる場合に発生します)。さまざまな組み合わせごとに、分子レイアウトと分母レイアウトの結果を示します (分母レイアウトがめったに発生しない上記の場合を除きます)。行列が関係し、それが意味をなす場合は、分子レイアウトと混合レイアウトの結果を示します。前述のように、ベクトルと行列の分母が転置表記で記述されている場合は、分母が転置表記なしで記述された分子レイアウトと同じです。 ∂ y ∂ x , ∂ y ∂ x , ∂ y ∂ x , ∂ y ∂ X {\displaystyle {\frac {\partial y}{\partial \mathbf {x} }},{\frac {\partial \mathbf {y} }{\partial x}},{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},{\frac {\partial y}{\partial \mathbf {X} }}} ∂ Y ∂ x {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}}
導関数の種類によって分子と分母の配置の組み合わせは著者によって異なり、すべての導関数の種類において、ある著者が分子または分母のいずれかの配置を一貫して使用するという保証はありません。以下の式と出典に記載されている式を照らし合わせることで、特定の種類の導関数に使用されている配置を判断できますが、他の種類の導関数も必ずしも同じ配置に従うとは限りませんので注意してください。
総和（ベクトルまたは行列）の分母で微分を行い、その最大値または最小値を求める場合、分子レイアウトを使用すると、総和に関して転置された結果が生成されることに注意する必要があります。例えば、行列計算を用いて 多変量正規分布 の 最大尤度 推定値を求める場合、定義域が k ×1列ベクトルであれば、分子レイアウトを使用した結果は1× k 行ベクトルになります 。したがって、結果を最後に転置するか、分母レイアウト（または混合レイアウト）を使用する必要があります。
様々な種類の集合体を他の種類の集合体と区別した結果 スカラー y 列ベクトル y （サイズ m ×1 ） 行列 Y （サイズ m × n ） 表記 タイプ 表記 タイプ 表記 タイプ スカラー x 分子 ∂ y ∂ x {\displaystyle {\frac {\partial y}{\partial x}}} スカラー ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}} サイズ m の列ベクトル ∂ Y ∂ x {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}} m × n 行列 分母 サイズ mの 行ベクトル 列ベクトル x （サイズ n × 1 ） 分子 ∂ y ∂ x {\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}} サイズ nの 行ベクトル ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}} m × n 行列 ∂ Y ∂ x {\displaystyle {\frac {\partial \mathbf {Y} }{\partial \mathbf {x} }}} 分母 サイズ nの 列ベクトル n × m 行列 行列 X （サイズ p × q ） 分子 ∂ y ∂ X {\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}} q × p 行列 ∂ y ∂ X {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {X} }}} ∂ Y ∂ X {\displaystyle {\frac {\partial \mathbf {Y} }{\partial \mathbf {X} }}} 分母 p × q 行列
分子レイアウト表記と分母レイアウト表記を切り替えると、演算結果が転置されます。
分子レイアウト表記 分子レイアウト記法を用いると次のようになる: [1]
∂ y ∂ x = [ ∂ y ∂ x 1 ∂ y ∂ x 2 ⋯ ∂ y ∂ x n ] . ∂ y ∂ x = [ ∂ y 1 ∂ x ∂ y 2 ∂ x ⋮ ∂ y m ∂ x ] . ∂ y ∂ x = [ ∂ y 1 ∂ x 1 ∂ y 1 ∂ x 2 ⋯ ∂ y 1 ∂ x n ∂ y 2 ∂ x 1 ∂ y 2 ∂ x 2 ⋯ ∂ y 2 ∂ x n ⋮ ⋮ ⋱ ⋮ ∂ y m ∂ x 1 ∂ y m ∂ x 2 ⋯ ∂ y m ∂ x n ] . ∂ y ∂ X = [ ∂ y ∂ x 11 ∂ y ∂ x 21 ⋯ ∂ y ∂ x p 1 ∂ y ∂ x 12 ∂ y ∂ x 22 ⋯ ∂ y ∂ x p 2 ⋮ ⋮ ⋱ ⋮ ∂ y ∂ x 1 q ∂ y ∂ x 2 q ⋯ ∂ y ∂ x p q ] . {\displaystyle {\begin{aligned}{\frac {\partial y}{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}&{\frac {\partial y}{\partial x_{2}}}&\cdots &{\frac {\partial y}{\partial x_{n}}}\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}\\{\frac {\partial y_{2}}{\partial x}}\\\vdots \\{\frac {\partial y_{m}}{\partial x}}\\\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial y}{\partial \mathbf {X} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.\end{aligned}}} 次の定義は分子レイアウト表記法でのみ提供されます。
∂ Y ∂ x = [ ∂ y 11 ∂ x ∂ y 12 ∂ x ⋯ ∂ y 1 n ∂ x ∂ y 21 ∂ x ∂ y 22 ∂ x ⋯ ∂ y 2 n ∂ x ⋮ ⋮ ⋱ ⋮ ∂ y m 1 ∂ x ∂ y m 2 ∂ x ⋯ ∂ y m n ∂ x ] . d X = [ d x 11 d x 12 ⋯ d x 1 n d x 21 d x 22 ⋯ d x 2 n ⋮ ⋮ ⋱ ⋮ d x m 1 d x m 2 ⋯ d x m n ] . {\displaystyle {\begin{aligned}{\frac {\partial \mathbf {Y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}.\\d\mathbf {X} &={\begin{bmatrix}dx_{11}&dx_{12}&\cdots &dx_{1n}\\dx_{21}&dx_{22}&\cdots &dx_{2n}\\\vdots &\vdots &\ddots &\vdots \\dx_{m1}&dx_{m2}&\cdots &dx_{mn}\\\end{bmatrix}}.\end{aligned}}}
分母レイアウト表記 分母レイアウト記法を用いると次のようになる: [2]
∂ y ∂ x = [ ∂ y ∂ x 1 ∂ y ∂ x 2 ⋮ ∂ y ∂ x n ] . ∂ y ∂ x = [ ∂ y 1 ∂ x ∂ y 2 ∂ x ⋯ ∂ y m ∂ x ] . ∂ y ∂ x = [ ∂ y 1 ∂ x 1 ∂ y 2 ∂ x 1 ⋯ ∂ y m ∂ x 1 ∂ y 1 ∂ x 2 ∂ y 2 ∂ x 2 ⋯ ∂ y m ∂ x 2 ⋮ ⋮ ⋱ ⋮ ∂ y 1 ∂ x n ∂ y 2 ∂ x n ⋯ ∂ y m ∂ x n ] . ∂ y ∂ X = [ ∂ y ∂ x 11 ∂ y ∂ x 12 ⋯ ∂ y ∂ x 1 q ∂ y ∂ x 21 ∂ y ∂ x 22 ⋯ ∂ y ∂ x 2 q ⋮ ⋮ ⋱ ⋮ ∂ y ∂ x p 1 ∂ y ∂ x p 2 ⋯ ∂ y ∂ x p q ] . {\displaystyle {\begin{aligned}{\frac {\partial y}{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}\\{\frac {\partial y}{\partial x_{2}}}\\\vdots \\{\frac {\partial y}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}&{\frac {\partial y_{2}}{\partial x}}&\cdots &{\frac {\partial y_{m}}{\partial x}}\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{1}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{1}}}\\{\frac {\partial y_{1}}{\partial x_{2}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{1}}{\partial x_{n}}}&{\frac {\partial y_{2}}{\partial x_{n}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial y}{\partial \mathbf {X} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{12}}}&\cdots &{\frac {\partial y}{\partial x_{1q}}}\\{\frac {\partial y}{\partial x_{21}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{2q}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{p1}}}&{\frac {\partial y}{\partial x_{p2}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.\end{aligned}}}
アイデンティティ 上で述べたように、一般に、分子レイアウト表記と分母レイアウト表記を切り替えると、演算結果は転置されます。
以下の恒等式の意味を理解するには、最も重要な規則である 連鎖律 、 積律 、 和律を 覚えておく必要があります。和律は普遍的に適用され、積律は、行列積の順序が維持される限り、以下のほとんどの場合に適用されます。これは、行列積が可換ではないためです。連鎖律はいくつかの場合に適用されますが、残念ながら、 行列とスカラーの微分やスカラーと行列の微分には適用され ません(後者の場合は、ほとんどの場合、行列に トレース 演算子が適用されます)。後者の場合、積律を直接適用することもできませんが、微分恒等式を使用して少し作業するだけで同等のことができます。
以下のアイデンティティは、以下の規則を採用しています。
スカラー a 、 b 、 c 、 d 、 e はに関して定数であり、スカラー u 、 v はx 、 x 、または X のいずれかの関数である 。 ベクトル a 、 b 、 c 、 d 、 e はに関して定数であり、ベクトル u 、 v は x 、 x 、 X のいずれかの関数である 。 行列 A 、 B 、 C 、 D 、 E は に関して定数であり、行列 U と V はx 、 x 、または X のいずれかの関数です 。
ベクトルごとの恒等式 これを最初に紹介する理由は、ベクトルごとの微分に適用されるすべての演算が、分子または分母の適切なベクトルをスカラーに減らすだけで、ベクトルごとのスカラーまたはスカラーごとの微分に直接適用されるためです。
恒等式: ベクトルごと ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}} 状態 表現 分子レイアウト、つまり y と x T 分母のレイアウト、つまり y T と x aは x の関数ではない ∂ a ∂ x = {\displaystyle {\frac {\partial \mathbf {a} }{\partial \mathbf {x} }}=} 0 {\displaystyle \mathbf {0} } ∂ x ∂ x = {\displaystyle {\frac {\partial \mathbf {x} }{\partial \mathbf {x} }}=} I {\displaystyle \mathbf {I} } Aは x の関数ではない ∂ A x ∂ x = {\displaystyle {\frac {\partial \mathbf {A} \mathbf {x} }{\partial \mathbf {x} }}=} A {\displaystyle \mathbf {A} } A ⊤ {\displaystyle \mathbf {A} ^{\top }} Aは x の関数ではない ∂ x ⊤ A ∂ x = {\displaystyle {\frac {\partial \mathbf {x} ^{\top }\mathbf {A} }{\partial \mathbf {x} }}=} A ⊤ {\displaystyle \mathbf {A} ^{\top }} A {\displaystyle \mathbf {A} } aは x の関数ではない 、 u = u ( x ) ∂ a u ∂ x = {\displaystyle {\frac {\partial a\mathbf {u} }{\partial \,\mathbf {x} }}=} a ∂ u ∂ x {\displaystyle a{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}} v = v ( x ) 、 aは x の関数ではない ∂ v a ∂ x = {\displaystyle {\frac {\partial v\mathbf {a} }{\partial \mathbf {x} }}=} a ∂ v ∂ x {\displaystyle \mathbf {a} {\frac {\partial v}{\partial \mathbf {x} }}} ∂ v ∂ x a ⊤ {\displaystyle {\frac {\partial v}{\partial \mathbf {x} }}\mathbf {a} ^{\top }} v = v ( x ) 、 u = u ( x ) ∂ v u ∂ x = {\displaystyle {\frac {\partial v\mathbf {u} }{\partial \mathbf {x} }}=} v ∂ u ∂ x + u ∂ v ∂ x {\displaystyle v{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}+\mathbf {u} {\frac {\partial v}{\partial \mathbf {x} }}} v ∂ u ∂ x + ∂ v ∂ x u ⊤ {\displaystyle v{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}+{\frac {\partial v}{\partial \mathbf {x} }}\mathbf {u} ^{\top }} Aは x の関数ではない 、 u = u ( x ) ∂ A u ∂ x = {\displaystyle {\frac {\partial \mathbf {A} \mathbf {u} }{\partial \mathbf {x} }}=} A ∂ u ∂ x {\displaystyle \mathbf {A} {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}} ∂ u ∂ x A ⊤ {\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}\mathbf {A} ^{\top }} u = u ( x ) 、 v = v ( x ) ∂ ( u + v ) ∂ x = {\displaystyle {\frac {\partial (\mathbf {u} +\mathbf {v} )}{\partial \mathbf {x} }}=} ∂ u ∂ x + ∂ v ∂ x {\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}+{\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}} u = u ( x ) ∂ g ( u ) ∂ x = {\displaystyle {\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {x} }}=} ∂ g ( u ) ∂ u ∂ u ∂ x {\displaystyle {\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}} ∂ u ∂ x ∂ g ( u ) ∂ u {\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}{\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}} u = u ( x ) ∂ f ( g ( u ) ) ∂ x = {\displaystyle {\frac {\partial \mathbf {f} (\mathbf {g} (\mathbf {u} ))}{\partial \mathbf {x} }}=} ∂ f ( g ) ∂ g ∂ g ( u ) ∂ u ∂ u ∂ x {\displaystyle {\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}{\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}} ∂ u ∂ x ∂ g ( u ) ∂ u ∂ f ( g ) ∂ g {\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}{\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}{\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}}
スカラー対ベクトルの恒等式 基本的なアイデンティティは太い黒い線の上に配置されます。
ベクトルとスカラーの恒等式 恒等式: ベクトル対スカラー ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}} 状態 表現 分子レイアウト、つまり y による 結果は列ベクトル 分母レイアウト、つまり y T による 結果は行ベクトル aは x の関数ではない ∂ a ∂ x = {\displaystyle {\frac {\partial \mathbf {a} }{\partial x}}=} 0 {\displaystyle \mathbf {0} } [注 1] aは x の関数ではない 、 u = u ( x ) ∂ a u ∂ x = {\displaystyle {\frac {\partial a\mathbf {u} }{\partial x}}=} a ∂ u ∂ x {\displaystyle a{\frac {\partial \mathbf {u} }{\partial x}}} Aは x の関数ではない 、 u = u ( x ) ∂ A u ∂ x = {\displaystyle {\frac {\partial \mathbf {A} \mathbf {u} }{\partial x}}=} A ∂ u ∂ x {\displaystyle \mathbf {A} {\frac {\partial \mathbf {u} }{\partial x}}} ∂ u ∂ x A ⊤ {\displaystyle {\frac {\partial \mathbf {u} }{\partial x}}\mathbf {A} ^{\top }} u = u ( x ) ∂ u ⊤ ∂ x = {\displaystyle {\frac {\partial \mathbf {u} ^{\top }}{\partial x}}=} ( ∂ u ∂ x ) ⊤ {\displaystyle \left({\frac {\partial \mathbf {u} }{\partial x}}\right)^{\top }} u = u ( x ) 、 v = v ( x ) ∂ ( u + v ) ∂ x = {\displaystyle {\frac {\partial (\mathbf {u} +\mathbf {v} )}{\partial x}}=} ∂ u ∂ x + ∂ v ∂ x {\displaystyle {\frac {\partial \mathbf {u} }{\partial x}}+{\frac {\partial \mathbf {v} }{\partial x}}} u = u ( x ) 、 v = v ( x ) ∂ ( u ⊤ × v ) ∂ x = {\displaystyle {\frac {\partial (\mathbf {u} ^{\top }\times \mathbf {v} )}{\partial x}}=} ( ∂ u ∂ x ) ⊤ × v + u ⊤ × ∂ v ∂ x {\displaystyle \left({\frac {\partial \mathbf {u} }{\partial x}}\right)^{\top }\times \mathbf {v} +\mathbf {u} ^{\top }\times {\frac {\partial \mathbf {v} }{\partial x}}} ∂ u ∂ x × v + u ⊤ × ( ∂ v ∂ x ) ⊤ {\displaystyle {\frac {\partial \mathbf {u} }{\partial x}}\times \mathbf {v} +\mathbf {u} ^{\top }\times \left({\frac {\partial \mathbf {v} }{\partial x}}\right)^{\top }} u = u ( x ) ∂ g ( u ) ∂ x = {\displaystyle {\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial x}}=} ∂ g ( u ) ∂ u ∂ u ∂ x {\displaystyle {\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}{\frac {\partial \mathbf {u} }{\partial x}}} ∂ u ∂ x ∂ g ( u ) ∂ u {\displaystyle {\frac {\partial \mathbf {u} }{\partial x}}{\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}} 一貫したマトリックスレイアウトを想定しています。以下を参照してください。 u = u ( x ) ∂ f ( g ( u ) ) ∂ x = {\displaystyle {\frac {\partial \mathbf {f} (\mathbf {g} (\mathbf {u} ))}{\partial x}}=} ∂ f ( g ) ∂ g ∂ g ( u ) ∂ u ∂ u ∂ x {\displaystyle {\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}{\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}{\frac {\partial \mathbf {u} }{\partial x}}} ∂ u ∂ x ∂ g ( u ) ∂ u ∂ f ( g ) ∂ g {\displaystyle {\frac {\partial \mathbf {u} }{\partial x}}{\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}{\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}} 一貫したマトリックスレイアウトを想定しています。以下を参照してください。 U = U ( x ) 、 v = v ( x ) ∂ ( U × v ) ∂ x = {\displaystyle {\frac {\partial (\mathbf {U} \times \mathbf {v} )}{\partial x}}=} ∂ U ∂ x × v + U × ∂ v ∂ x {\displaystyle {\frac {\partial \mathbf {U} }{\partial x}}\times \mathbf {v} +\mathbf {U} \times {\frac {\partial \mathbf {v} }{\partial x}}} v ⊤ × ( ∂ U ∂ x ) + ∂ v ∂ x × U ⊤ {\displaystyle \mathbf {v} ^{\top }\times \left({\frac {\partial \mathbf {U} }{\partial x}}\right)+{\frac {\partial \mathbf {v} }{\partial x}}\times \mathbf {U} ^{\top }}
注意 : ベクトルごとの導関数 および (出力が行列) を含む式では、行列がベクトルのレイアウトと一致して配置されていることを前提としています。つまり、分子レイアウト ベクトルの場合は分子レイアウト 行列、その逆も同様です。それ以外の場合は、ベクトルごとの導関数を転置します。 ∂ g ( u ) ∂ u {\displaystyle {\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}} ∂ f ( g ) ∂ g {\displaystyle {\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}}
スカラーと行列の恒等式 スカラー 積則 と 連鎖律は 、行列の行列値関数に適用する場合、厳密には存在しないことに注意してください。しかし、この種の積則は微分形式（下記参照）には適用可能であり、これは トレース 関数を含む以下の多くの恒等式を導く方法でもあります。さらに、トレース関数は転置と巡回置換を許容するという事実も考慮に入れると、以下のようになります。
tr ( A ) = tr ( A ⊤ ) tr ( A B C D ) = tr ( B C D A ) = tr ( C D A B ) = tr ( D A B C ) {\displaystyle {\begin{aligned}\operatorname {tr} (\mathbf {A} )&=\operatorname {tr} \left(\mathbf {A^{\top }} \right)\\\operatorname {tr} (\mathbf {ABCD} )&=\operatorname {tr} (\mathbf {BCDA} )=\operatorname {tr} (\mathbf {CDAB} )=\operatorname {tr} (\mathbf {DABC} )\end{aligned}}} 例えば、計算するには ∂ tr ( A X B X ⊤ C ) ∂ X : {\displaystyle {\frac {\partial \operatorname {tr} (\mathbf {AXBX^{\top }C} )}{\partial \mathbf {X} }}:} d tr ( A X B X ⊤ C ) = d tr ( C A X B X ⊤ ) = tr ( d ( C A X B X ⊤ ) ) = tr ( C A X d ( B X ⊤ ) + d ( C A X ) B X ⊤ ) = tr ( C A X d ( B X ⊤ ) ) + tr ( d ( C A X ) B X ⊤ ) = tr ( C A X B d ( X ⊤ ) ) + tr ( C A ( d X ) B X ⊤ ) = tr ( C A X B ( d X ) ⊤ ) + tr ( C A ( d X ) B X ⊤ ) = tr ( ( C A X B ( d X ) ⊤ ) ⊤ ) + tr ( C A ( d X ) B X ⊤ ) = tr ( ( d X ) B ⊤ X ⊤ A ⊤ C ⊤ ) + tr ( C A ( d X ) B X ⊤ ) = tr ( B ⊤ X ⊤ A ⊤ C ⊤ ( d X ) ) + tr ( B X ⊤ C A ( d X ) ) = tr ( ( B ⊤ X ⊤ A ⊤ C ⊤ + B X ⊤ C A ) d X ) = tr ( ( C A X B + A ⊤ C ⊤ X B ⊤ ) ⊤ d X ) {\displaystyle {\begin{aligned}d\operatorname {tr} (\mathbf {AXBX^{\top }C} )&=d\operatorname {tr} \left(\mathbf {CAXBX^{\top }} \right)=\operatorname {tr} \left(d\left(\mathbf {CAXBX^{\top }} \right)\right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d(\mathbf {BX^{\top }} \right)+d\left(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d\left(\mathbf {BX^{\top }} \right)\right)+\operatorname {tr} \left(d(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} d\left(\mathbf {X^{\top }} \right)\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)+\operatorname {tr} (\mathbf {CA} \left(d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)^{\top }\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left((d\mathbf {X} )\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} \right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} (d\mathbf {X} )\right)+\operatorname {tr} \left(\mathbf {BX^{\top }} \mathbf {CA} (d\mathbf {X} )\right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }} \mathbf {CA} \right)d\mathbf {X} \right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }XB^{\top }} \right)^{\top }d\mathbf {X} \right)\end{aligned}}}
したがって、
∂ tr ( A X B X ⊤ C ) ∂ X = B ⊤ X ⊤ A ⊤ C ⊤ + B X ⊤ C A . {\displaystyle {\frac {\partial \operatorname {tr} \left(\mathbf {AXBX^{\top }C} \right)}{\partial \mathbf {X} }}=\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }CA} .} （分子レイアウト） ∂ tr ( A X B X ⊤ C ) ∂ X = C A X B + A ⊤ C ⊤ X B ⊤ . {\displaystyle {\frac {\partial \operatorname {tr} \left(\mathbf {AXBX^{\top }C} \right)}{\partial \mathbf {X} }}=\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }XB^{\top }} .} （分母レイアウト） (最後のステップについては、「微分形式から微分形式への変換」セクションを参照してください。)
行列とスカラーの恒等式 恒等式: 行列とスカラー ∂ Y ∂ x {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}} 状態 表現 分子レイアウト、つまり Y順 U = U ( x ) ∂ a U ∂ x = {\displaystyle {\frac {\partial a\mathbf {U} }{\partial x}}=} a ∂ U ∂ x {\displaystyle a{\frac {\partial \mathbf {U} }{\partial x}}} A 、 Bは x の関数ではない 、 U = U ( x ) ∂ A U B ∂ x = {\displaystyle {\frac {\partial \mathbf {AUB} }{\partial x}}=} A ∂ U ∂ x B {\displaystyle \mathbf {A} {\frac {\partial \mathbf {U} }{\partial x}}\mathbf {B} } U = U ( x ) 、 V = V ( x ) ∂ ( U + V ) ∂ x = {\displaystyle {\frac {\partial (\mathbf {U} +\mathbf {V} )}{\partial x}}=} ∂ U ∂ x + ∂ V ∂ x {\displaystyle {\frac {\partial \mathbf {U} }{\partial x}}+{\frac {\partial \mathbf {V} }{\partial x}}} U = U ( x ) 、 V = V ( x ) ∂ ( U V ) ∂ x = {\displaystyle {\frac {\partial (\mathbf {U} \mathbf {V} )}{\partial x}}=} U ∂ V ∂ x + ∂ U ∂ x V {\displaystyle \mathbf {U} {\frac {\partial \mathbf {V} }{\partial x}}+{\frac {\partial \mathbf {U} }{\partial x}}\mathbf {V} } U = U ( x ) 、 V = V ( x ) ∂ ( U ⊗ V ) ∂ x = {\displaystyle {\frac {\partial (\mathbf {U} \otimes \mathbf {V} )}{\partial x}}=} U ⊗ ∂ V ∂ x + ∂ U ∂ x ⊗ V {\displaystyle \mathbf {U} \otimes {\frac {\partial \mathbf {V} }{\partial x}}+{\frac {\partial \mathbf {U} }{\partial x}}\otimes \mathbf {V} } U = U ( x ) 、 V = V ( x ) ∂ ( U ∘ V ) ∂ x = {\displaystyle {\frac {\partial (\mathbf {U} \circ \mathbf {V} )}{\partial x}}=} U ∘ ∂ V ∂ x + ∂ U ∂ x ∘ V {\displaystyle \mathbf {U} \circ {\frac {\partial \mathbf {V} }{\partial x}}+{\frac {\partial \mathbf {U} }{\partial x}}\circ \mathbf {V} } U = U ( x ) ∂ U − 1 ∂ x = {\displaystyle {\frac {\partial \mathbf {U} ^{-1}}{\partial x}}=} − U − 1 ∂ U ∂ x U − 1 {\displaystyle -\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\mathbf {U} ^{-1}} U = U ( x , y ) ∂ 2 U − 1 ∂ x ∂ y = {\displaystyle {\frac {\partial ^{2}\mathbf {U} ^{-1}}{\partial x\partial y}}=} U − 1 ( ∂ U ∂ x U − 1 ∂ U ∂ y − ∂ 2 U ∂ x ∂ y + ∂ U ∂ y U − 1 ∂ U ∂ x ) U − 1 {\displaystyle \mathbf {U} ^{-1}\left({\frac {\partial \mathbf {U} }{\partial x}}\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial y}}-{\frac {\partial ^{2}\mathbf {U} }{\partial x\partial y}}+{\frac {\partial \mathbf {U} }{\partial y}}\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\right)\mathbf {U} ^{-1}} Aは x の関数ではなく 、 g ( X ) はスカラー係数を持つ任意の多項式、または無限多項式級数によって定義される任意の行列関数（例： eX 、 sin ( X ) 、 cos( X ) 、 ln( X ) など）であり、 g ( x ) は等価なスカラー関数、 g ′ ( x ) はその導関数、 g ′ ( X ) は対応する行列関数である ∂ g ( x A ) ∂ x = {\displaystyle {\frac {\partial \,\mathbf {g} (x\mathbf {A} )}{\partial x}}=} A g ′ ( x A ) = g ′ ( x A ) A {\displaystyle \mathbf {A} \mathbf {g} '(x\mathbf {A} )=\mathbf {g} '(x\mathbf {A} )\mathbf {A} } Aは x の関数ではない ∂ e x A ∂ x = {\displaystyle {\frac {\partial e^{x\mathbf {A} }}{\partial x}}=} A e x A = e x A A {\displaystyle \mathbf {A} e^{x\mathbf {A} }=e^{x\mathbf {A} }\mathbf {A} }
スカラーごとの恒等式
ベクトルが関与する 恒等式: スカラーごとに、ベクトルを含む 状態 表現 任意のレイアウト（ ドット積は 行と列のレイアウトを無視すると想定） u = u ( x ) ∂ g ( u ) ∂ x = {\displaystyle {\frac {\partial g(\mathbf {u} )}{\partial x}}=} ∂ g ( u ) ∂ u ⋅ ∂ u ∂ x {\displaystyle {\frac {\partial g(\mathbf {u} )}{\partial \mathbf {u} }}\cdot {\frac {\partial \mathbf {u} }{\partial x}}} u = u ( x ) 、 v = v ( x ) ∂ ( u ⋅ v ) ∂ x = {\displaystyle {\frac {\partial (\mathbf {u} \cdot \mathbf {v} )}{\partial x}}=} u ⋅ ∂ v ∂ x + ∂ u ∂ x ⋅ v {\displaystyle \mathbf {u} \cdot {\frac {\partial \mathbf {v} }{\partial x}}+{\frac {\partial \mathbf {u} }{\partial x}}\cdot \mathbf {v} }
行列が関係する 恒等式：スカラー対スカラー、行列を含む [3] 状態 表現 一貫した分子レイアウト、 つまり Y と X T Y と X の 混合レイアウト U = U ( x ) ∂ | U | ∂ x = {\displaystyle {\frac {\partial |\mathbf {U} |}{\partial x}}=} | U | tr ( U − 1 ∂ U ∂ x ) {\displaystyle |\mathbf {U} |\operatorname {tr} \left(\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\right)} U = U ( x ) ∂ ln | U | ∂ x = {\displaystyle {\frac {\partial \ln |\mathbf {U} |}{\partial x}}=} tr ( U − 1 ∂ U ∂ x ) {\displaystyle \operatorname {tr} \left(\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\right)} U = U ( x ) ∂ 2 | U | ∂ x 2 = {\displaystyle {\frac {\partial ^{2}|\mathbf {U} |}{\partial x^{2}}}=} | U | [ tr ( U − 1 ∂ 2 U ∂ x 2 ) + tr 2 ( U − 1 ∂ U ∂ x ) − tr ( ( U − 1 ∂ U ∂ x ) 2 ) ] {\displaystyle \left|\mathbf {U} \right|\left[\operatorname {tr} \left(\mathbf {U} ^{-1}{\frac {\partial ^{2}\mathbf {U} }{\partial x^{2}}}\right)+\operatorname {tr} ^{2}\left(\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\right)-\operatorname {tr} \left(\left(\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\right)^{2}\right)\right]} U = U ( x ) ∂ g ( U ) ∂ x = {\displaystyle {\frac {\partial g(\mathbf {U} )}{\partial x}}=} tr ( ∂ g ( U ) ∂ U ∂ U ∂ x ) {\displaystyle \operatorname {tr} \left({\frac {\partial g(\mathbf {U} )}{\partial \mathbf {U} }}{\frac {\partial \mathbf {U} }{\partial x}}\right)} tr ( ( ∂ g ( U ) ∂ U ) ⊤ ∂ U ∂ x ) {\displaystyle \operatorname {tr} \left(\left({\frac {\partial g(\mathbf {U} )}{\partial \mathbf {U} }}\right)^{\top }{\frac {\partial \mathbf {U} }{\partial x}}\right)} Aは x の関数ではなく 、 g ( X ) はスカラー係数を持つ任意の多項式、または無限多項式級数によって定義される任意の行列関数です (例: e X 、 sin( X ) 、 cos( X ) 、 ln( X ) など)。 g ( x ) は同等のスカラー関数、 g ′ ( x ) はその導関数、 g ′ ( X ) は対応する行列関数です。 ∂ tr ( g ( x A ) ) ∂ x = {\displaystyle {\frac {\partial \operatorname {tr} (\mathbf {g} (x\mathbf {A} ))}{\partial x}}=} tr ( A g ′ ( x A ) ) {\displaystyle \operatorname {tr} \left(\mathbf {A} \mathbf {g} '(x\mathbf {A} )\right)} Aは x の関数ではない ∂ tr ( e x A ) ∂ x = {\displaystyle {\frac {\partial \operatorname {tr} \left(e^{x\mathbf {A} }\right)}{\partial x}}=} tr ( A e x A ) {\displaystyle \operatorname {tr} \left(\mathbf {A} e^{x\mathbf {A} }\right)}
微分形式で計算し、その後通常の微分形式に戻す方が簡単な場合が多い。これは分子の配置を用いる場合にのみ有効である。これらの規則では、 a はスカラーである。
微分恒等式：行列を含むスカラー [1] [3] 表現 結果（分子レイアウト） d ( tr ( X ) ) = {\displaystyle d(\operatorname {tr} (\mathbf {X} ))=} tr ( d X ) {\displaystyle \operatorname {tr} (d\mathbf {X} )} d ( | X | ) = {\displaystyle d(|\mathbf {X} |)=} | X | tr ( X − 1 d X ) = tr ( adj ( X ) d X ) {\displaystyle |\mathbf {X} |\operatorname {tr} \left(\mathbf {X} ^{-1}d\mathbf {X} \right)=\operatorname {tr} (\operatorname {adj} (\mathbf {X} )d\mathbf {X} )} d ( ln | X | ) = {\displaystyle d(\ln |\mathbf {X} |)=} tr ( X − 1 d X ) {\displaystyle \operatorname {tr} \left(\mathbf {X} ^{-1}d\mathbf {X} \right)}
最後の行では、は クロネッカーのデルタ であり 、は X の k 番目の固有ベクトルに射影する直交射影演算子の集合です 。Q は の 固有ベクトル の行列で あり、 は固有値です。行列関数は、の 対角化可能な行列の スカラー関数を用いて によって定義されます 。 ただし 、 となります。 δ i j {\displaystyle \delta _{ij}} ( P k ) i j = ( Q ) i k ( Q − 1 ) k j {\displaystyle (\mathbf {P} _{k})_{ij}=(\mathbf {Q} )_{ik}(\mathbf {Q} ^{-1})_{kj}} X = Q Λ Q − 1 {\displaystyle \mathbf {X} =\mathbf {Q} {\boldsymbol {\Lambda }}\mathbf {Q} ^{-1}} ( Λ ) i i = λ i {\displaystyle ({\boldsymbol {\Lambda }})_{ii}=\lambda _{i}} f ( X ) {\displaystyle f(\mathbf {X} )} f ( x ) {\displaystyle f(x)} f ( X ) = ∑ i f ( λ i ) P i {\textstyle f(\mathbf {X} )=\sum _{i}f(\lambda _{i})\mathbf {P} _{i}} X = ∑ i λ i P i {\textstyle \mathbf {X} =\sum _{i}\lambda _{i}\mathbf {P} _{i}} P i P j = δ i j P i {\displaystyle \mathbf {P} _{i}\mathbf {P} _{j}=\delta _{ij}\mathbf {P} _{i}}
通常の微分形式に変換するには、まず次のいずれかの標準形式に変換してから、これらの恒等式を使用します。
微分形式から微分形式への変換 [1] 標準微分形式 同値微分形式（分子配置） d y = a d x {\displaystyle dy=a\,dx} d y d x = a {\displaystyle {\frac {dy}{dx}}=a} d y = a ⊤ d x {\displaystyle dy=\mathbf {a} ^{\top }d\mathbf {x} } d y d x = a ⊤ {\displaystyle {\frac {dy}{d\mathbf {x} }}=\mathbf {a} ^{\top }} d y = tr ( A d X ) {\displaystyle dy=\operatorname {tr} (\mathbf {A} \,d\mathbf {X} )} d y d X = A {\displaystyle {\frac {dy}{d\mathbf {X} }}=\mathbf {A} } d y = a d x {\displaystyle d\mathbf {y} =\mathbf {a} \,dx} d y d x = a {\displaystyle {\frac {d\mathbf {y} }{dx}}=\mathbf {a} } d y = A d x {\displaystyle d\mathbf {y} =\mathbf {A} \,d\mathbf {x} } d y d x = A {\displaystyle {\frac {d\mathbf {y} }{d\mathbf {x} }}=\mathbf {A} } d Y = A d x {\displaystyle d\mathbf {Y} =\mathbf {A} \,dx} d Y d x = A {\displaystyle {\frac {d\mathbf {Y} }{dx}}=\mathbf {A} }
アプリケーション 行列微分積分は統計学や計量経済学において、特に多変量分布 、特に 多変量正規分布 やその他の 楕円分布 の統計解析に用いられます 。 [8] [9] [10]
これは回帰分析 において 、例えば複数の 説明変数 がある場合の 通常の最小二乗回帰式を 計算するために使用されます。 [11] また、ランダム行列、統計モーメント、局所感度、統計診断にも使用されます。 [12] [13]
参照
注記 ^ abc ここで、はサイズ n のすべての 0 の 列ベクトル を指します 。ここで nは x の長さです 。 0 {\displaystyle \mathbf {0} } ^ ab ここで、は X と同じ形状のすべて 0 の行列を指します 。 0 {\displaystyle \mathbf {0} } ^ 定数 aは 結果では消えています。これは意図的なものです。一般に、 あるいは d ln a u d x = 1 a u d ( a u ) d x = 1 a u a d u d x = 1 u d u d x = d ln u d x . {\displaystyle {\frac {d\ln au}{dx}}={\frac {1}{au}}{\frac {d(au)}{dx}}={\frac {1}{au}}a{\frac {du}{dx}}={\frac {1}{u}}{\frac {du}{dx}}={\frac {d\ln u}{dx}}.} d ln a u d x = d ( ln a + ln u ) d x = d ln a d x + d ln u d x = d ln u d x . {\displaystyle {\frac {d\ln au}{dx}}={\frac {d(\ln a+\ln u)}{dx}}={\frac {d\ln a}{dx}}+{\frac {d\ln u}{dx}}={\frac {d\ln u}{dx}}.}
参考文献 ^ abcde Thomas P., Minka (2000年12月28日). 「統計に役立つ古くて新しい行列代数」. MITメディアラボノート (1997年; 2000年12月改訂) . 2016年 2月5日 閲覧 。 ^ Felippa, Carlos A. 「付録D 線形代数：行列式、逆行列、順位」 （PDF） ASEN 5007：有限要素法入門 コロラド州ボルダー：コロラド大学 2016年 2月5日 閲覧 。 ベクトルおよび行列導関数のヘッセ行列 （ ヤコビ行列 への 転置 ）定義を使用します 。 ^ abcdefghijklmnopq Petersen, Kaare Brandt; Pedersen, Michael Syskind. The Matrix Cookbook (PDF) . 2010年3月2日時点のオリジナルよりアーカイブ。 2016年 2月5日 閲覧 。 この本は混合レイアウトを採用しています。つまり 、 Y が X に ∂ Y ∂ x , {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},} ∂ y ∂ X . {\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}.} ^ Duchi, John C. 「トレース微分と行列微分の特性」 （PDF） . スタンフォード大学. 2016年 2月5日 閲覧 。 ^ 導出については 「行列式 § 微分」 を参照してください。 ^ Giles, Mike B. (2008). 「順方向および逆方向モードのアルゴリズム的微分化のための行列微分結果の収集」. Bischof, Christian H.; Bücker, H. Martin; Hovland, Paul; Naumann, Uwe; Utke, Jean (編). 自動微分化の進歩 . 計算科学と工学に関する講義ノート. 第64巻. ベルリン: Springer. pp. 35– 44. doi :10.1007/978-3-540-68942-3_4. ISBN 978-3-540-68935-5 . MR 2531677。 ^ S Adler (IAS) による未発表メモ ^ Fang, Kai-Tai ; Zhang, Yao-Ting (1990). 一般化多変量解析 . Science Press (北京) および Springer-Verlag (ベルリン). ISBN 3-540-17651-9 . 9783540176510. ^ Pan, Jianxin; Fang, Kaitai (2007). 成長曲線モデルと統計診断 . 北京: Science Press. ISBN 978-0-387-95053-2 。 ^ コロ、トゥヌ;フォン・ローゼン、ディートリッヒ (2005)。 行列を使用した高度な多変量統計 。ドルドレヒト: スプリンガー。 ISBN 978-1-4020-3418-3 。 ^ マグナス、ヤン、ノイデッカー、ハインツ (2019). 『行列微分計算とその統計学および計量経済学への応用 』 ニューヨーク: ジョン・ワイリー. ISBN 978-1-119-54120-2 。 ^ Liu, Shuangzhe; Leiva, Victor; Zhuang, Dan; Ma, Tiefeng; Figueroa-Zúñiga, Jorge I. (2022). 「行列微分計算とその多変量線形モデルへの応用とその診断法」 Journal of Multivariate Analysis . 188 104849. doi : 10.1016/j.jmva.2021.104849 . ^ 劉双哲;トレンクラー、ゲッツ。コロ、トゥヌ。フォン・ローゼン、ディートリッヒ。バクサラリー、オスカー・マリア（2023）。 「ハインツ・ノイデッカー教授と行列微分積分」。 統計論文 。 65 (4): 2605–2639 。 土井 :10.1007/s00362-023-01499-w。 S2CID 263661094。
さらに読む アバディール、カリム・M.; マグナス、ヤン・R. (2005). 行列代数 . 計量経済学演習. ケンブリッジ: ケンブリッジ大学出版局. ISBN 978-0-511-64796-3 . OCLC 569411497。 Lax, Peter D. (2007). 「9. ベクトル値関数と行列値関数の微積分」. 線形代数とその応用 （第2版）. ホーボーケン, ニュージャージー州: Wiley-Interscience. ISBN 978-0-471-75156-4 。 Magnus, Jan R. (2010年10月). 「行列微分の概念について」. Journal of Multivariate Analysis . 101 (9): 2200– 2206. doi :10.1016/j.jmva.2010.05.005. なお、このWikipediaの記事は、この記事で批判されているバージョンからほぼ完全に改訂されていることに注意してください。
外部リンク
ソフトウェア MatrixCalculus.org、行列計算式を記号的に評価するためのウェブサイト NCAlgebraは、いくつかの行列計算機能を備えた オープンソースの Mathematicaパッケージです。 SymPy は 、行列式モジュールでシンボリック行列導関数をサポートし、配列式モジュールでシンボリックテンソル導関数をサポートします。 Tensorgradは、行列計算のためのオープンソースのPythonパッケージです。 ペンローズグラフィカル記法 を用いた一般的な記号テンソル微分をサポートします。
マトリックスリファレンスマニュアル、マイク・ブルックス、 インペリアルカレッジロンドン 。 行列微分法（および他のいくつかのもの）、Randal J. Barnes、ミネソタ大学土木工学部。 行列計算に関するノート、ポール・L・ファクラー、 ノースカロライナ州立大学 。 行列微分計算(スライド プレゼンテーション)、 Wayback Machine に 2012 年 9 月 16 日にアーカイブ、Zhang Le、 エディンバラ大学 。 ベクトル微分と行列微分入門（計量 経済学 の文脈における行列微分に関するメモ）、Heino Bohn Nielsen。 行列の微分化に関するメモ (行列の微分化に関するメモ)、Pawel Koval、ミュンヘン個人 RePEc アーカイブより。 ベクトル/行列計算 行列の微分に関する詳細なメモ。 行列のアイデンティティ (行列の微分化に関するメモ)、Sam Roweis。 テンソル クックブック テンソル 図を使用した行列 計算。
![{\displaystyle {\begin{aligned}d\operatorname {tr} (\mathbf {AXBX^{\top }C} )&=d\operatorname {tr} \left(\mathbf {CAXBX^{\top }} \right)=\operatorname {tr} \left(d\left(\mathbf {CAXBX^{\top }} \right)\right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d(\mathbf {BX^{\top }} \right)+d\left(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d\left(\mathbf {BX^{\top }} \right)\right)+\operatorname {tr} \left(d(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} d\left(\mathbf {X^{\top }} \right)\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)+\operatorname {tr} (\mathbf {CA} \left(d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\left(\left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)^{\top }\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left((d\mathbf {X} )\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} \right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} (d\mathbf {X} )\right)+\operatorname {tr} \left(\mathbf {BX^{\top }} \mathbf {CA} (d\mathbf {X} )\right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }} \mathbf {CA} \right)d\mathbf {X} \right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }XB^{\top }} \right)^{\top }d\mathbf {X} \right)\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3ca1c0807b52b0c32354803abbd029430fdf8813)
![{\displaystyle \left|\mathbf {U} \right|\left[\operatorname {tr} \left(\mathbf {U} ^{-1}{\frac {\partial ^{2}\mathbf {U} }{\partial x^{2}}}\right)+\operatorname {tr} ^{2}\left(\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\right)-\operatorname {tr} \left(\left(\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\right)^{2}\right)\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a16c46255b081a2f4f645e0cbac5b913a1537a33)
