特異値分解

Matrix decomposition

実数2×2行列Mの特異値分解^UΣV⁎の図。

• 上:単位円Dと 2 つの標準単位ベクトルe ₁およびe _{2に対する効果によって示される}Mの作用。
• 左:回転V ^⁎のD、e ₁、e ₂への作用。
• 下: Σの作用。水平方向に特異値σ _{1 、垂直方向に}σ ₂によるスケーリング。
• 右: Uのアクション、別の回転。

線形代数において、特異値分解（SVD）は、実行列または複素行列を回転に分解し、その後、再スケーリングを行い、さらに回転させる処理です。これは、直交固有基底を持つ正方正規行列の固有値分解を任意の行列に一般化したものです。これは極分解と関連しています。 ${\displaystyle m\times n}$

具体的には、複素行列⁠ ⁠の特異値分解は、 ⁠ ⁠が複素ユニタリ行列⁠ ⁠ 、対角線上に非負の実数を持つ直交対角行列⁠ ⁠が複素ユニタリ行列 ⁠ ⁠ 、 ⁠ ⁠が共役転置行列である形式の因数分解です。このような分解は、任意の複素行列に対して常に存在します。 ⁠ ⁠が実数の場合、⁠ ⁠と⁠ ⁠ は実直交行列であることが保証されます。このような文脈では、特異値分解はしばしば次のように表記されます。 ${\displaystyle m\times n}$ ${\displaystyle \mathbf {M} }$ ${\displaystyle \mathbf {M} =\mathbf {U\Sigma V^{*}} ,}$ ${\displaystyle \mathbf {U} }$ ${\displaystyle m\times m}$ ${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle m\times n}$ ${\displaystyle \mathbf {V} }$ ${\displaystyle n\times n}$ ${\displaystyle \mathbf {V} ^{*}}$ ${\displaystyle \mathbf {V} }$ ${\displaystyle \mathbf {M} }$ ${\displaystyle \mathbf {U} }$ ${\displaystyle \mathbf {V} }$ ${\displaystyle \mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{\mathrm {T} }.}$

の対角要素は⁠ ⁠によって一意に決定され、 ⁠ ⁠の特異値として知られています。非ゼロの特異値の数は⁠ ⁠の階数に等しくなります。 ⁠ ⁠の列と⁠ ⁠の列は、それぞれ⁠ ⁠の左特異ベクトルと右特異ベクトルと呼ばれます。これらは2組の直交基底⁠ ⁠ ⁠と⁠ ⁠を形成し、値がゼロの特異値がすべて最も番号の高い列（または行）にくるように並べ替えると、特異値分解は次のように表すことができます。ここで⁠ ⁠の階数は ${\displaystyle \sigma _{i}=\Sigma _{ii}}$ ${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle \mathbf {M} }$ ${\displaystyle \mathbf {M} }$ ${\displaystyle \mathbf {M} }$ ${\displaystyle \mathbf {U} }$ ${\displaystyle \mathbf {V} }$ ${\displaystyle \mathbf {M} }$ ${\displaystyle \mathbf {u} _{1},\ldots ,\mathbf {u} _{m}}$ ${\displaystyle \mathbf {v} _{1},\ldots ,\mathbf {v} _{n},}$ ${\displaystyle \sigma _{i}}$ $${\displaystyle \mathbf {M} =\sum _{i=1}^{r}\sigma _{i}\mathbf {u} _{i}\mathbf {v} _{i}^{*},}$$ ${\displaystyle r\leq \min\{m,n\}}$ ${\displaystyle \mathbf {M} .}$

SVDは一意ではありません。しかし、特異値が降順になるように分解を選択することは常に可能です。この場合、（ただし⁠ ⁠と⁠ ⁠は除きます）は⁠ ⁠によって一意に決定されます。 ${\displaystyle \Sigma _{ii}}$ ${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle \mathbf {U} }$ ${\displaystyle \mathbf {V} }$ ${\displaystyle \mathbf {M} .}$

この用語は、コンパクトSVDと呼ばれる、同様の分解を指すこともあります。この分解で ${\displaystyle \mathbf {M} =\mathbf {U\Sigma V} ^{*}}$は ${\displaystyle \mathbf {\Sigma } }$、はサイズの ${\displaystyle r\times r,}$正方対角行列で、はの階数であり、非ゼロの特異値のみを持ちます。この変形では、は半ユニタリ行列であり、は半ユニタリ行列であり、 ${\displaystyle r\leq \min\{m,n\}}$ ${\displaystyle \mathbf {M} ,}$ ${\displaystyle \mathbf {U} }$ ${\displaystyle m\times r}$ ${\displaystyle \mathbf {V} }$ ${\displaystyle n\times r}$ ${\displaystyle \mathbf {U} ^{*}\mathbf {U} =\mathbf {V} ^{*}\mathbf {V} =\mathbf {I} _{r}.}$

特異値分解（SVD）の数学的応用としては、擬似逆行列の計算、行列近似、行列の階数、値域、零空間の決定などが挙げられます。また、特異値分解は、信号処理、データの最小二乗法、プロセス制御など、科学、工学、統計学の多くの分野で非常に有用です。

直感的な解釈

2次元実せん断行列 Mの特異値分解（SVD）のアニメーション図。まず、単位円板と2つの標準単位ベクトルを青色で示します。次に、円板を楕円に変形させるMの作用を示します。SVDは、 M を3つの単純な変換、すなわち初期回転V ^⁎、座標軸に沿ったスケーリング、そして最終回転Uに分解します。楕円の半軸の長さσ ₁とσ _2は、 Mの特異値、すなわちΣ _1,1とΣ _2,2です。 ${\displaystyle \mathbf {\Sigma } }$

特異値分解における行列乗算の可視化

回転、座標スケーリング、反射

⁠ ⁠ ${\displaystyle \mathbf {M} }$が実 ${\displaystyle m\times m}$正方行列である特殊なケースでは、行列⁠ ⁠ ${\displaystyle \mathbf {U} }$と⁠ ⁠も実 ${\displaystyle \mathbf {V} ^{*}}$⁠ ⁠ ${\displaystyle m\times m}$行列に選択できます。その場合、「ユニタリ」は「直交」と同じになります。次に、ユニタリ行列と対角行列の両方を、ここでは空間 ⁠ ⁠ の線形 ${\displaystyle \mathbf {A} ,}$変換として解釈 すると、行列⁠ ⁠と⁠ ⁠は空間の回転または反射を表し、 ⁠ ⁠は係数 ⁠ ⁠ による各座標のスケーリングを表します。したがって、 SVD 分解は⁠ ⁠の線形変換を3つの幾何学的変換、つまり回転または反射( ⁠ ⁠ )、座標ごとのスケーリング( ⁠ ⁠ )、および別の回転または反射( ⁠ ⁠ )の合成に分解します。 ${\displaystyle \mathbf {x} \mapsto \mathbf {Ax} }$ ${\displaystyle \mathbf {R} ^{m},}$ ${\displaystyle \mathbf {U} }$ ${\displaystyle \mathbf {V} ^{*}}$ ${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle \mathbf {x} _{i}}$ ${\displaystyle \sigma _{i}.}$ ${\displaystyle \mathbf {R} ^{m}}$ ${\displaystyle \mathbf {V} ^{*}}$ ${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle \mathbf {U} }$

特に、⁠ ⁠ が ${\displaystyle \mathbf {M} }$正の行列式を持つ場合、⁠ ⁠ ${\displaystyle \mathbf {U} }$と⁠ ⁠ ${\displaystyle \mathbf {V} ^{*}}$は、両方とも鏡映回転を含む回転、または両方とも鏡映回転を含まない回転として選択できます。^[要出典]行列式が負の場合、どちらか一方のみが鏡映回転を含みます。行列式がゼロの場合、それぞれを独立にいずれかのタイプとして選択できます。

行列⁠ ⁠ ${\displaystyle \mathbf {M} }$が実数だが正方行列でない場合、つまり⁠ ⁠ ${\displaystyle m\times n}$で⁠ ⁠ は ${\displaystyle m\neq n,}$⁠ ⁠ ${\displaystyle \mathbf {R} ^{n}}$から ⁠ ${\displaystyle \mathbf {R} ^{m}.}$⁠への線形変換として解釈できます。 そして⁠ ⁠ ${\displaystyle \mathbf {U} }$と⁠ ⁠ はそれぞれ ${\displaystyle \mathbf {V} ^{*}}$⁠ ⁠ ${\displaystyle \mathbf {R} ^{m}}$と⁠ ⁠ ${\displaystyle \mathbf {R} ^{n},}$の回転/反射として選択できます。また⁠ ⁠ は ${\displaystyle \mathbf {\Sigma } ,}$最初の⁠ ⁠ ${\displaystyle \min\{m,n\}}$座標をスケーリングするだけでなく、ベクトルをゼロで拡張します。つまり、末尾の座標を削除して⁠ ⁠を ${\displaystyle \mathbf {R} ^{n}}$⁠ ⁠に変換します。 ${\displaystyle \mathbf {R} ^{m}.}$

楕円または楕円体の半軸としての特異値

図に示すように、特異値は2D における楕円の半軸の大きさとして解釈できます。この概念は⁠ ⁠ ${\displaystyle n}$次元ユークリッド空間に一般化でき、任意の⁠ ⁠ ${\displaystyle n\times n}$ 正方行列の特異値は⁠ ⁠ ${\displaystyle n}$次元楕円体の半軸の大きさとして見ることができます。同様に、任意の⁠ ⁠ ${\displaystyle m\times n}$行列の特異値は⁠ ⁠次元空間における⁠ ⁠ ${\displaystyle n}$次元楕円体の半軸の大きさ、たとえば 3D 空間内の (傾斜した) 2D 平面にある楕円として見ることができます。特異値は半軸の大きさをエンコードし、特異ベクトルは方向をエンコードします。詳細は以下を参照してください。 ${\displaystyle m}$

の列あなたそしてVは直交基底である

⁠ ⁠ ${\displaystyle \mathbf {U} }$と⁠ ⁠ ${\displaystyle \mathbf {V} ^{*}}$はユニタリなので、それぞれの列は正規直交ベクトルの集合を形成し、これは基底ベクトルとみなすことができます。行列⁠ ⁠ ${\displaystyle \mathbf {M} }$は、基底ベクトル⁠ ⁠ ${\displaystyle \mathbf {V} _{i}}$を引き伸ばされた単位ベクトル⁠ ⁠ ${\displaystyle \sigma _{i}\mathbf {U} _{i}.}$に写像します。 ユニタリ行列の定義により、特異値を引き伸ばしとしての幾何学的解釈が失われることを除いて、それらの共役転置⁠ ⁠ ${\displaystyle \mathbf {U} ^{*}}$および⁠ ⁠ ${\displaystyle \mathbf {V} ,}$についても同じことが当てはまります。つまり、⁠ ⁠ ${\displaystyle \mathbf {U} ,}$ ⁠ ⁠ ${\displaystyle \mathbf {U} ^{*},}$ ⁠ ${\displaystyle \mathbf {V} ,}$と⁠ ${\displaystyle \mathbf {V} ^{*}}$⁠の列は正規直交基底です。⁠ ⁠ ${\displaystyle \mathbf {M} }$が半正定値 エルミート行列の場合、⁠ ⁠ ${\displaystyle \mathbf {U} }$と⁠ ⁠はどちらも ${\displaystyle \mathbf {V} }$⁠ ⁠ ${\displaystyle \mathbf {M} .}$を対角化するために使用されるユニタリ行列と等しくなります 。ただし、⁠ ⁠ が ${\displaystyle \mathbf {M} }$半正定値エルミートではないが、対角化可能な場合、その固有分解と特異値分解は異なります。

4つの基本部分空間との関係

• ⁠ ⁠の最初の⁠ ⁠列は ${\displaystyle r}$⁠ ⁠の列空間の基底です。 ${\displaystyle \mathbf {U} }$ ${\displaystyle \mathbf {M} }$
• ⁠ ⁠の最後の⁠ ⁠ ${\displaystyle m-r}$列は⁠ ⁠の零空間の基底です。 ${\displaystyle \mathbf {U} }$ ${\displaystyle \mathbf {M} ^{*}}$
• ⁠ ⁠の最初の⁠ ⁠列は ${\displaystyle r}$⁠ ⁠の列空間(実際の場合は⁠ ⁠の行空間)の基底です。 ${\displaystyle \mathbf {V} }$ ${\displaystyle \mathbf {M} ^{*}}$ ${\displaystyle \mathbf {M} }$
• ⁠ ⁠の最後の⁠ ⁠ ${\displaystyle n-r}$列は⁠ ⁠の零空間の基底です。 ${\displaystyle \mathbf {V} }$ ${\displaystyle \mathbf {M} }$

幾何学的な意味

⁠ ⁠ ${\displaystyle \mathbf {U} }$と⁠ ⁠ ${\displaystyle \mathbf {V} }$はユニタリなので、 ⁠ ⁠ ${\displaystyle \mathbf {U} _{1},\ldots ,\mathbf {U} _{m}}$の列は⁠ ⁠ ${\displaystyle \mathbf {U} }$の正規直交基底を生じ、⁠ ⁠ ${\displaystyle K^{m}}$の列は⁠ ⁠の正規直交基底を生じることがわかります (これらの空間上の標準的なスカラー積に関して)。 ${\displaystyle \mathbf {V} _{1},\ldots ,\mathbf {V} _{n}}$ ${\displaystyle \mathbf {V} }$ ${\displaystyle K^{n}}$

線形変換は、これらの直交基底に関して特に単純な記述を持ちます。ここで、 ⁠ ⁠は⁠ ⁠の⁠ ⁠番目の対角要素であり、⁠ ⁠に対して⁠ ⁠です。 $${\displaystyle T:\left\{{\begin{aligned}K^{n}&\to K^{m}\\x&\mapsto \mathbf {M} x\end{aligned}}\right.}$$ $${\displaystyle T(\mathbf {V} _{i})=\sigma _{i}\mathbf {U} _{i},\qquad i=1,\ldots ,\min(m,n),}$$ ${\displaystyle \sigma _{i}}$ ${\displaystyle i}$ ${\displaystyle \mathbf {\Sigma } ,}$ ${\displaystyle T(\mathbf {V} _{i})=0}$ ${\displaystyle i>\min(m,n).}$

特異値分解定理の幾何学的内容は、次のように要約できます。任意の線型写像⁠ ⁠ ${\displaystyle T:K^{n}\to K^{m}}$に対して、 ⁠ ⁠ ${\displaystyle K^{n}}$と⁠ ⁠ ${\displaystyle K^{m}}$の直交基底が見つかります。この基底は、 ⁠ ⁠ の ⁠ ⁠ 番目の基底ベクトルを ⁠ ⁠の⁠ ${\displaystyle T}$⁠番目 ${\displaystyle i}$の基底 ${\displaystyle K^{n}}$ベクトルの非負 ${\displaystyle i}$倍に写像し、残りの基底ベクトルをゼロに写像します。したがって、これらの基底に関して、写像⁠ ⁠は非負の実対角成分を持つ対角行列で表されます。 ${\displaystyle K^{m},}$ ${\displaystyle T}$

特異値と SVD 分解のより視覚的なイメージをつかむために (少なくとも実ベクトル空間で作業している場合は)、⁠ ⁠の半径 1 の球面⁠ ⁠ ${\displaystyle S}$を考えます。線型写像⁠ ⁠は、この球面を⁠ ⁠の楕円体に写像します。非ゼロの特異値は、単にこの楕円体の半軸の長さです。特に⁠ ⁠とすべての特異値が異なっていて非ゼロの場合、線型写像⁠ ⁠の SVD は、次の 3 つの連続する動きの連続として簡単に分析できます。楕円体⁠ ⁠と具体的にはその軸を考えます。次に、 ⁠ ⁠によってこれらの軸に送られる⁠ ⁠の方向を考えます。これらの方向は、たまたま相互に直交しています。まず等長写像⁠ ⁠を適用し、これらの方向を⁠ ⁠の座標軸に送ります。2番目の動きで、座標軸に沿って対角化され、各方向に伸縮する自己準同型写像⁠ ⁠を適用し、 ⁠ ⁠の半軸の長さを伸縮係数として使用します。次に、合成⁠ ⁠により、単位球が⁠ ⁠ に等長な楕円体上に送られます。3番目で最後の動きを定義するには、この楕円体に等長写像⁠ ⁠を適用して⁠ ⁠を取得します。簡単に確認できるように、合成⁠ ⁠は⁠ ⁠と一致します。 ${\displaystyle \mathbf {R} ^{n}.}$ ${\displaystyle T}$ ${\displaystyle \mathbf {R} ^{m}.}$ ${\displaystyle n=m,}$ ${\displaystyle T}$ ${\displaystyle T(S)}$ ${\displaystyle \mathbf {R} ^{n}}$ ${\displaystyle T}$ ${\displaystyle \mathbf {V} ^{*}}$ ${\displaystyle \mathbf {R} ^{n}.}$ ${\displaystyle \mathbf {D} }$ ${\displaystyle T(S)}$ ${\displaystyle \mathbf {D} \circ \mathbf {V} ^{*}}$ ${\displaystyle T(S).}$ ${\displaystyle \mathbf {U} }$ ${\displaystyle T(S).}$ ${\displaystyle \mathbf {U} \circ \mathbf {D} \circ \mathbf {V} ^{*}}$ ${\displaystyle T.}$

例

⁠ ⁠ ${\displaystyle 4\times 5}$行列を考えてみましょう $${\displaystyle \mathbf {M} ={\begin{bmatrix}1&0&0&0&2\\0&0&3&0&0\\0&0&0&0&0\\0&2&0&0&0\end{bmatrix}}}$$

この行列の特異値分解は次のように与えられる。 ${\displaystyle \mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}}$

$${\displaystyle {\begin{aligned}\mathbf {U} &={\begin{bmatrix}\color {Green}0&\color {Blue}-1&\color {Cyan}0&\color {Emerald}0\\\color {Green}-1&\color {Blue}0&\color {Cyan}0&\color {Emerald}0\\\color {Green}0&\color {Blue}0&\color {Cyan}0&\color {Emerald}-1\\\color {Green}0&\color {Blue}0&\color {Cyan}-1&\color {Emerald}0\end{bmatrix}}\\[6pt]\mathbf {\Sigma } &={\begin{bmatrix}3&0&0&0&\color {Gray}{\mathit {0}}\\0&{\sqrt {5}}&0&0&\color {Gray}{\mathit {0}}\\0&0&2&0&\color {Gray}{\mathit {0}}\\0&0&0&\color {Red}\mathbf {0} &\color {Gray}{\mathit {0}}\end{bmatrix}}\\[6pt]\mathbf {V} ^{*}&={\begin{bmatrix}\color {Violet}0&\color {Violet}0&\color {Violet}-1&\color {Violet}0&\color {Violet}0\\\color {Plum}-{\sqrt {0.2}}&\color {Plum}0&\color {Plum}0&\color {Plum}0&\color {Plum}-{\sqrt {0.8}}\\\color {Magenta}0&\color {Magenta}-1&\color {Magenta}0&\color {Magenta}0&\color {Magenta}0\\\color {Orchid}0&\color {Orchid}0&\color {Orchid}0&\color {Orchid}1&\color {Orchid}0\\\color {Purple}-{\sqrt {0.8}}&\color {Purple}0&\color {Purple}0&\color {Purple}0&\color {Purple}{\sqrt {0.2}}\end{bmatrix}}\end{aligned}}}$$

スケーリング行列⁠ ⁠ ${\displaystyle \mathbf {\Sigma } }$は対角線の外ではゼロ（灰色のイタリック体）であり、対角要素の1つはゼロ（赤色の太字、ダークモードでは水色太字）です。さらに、行列⁠ ⁠ ${\displaystyle \mathbf {U} }$と⁠ ⁠ ${\displaystyle \mathbf {V} ^{*}}$はユニタリ行列であるため、それぞれの共役転置を乗じると、以下に示すように単位行列 ⁠ ⁠が得られます。この場合、⁠ ⁠ ${\displaystyle \mathbf {U} }$と⁠ ⁠ は ${\displaystyle \mathbf {V} ^{*}}$実数であるため、それぞれ直交行列 ⁠ ⁠となります。

$${\displaystyle {\begin{aligned}\mathbf {U} \mathbf {U} ^{*}&={\begin{bmatrix}1&0&0&0\\0&1&0&0\\0&0&1&0\\0&0&0&1\end{bmatrix}}=\mathbf {I} _{4}\\[6pt]\mathbf {V} \mathbf {V} ^{*}&={\begin{bmatrix}1&0&0&0&0\\0&1&0&0&0\\0&0&1&0&0\\0&0&0&1&0\\0&0&0&0&1\end{bmatrix}}=\mathbf {I} _{5}\end{aligned}}}$$

この特異値分解は一意ではありません。例えば、⁠ ⁠ ${\displaystyle \mathbf {U} }$と⁠ ⁠ ${\displaystyle \mathbf {\Sigma } }$は同じままにして、⁠ ⁠ ${\displaystyle \mathbf {V} ^{*}}$の最後の2行を次のように 変更することができます。 $${\displaystyle \mathbf {V} ^{*}={\begin{bmatrix}\color {Violet}0&\color {Violet}0&\color {Violet}-1&\color {Violet}0&\color {Violet}0\\\color {Plum}-{\sqrt {0.2}}&\color {Plum}0&\color {Plum}0&\color {Plum}0&\color {Plum}-{\sqrt {0.8}}\\\color {Magenta}0&\color {Magenta}-1&\color {Magenta}0&\color {Magenta}0&\color {Magenta}0\\\color {Orchid}{\sqrt {0.4}}&\color {Orchid}0&\color {Orchid}0&\color {Orchid}{\sqrt {0.5}}&\color {Orchid}-{\sqrt {0.1}}\\\color {Purple}-{\sqrt {0.4}}&\color {Purple}0&\color {Purple}0&\color {Purple}{\sqrt {0.5}}&\color {Purple}{\sqrt {0.1}}\end{bmatrix}}}$$

同様に有効な特異値分解が得られます。行列⁠ ⁠ ${\displaystyle \mathbf {M} }$は階数3なので、非零の特異値は3つしかありません。積⁠ ⁠ ${\displaystyle \mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}}$を取る際に、⁠ ⁠の最後の列と ${\displaystyle \mathbf {U} }$⁠ ⁠ ${\displaystyle \mathbf {V^{*}} }$の最後の2行にゼロが掛けられますが、これらは行列積には影響しません。これらの値は、最初の3つのベクトルと互いに直交し、かつ互いに直交する任意の単位ベクトルに置き換えることができます。

コンパクトなSVDは、これらの ${\displaystyle \mathbf {M} =\mathbf {U} _{r}\mathbf {\Sigma } _{r}\mathbf {V} _{r}^{*}}$余分な行、列、および特異値を削除します。 $${\displaystyle {\begin{aligned}\mathbf {U} _{r}&={\begin{bmatrix}\color {Green}0&\color {Blue}-1&\color {Cyan}0\\\color {Green}-1&\color {Blue}0&\color {Cyan}0\\\color {Green}0&\color {Blue}0&\color {Cyan}0\\\color {Green}0&\color {Blue}0&\color {Cyan}-1\end{bmatrix}}\\[6pt]\mathbf {\Sigma } _{r}&={\begin{bmatrix}3&0&0\\0&{\sqrt {5}}&0\\0&0&2\end{bmatrix}}\\[6pt]\mathbf {V} _{r}^{*}&={\begin{bmatrix}\color {Violet}0&\color {Violet}0&\color {Violet}-1&\color {Violet}0&\color {Violet}0\\\color {Plum}-{\sqrt {0.2}}&\color {Plum}0&\color {Plum}0&\color {Plum}0&\color {Plum}-{\sqrt {0.8}}\\\color {Magenta}0&\color {Magenta}-1&\color {Magenta}0&\color {Magenta}0&\color {Magenta}0\end{bmatrix}}\end{aligned}}}$$

SVDとスペクトル分解

特異値、特異ベクトル、そしてそれらのSVDとの関係

非負の実数⁠ ⁠ ${\displaystyle \sigma }$が⁠ ⁠の特異値となるの は、 ⁠ ⁠と⁠ ⁠の単位ベクトル⁠ ⁠が存在し、 ${\displaystyle \mathbf {M} }$ ${\displaystyle \mathbf {u} }$ ${\displaystyle K^{m}}$ ${\displaystyle \mathbf {v} }$ ${\displaystyle K^{n}}$ $${\displaystyle {\begin{aligned}\mathbf {Mv} &=\sigma \mathbf {u} ,\\[3mu]\mathbf {M} ^{*}\mathbf {u} &=\sigma \mathbf {v} .\end{aligned}}}$$

ベクトル⁠ ⁠ ${\displaystyle \mathbf {u} }$と⁠ ⁠ は、それぞれ ${\displaystyle \mathbf {v} }$⁠ ⁠の左特異ベクトルと右特異ベクトルと呼ばれます。 ${\displaystyle \sigma ,}$

任意の特異値分解において、 ⁠ ⁠の対角要素は⁠ ⁠ ⁠の特異値に等しい。⁠ ⁠ ⁠と⁠ ⁠の最初の⁠ ⁠列は、それぞれ対応する特異値の左特異ベクトルと右特異ベクトルである。したがって、上記の定理から以下が導かれる。 $${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}}$$ ${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle \mathbf {M} .}$ ${\displaystyle p=\min(m,n)}$ ${\displaystyle \mathbf {U} }$ ${\displaystyle \mathbf {V} }$

• 行列には最大で⁠ ⁠ ${\displaystyle m\times n}$個の異なる特異値が存在します。 ${\displaystyle \mathbf {M} }$ ${\displaystyle p}$
• ⁠ ⁠の各特異値の左特異ベクトルを張る基底ベクトルのサブセットを持つ⁠ ⁠のユニタリ基底 ⁠ ⁠ ${\displaystyle \mathbf {U} }$を見つけることは常に可能です。 ${\displaystyle K^{m}}$ ${\displaystyle \mathbf {M} .}$
• ⁠ ⁠の各特異値の右特異ベクトルを張る基底ベクトルのサブセットを持つ⁠ ⁠のユニタリ基底⁠ ⁠を見つけることは常に可能です。 ${\displaystyle \mathbf {V} }$ ${\displaystyle K^{n}}$ ${\displaystyle \mathbf {M} .}$

線形独立な2つの左（または右）特異ベクトルが見つかる特異値は退化と呼ばれます。⁠ ⁠ と ⁠ ⁠ が2つの左特異ベクトルで、どちらも特異値 σ に対応する場合、 ${\displaystyle \mathbf {u} _{1}}$ 2つのベクトル ${\displaystyle \mathbf {u} _{2}}$の正規化された線形結合も、特異値 σ に対応する左特異ベクトルになります。同様のことが右特異ベクトルにも当てはまります。独立した左特異ベクトルと右特異ベクトルの数は一致し、これらの特異ベクトルは、すべて同じ値を持つ ⁠ ⁠ の対角要素に対応する⁠ ⁠ ${\displaystyle \mathbf {U} }$と⁠ ⁠の同じ列に現れます ${\displaystyle \mathbf {V} }$。 ${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle \sigma .}$

例外として、特異値 0 の左特異ベクトルと右特異ベクトルは、それぞれ⁠ ⁠の余核と核のすべての単位ベクトルで構成されますが、階数零定理により、⁠ ⁠の場合、これらのベクトルは同じ次元にはなりません。 すべての特異値がゼロでなくても、⁠ ⁠の場合、余核は自明ではなく、その場合、⁠ ⁠には余核からの⁠ ⁠直交ベクトルが埋め込まれます。逆に、 ⁠ ⁠の場合、 ⁠ ⁠には核からの⁠ ⁠直交ベクトルが埋め込まれます。ただし、 ⁠ ⁠の特異値が存在する場合、 ⁠ ⁠または⁠ ⁠の余分な列は、すでに左特異ベクトルまたは右特異ベクトルとして表示されます。 ${\displaystyle \mathbf {M} ,}$ ${\displaystyle m\neq n.}$ ${\displaystyle m>n}$ ${\displaystyle \mathbf {U} }$ ${\displaystyle m-n}$ ${\displaystyle m<n,}$ ${\displaystyle \mathbf {V} }$ ${\displaystyle n-m}$ ${\displaystyle 0}$ ${\displaystyle \mathbf {U} }$ ${\displaystyle \mathbf {V} }$

非退化特異値は、単位位相因子⁠ ⁠ ${\displaystyle e^{i\varphi }}$（実数の場合は符号まで）による乗算を除き、常に一意の左特異ベクトルと右特異ベクトルを持ちます。したがって、正方行列⁠ ⁠ ${\displaystyle \mathbf {M} }$のすべての特異値が非退化かつ非ゼロである場合、その特異値分解は、⁠ ⁠の列に単位位相因子を乗算し、同時に ${\displaystyle \mathbf {U} }$⁠ ⁠ ${\displaystyle \mathbf {V} }$の対応する列に同じ単位位相因子を乗算するまで一意です。一般に、SVD は、各特異値のサブスペースを張る⁠ ⁠ ${\displaystyle \mathbf {U} }$と⁠ ⁠の両方の列ベクトルに一様に適用される任意のユニタリ変換、および ${\displaystyle \mathbf {V} }$⁠ ⁠の核と余核を張る⁠ ⁠ ${\displaystyle \mathbf {U} }$と⁠ ⁠のベクトルに対する任意のユニタリ変換まで一意です。 ${\displaystyle \mathbf {V} }$ ${\displaystyle \mathbf {M} .}$

固有値分解との関係

特異値分解は任意の行列 ${\displaystyle m\times n}$に適用できるという意味で非常に汎用的ですが、固有値分解は正方対角化可能な行列にのみ適用できます。しかし、これら2つの分解は関連しています。

⁠ ⁠ ${\displaystyle \mathbf {M} }$に SVD ⁠ ⁠ ${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*},}$がある場合、次の 2 つの関係が成り立ちます。 $${\displaystyle {\begin{aligned}\mathbf {M} ^{*}\mathbf {M} &=\mathbf {V} \mathbf {\Sigma } ^{*}\mathbf {U} ^{*}\,\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}=\mathbf {V} (\mathbf {\Sigma } ^{*}\mathbf {\Sigma } )\mathbf {V} ^{*},\\[3mu]\mathbf {M} \mathbf {M} ^{*}&=\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}\,\mathbf {V} \mathbf {\Sigma } ^{*}\mathbf {U} ^{*}=\mathbf {U} (\mathbf {\Sigma } \mathbf {\Sigma } ^{*})\mathbf {U} ^{*}.\end{aligned}}}$$

これらの関係式の右辺は左辺の固有値分解を記述する。したがって、

• ⁠ ⁠ ${\displaystyle \mathbf {V} }$の列（右特異ベクトルと呼ばれる）は⁠ ⁠の固有ベクトルである。 ${\displaystyle \mathbf {M} ^{*}\mathbf {M} .}$
• ⁠ ⁠ ${\displaystyle \mathbf {U} }$の列（左特異ベクトルと呼ばれる）は⁠ ⁠の固有ベクトルである。 ${\displaystyle \mathbf {M} \mathbf {M} ^{*}.}$
• ⁠ ⁠ ${\displaystyle \mathbf {\Sigma } }$の非ゼロ要素（非ゼロ特異値）は、 ⁠ ⁠ ⁠または⁠ ⁠ ⁠の非ゼロ固有値の平方根です。 ${\displaystyle \mathbf {M} ^{*}\mathbf {M} }$ ${\displaystyle \mathbf {M} \mathbf {M} ^{*}.}$

⁠ ⁠が ${\displaystyle \mathbf {M} }$正規行列 ⁠で、したがって正方行列でもある特殊なケースでは、スペクトル定理により、固有ベクトル ⁠の基底を使用してユニタリ 対角化できるため、対角線に沿って複素要素⁠ ⁠を持つユニタリ行列⁠ ⁠と対角行列⁠ ⁠に対して⁠ ⁠として分解できます。⁠ ⁠が半正定値 ⁠ ⁠の場合、⁠ ⁠は非負の実数となるため、分解⁠ ⁠ ⁠も特異値分解になります。それ以外の場合は、各⁠ ⁠の位相⁠ ⁠を対応する⁠ ⁠または⁠ ⁠に移動することで、SVD として作り直すことができます。SVDと非正規行列の自然なつながりは、極分解定理によるものです。 ⁠ ⁠ここで⁠ ⁠は半正定値かつ正規であり、 ⁠ ⁠はユニタリです。 ${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {D} \mathbf {U} ^{*}}$ ${\displaystyle \mathbf {U} }$ ${\displaystyle \mathbf {D} }$ ${\displaystyle \sigma _{i}}$ ${\displaystyle \mathbf {M} }$ ${\displaystyle \sigma _{i}}$ ${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {D} \mathbf {U} ^{*}}$ ${\displaystyle e^{i\varphi }}$ ${\displaystyle \sigma _{i}}$ ${\displaystyle \mathbf {V} _{i}}$ ${\displaystyle \mathbf {U} _{i}.}$ ${\displaystyle \mathbf {M} =\mathbf {S} \mathbf {R} ,}$ ${\displaystyle \mathbf {S} =\mathbf {U} \mathbf {\Sigma } \mathbf {U} ^{*}}$ ${\displaystyle \mathbf {R} =\mathbf {U} \mathbf {V} ^{*}}$

したがって、半正定値行列を除いて、 ⁠ ⁠ ${\displaystyle \mathbf {M} ,}$の固有値分解と SVD は関連しているものの異なります。固有値分解は⁠ ⁠ ${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {D} \mathbf {U} ^{-1},}$であり、 ⁠ ⁠ ${\displaystyle \mathbf {U} }$は必ずしもユニタリではなく、⁠ ⁠ ${\displaystyle \mathbf {D} }$は必ずしも半正定値ではありません。一方、SVD は⁠ ⁠ ${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*},}$であり、 ⁠ ⁠ ${\displaystyle \mathbf {\Sigma } }$は対角かつ半正定値であり、⁠ ⁠ ${\displaystyle \mathbf {U} }$と⁠ ⁠ ${\displaystyle \mathbf {V} }$は、行列⁠ ⁠を除いて必ずしも関連していないユニタリ行列です ${\displaystyle \mathbf {M} .}$。欠陥のない正方行列 のみが固有値分解を持ちますが、どの⁠ ⁠ ${\displaystyle m\times n}$行列にも SVD があります。

SVDの応用

擬似逆行列

特異値分解は、行列の擬似逆行列を計算するために使用できます。特異値分解を用いた行列⁠ ⁠の擬似逆行列は ${\displaystyle \mathbf {M} }$⁠ ⁠ ${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}}$です 。ここで⁠ は ⁠の擬似逆行列であり、これはすべての非ゼロ対角要素をその逆数に置き換え、その結果得られる行列を転置することによって形成されます。擬似逆行列は、線形最小二乗問題を解く方法の一つです。 $${\displaystyle \mathbf {M} ^{+}=\mathbf {V} {\boldsymbol {\Sigma }}^{+}\mathbf {U} ^{\ast },}$$ ${\displaystyle {\boldsymbol {\Sigma }}^{+}}$ ${\displaystyle {\boldsymbol {\Sigma }}}$

同次線形方程式を解く

同次線形方程式のセットは、行列⁠ ⁠、ベクトル⁠ ⁠、および零ベクトル⁠ ⁠について⁠ ⁠ ${\displaystyle \mathbf {A} \mathbf {x} =\mathbf {0} }$と表すことができます。典型的な状況は、 ⁠ ⁠が既知であり、方程式を満たす非零⁠ ⁠を決定することです。このような⁠ ⁠は⁠ ⁠の零空間に属し、 ⁠ ⁠の (右) 零ベクトルと呼ばれることもあります。ベクトル⁠ ⁠は、零である⁠ ⁠の特異値に対応する右特異ベクトルとして特徴付けることができます。この観察は、 ⁠ ⁠が正方行列であり、消失する特異値を持たない場合、方程式には解として非零⁠ ⁠がないことを意味します。また、消失する特異値が複数ある場合、対応する右特異ベクトルの任意の線形結合が有効な解であることを意味します。 （右）ヌルベクトルの定義と同様に、 ⁠ ⁠を満たす非ゼロの⁠ ⁠は⁠ ⁠の共役転置を表し、⁠ ⁠の左ヌルベクトルと呼ばれます。 ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {0} }$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathbf {A} .}$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {x} ^{*}\mathbf {A} =\mathbf {0} }$ ${\displaystyle \mathbf {x} ^{*}}$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {A} .}$

合計最小二乗最小化

全最小二乗問題は、制約の下でベクトル⁠ ⁠の2 ノルムを最小化するベクトル⁠ ⁠ ${\displaystyle \mathbf {x} }$を求めます。解は、最小の特異値に対応する⁠ ⁠の右特異ベクトルになります。 ${\displaystyle \mathbf {A} \mathbf {x} }$ ${\displaystyle \|\mathbf {x} \|=1.}$ ${\displaystyle \mathbf {A} }$

範囲、零空間、ランク

SVD のもう 1 つの用途は、行列の値域と零空間の明示的な表現を提供することです。⁠ ${\displaystyle \mathbf {M} .}$⁠ ${\displaystyle \mathbf {M} }$の消失する特異値に対応する右特異ベクトルは⁠ ${\displaystyle \mathbf {M} }$⁠の零空間を張り、 ⁠ ${\displaystyle \mathbf {M} }$⁠の非ゼロの特異値に対応する左特異ベクトルは⁠ ${\displaystyle \mathbf {M} .}$⁠の値域を張ります。たとえば、上記の例では、零空間は⁠ ⁠ ${\displaystyle \mathbf {V} ^{*}}$の最後の行で張られ、値域は⁠ ⁠の最初の 3 列で張られています。 ${\displaystyle \mathbf {U} .}$

結果として、⁠ ⁠の階数は非ゼロの特異値の数に等しく、これは の非ゼロの対角要素の数と同じです。数値線形代数では、特異値を用いて行列の実効階数を決定することができます。これは、丸め誤差により、階数不足の行列では小さいながらも非ゼロの特異値が生じる可能性があるためです。大きな差を超える特異値は、数値的にゼロと等価であるとみなされます。 ${\displaystyle \mathbf {M} }$ ${\displaystyle \mathbf {\Sigma } }$

低ランク行列近似

いくつかの実用的なアプリケーションでは、特定の階数が⁠ ⁠である、切り捨てられたと言われる別の行列⁠ ⁠を近似する問題を解く必要があります。近似が⁠ ⁠と⁠ ⁠の差のフロベニウスノルムを ⁠ ⁠という制約の下で最小化することに基づく場合、解は⁠ ⁠の SVD によって与えられることがわかります。つまり、 ⁠ ⁠ は⁠ ⁠最大の特異値のみを含む（他の特異値はゼロに置き換えられる）ことを除いて ⁠ ⁠と同じ行列です。これは1936 年にこの 2 人の著者によって証明されたため、エッカート–ヤングの定理^{として知られています。 [a]} ${\displaystyle \mathbf {M} }$ ${\displaystyle {\tilde {\mathbf {M} }}}$ ${\displaystyle r}$ ${\displaystyle \mathbf {M} }$ ${\displaystyle {\tilde {\mathbf {M} }}}$ ${\displaystyle \operatorname {rank} {\bigl (}{\tilde {\mathbf {M} }}{\bigr )}=r,}$ ${\displaystyle \mathbf {M} ,}$ $${\displaystyle {\tilde {\mathbf {M} }}=\mathbf {U} {\tilde {\mathbf {\Sigma } }}\mathbf {V} ^{*},}$$ ${\displaystyle {\tilde {\mathbf {\Sigma } }}}$ ${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle r}$

画像圧縮

1996年式シボレー・コルベットの写真を特異値分解（SVD）で圧縮した画像。元のRGB画像（左上）と、ランク1、10、100の再構成画像を比較した。

SVDによる低階数近似の実用的な帰結の一つは、行列で表されるグレースケール画像を、最初の特異値とそれに対応するベクトルを保持することで効率的に表現できることである。切り捨て分解は、 ${\displaystyle m\times n}$ ${\displaystyle \mathbf {A} }$ ${\displaystyle k}$

${\displaystyle \mathbf {A} _{k}=\sum _{j=1}^{k}\sigma _{j}\mathbf {u} _{j}\mathbf {v} _{j}^{T}}$ランクkの近似値の中で、2ノルム誤差が最良となる画像が得られます。したがって、課題は、知覚的な忠実度を維持しながら画像を再構成するために必要なベクトル数とバランスの取れた近似値を見つけることとなります。保存には、整数ではなく浮動小数点数のみが必要です。この同じ考え方は、この操作を各チャネルに適用するか、チャネルを1つの行列に積み重ねることで、カラー画像にも適用できます。 ${\displaystyle \mathbf {A} _{k}}$ ${\displaystyle k(n+m+1)}$ ${\displaystyle nm}$

ほとんどの自然画像の特異値は急速に減衰するため、その分散のほとんどは小さな で捉えられることが多い。1528 × 1225 のグレースケール画像の場合、という小さな で の相対誤差を実現できる。^{[1]ただし、実際には SVD の計算は計算コストが高すぎる場合があり、結果として得られる圧縮は、} JPEGなどの特殊なアルゴリズムに比べてストレージ効率が低くなることが多い。 ${\displaystyle k}$ ${\displaystyle .7\%}$ ${\displaystyle k=100}$

分離可能なモデル

特異値分解（SVD）は、行列を重み付きで順序付けられた分離可能な行列の和に分解すると考えることができます。分離可能とは、行列が2つのベクトルの外積として表せること、あるいは座標系で表せることを意味します。具体 ${\displaystyle \mathbf {A} }$的には、 ${\displaystyle \mathbf {A} =\mathbf {u} \otimes \mathbf {v} ,}$行列は次のよう ${\displaystyle A_{ij}=u_{i}v_{j}.}$に分解できます。 ${\displaystyle \mathbf {M} }$

$${\displaystyle \mathbf {M} =\sum _{i}\mathbf {A} _{i}=\sum _{i}\sigma _{i}\mathbf {U} _{i}\otimes \mathbf {V} _{i}.}$$

ここで、 ⁠ ⁠ ${\displaystyle \mathbf {U} _{i}}$と⁠ ⁠ ${\displaystyle \mathbf {V} _{i}}$は対応する SVD 行列の⁠ ⁠番目の列、 ${\displaystyle i}$⁠ ⁠ ${\displaystyle \sigma _{i}}$は順序付けられた特異値、各⁠ ⁠ ${\displaystyle \mathbf {A} _{i}}$は分離可能です。SVD は、画像処理フィルタを分離可能な水平フィルタと垂直フィルタに分解するために使用できます。非ゼロの⁠ ⁠ ${\displaystyle \sigma _{i}}$の数は、まさに行列の階数であることに注意してください。^[要出典]分離可能なモデルは生物系でよく発生し、SVD 分解はそのような系の解析に役立ちます。たとえば、一部の視覚野 V1 単純細胞の受容野は、空間領域のガボールフィルタに時間領域の変調関数を乗じることで適切に説明できます^[2]。したがって、たとえば逆相関で評価された線形フィルタを考えると、2 つの空間次元を 1 つの次元に並べ替えて、SVD で分解できる 2 次元フィルタ (空間、時間) を作成できます。SVD分解における⁠ ⁠の最初の列はガボール係数であり、 ⁠ ⁠の最初の列は時間変調を表す（またはその逆）。そこで、分離可能性の指標を定義することができる。 ${\displaystyle \mathbf {U} }$ ${\displaystyle \mathbf {V} }$

$${\displaystyle \alpha ={\frac {\sigma _{1}^{2}}{\sum _{i}\sigma _{i}^{2}}},}$$

これは、分解において最初の分離可能な行列によって説明される行列Mのべき乗の割合である。^[3]

最も近い直交行列

正方行列⁠ ⁠ ${\displaystyle \mathbf {A} }$の SVD を使用して、 ⁠ ⁠に最も近い直交行列 ⁠ ⁠ ${\displaystyle \mathbf {Q} }$を決定することができます。適合度の近さは、⁠ ⁠のフロベニウスノルムで測定されます。解は積 ⁠ ⁠ [4] [5] です。これ^は直感的に理解できます。直交行列には分解⁠ ⁠ があり、 ⁠ ⁠は単位行列であるため、⁠ ⁠の場合、積⁠ ⁠は特異値を 1 に置き換えることに相当するからです。同様に、解は、前述のように、伸縮と回転のどちらの順序でも、極分解のユニタリ行列⁠ ⁠です。 ${\displaystyle \mathbf {A} .}$ ${\displaystyle \mathbf {Q} -\mathbf {A} .}$ ${\displaystyle \mathbf {U} \mathbf {V} ^{*}.}$ ${\displaystyle \mathbf {U} \mathbf {I} \mathbf {V} ^{*}}$ ${\displaystyle \mathbf {I} }$ ${\displaystyle \mathbf {A} =\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}}$ ${\displaystyle \mathbf {A} =\mathbf {U} \mathbf {V} ^{*}}$ ${\displaystyle \mathbf {R} =\mathbf {U} \mathbf {V} ^{*}}$ ${\displaystyle \mathbf {M} =\mathbf {R} \mathbf {P} =\mathbf {P} '\mathbf {R} }$

形状解析において興味深い応用を持つ同様の問題として、直交プロクラステス問題があります。これは、 ⁠ ⁠を⁠ ⁠に最も厳密にマッピングする直交行列⁠ ⁠ ${\displaystyle \mathbf {Q} }$を見つけることから構成されます。具体的には、はフロベニウスノルムを表します。 ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathbf {B} .}$ $${\displaystyle \mathbf {Q} ={\underset {\Omega }{\operatorname {argmin} }}\|\mathbf {A} {\boldsymbol {\Omega }}-\mathbf {B} \|_{F}\quad {\text{subject to}}\quad {\boldsymbol {\Omega }}^{\operatorname {T} }{\boldsymbol {\Omega }}=\mathbf {I} ,}$$ ${\displaystyle \|\cdot \|_{F}}$

この問題は、与えられた行列に最も近い直交行列を見つけることと同じです。 ${\displaystyle \mathbf {M} =\mathbf {A} ^{\operatorname {T} }\mathbf {B} }$

カブシュアルゴリズム

Kabschアルゴリズム（他の分野ではWahba問題と呼ばれる）は、特異値分解（SVD）を用いて、点の集合を対応する点の集合に整列させる最適な回転（最小二乗法に基づく）を計算する。このアルゴリズムは、分子の構造比較などの用途に用いられる。

主成分分析

SVDは主成分分析における主成分を次のように構築するために使用できる。^[6]

をデータ行列とし、各行は（特徴ごとの）平均中心観測値で、各次元はです。 ${\displaystyle \mathbf {X} \in \mathbb {R} ^{N\times p}}$ ${\displaystyle N}$ ${\displaystyle p}$

のSVDは次のとおりです。 ${\displaystyle \mathbf {X} }$ $${\displaystyle \mathbf {X} =\mathbf {V} {\boldsymbol {\Sigma }}\mathbf {U} ^{\ast }}$$

には（つまり各観測値の）行のスコアが含まれており、その列は主成分負荷ベクトルである行列であることがわかります。 ^[6] ${\displaystyle \mathbf {V} {\boldsymbol {\Sigma }}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {U} }$

信号処理

SVDと擬似逆行列は信号処理[ ^{7] 、} 画像処理^[8]、ビッグデータ（例えばゲノム信号処理）にうまく適用されている。^{[9] [10] [11] [12]}

その他の例

SVDは線形逆問題の研究にも広く応用されており、ティホノフの正則化法などの解析にも有用です。統計学では主成分分析や対応分析と関連しており、信号処理やパターン認識にも広く用いられています。また、出力のみのモード解析にも用いられ、非スケールモード形状を特異ベクトルから決定することができます。さらに、自然言語テキスト処理における潜在的意味索引付けにも用いられます。

線形システムまたは線形化システムを含む一般的な数値計算では、問題の正則性または特異性を特徴付ける普遍定数、すなわちシステムの「条件数」が存在します。これは、そのようなシステムにおける特定の計算スキームのエラー率または収束率を制御することがよくあります。^{[13] [14]} ${\displaystyle \kappa :=\sigma _{\text{max}}/\sigma _{\text{min}}}$

特異値分解は量子情報分野でも重要な役割を果たしており、シュミット分解と呼ばれる形式でよく知られています。これにより、2つの量子系の状態は自然に分解され、それらがエンタングルメントされるための必要十分条件、すなわち行列の階数が1より大きいことが示されます。 ${\displaystyle \mathbf {\Sigma } }$

SVDの比較的大きな行列への応用例の一つとして、数値天気予報が挙げられます。ここでは、ランチョス法を用いて、与えられた初期前方期間における数値天気予報の中心となる予測に対して最も線形に急速に増加する少数の擾乱、すなわち、その時間間隔における全球天気の線形化伝播関数の最大特異値に対応する特異ベクトルを推定します。この場合、出力される特異ベクトルは気象システム全体です。これらの擾乱は、完全な非線形モデルに渡され、アンサンブル予報を生成します。これにより、現在の中心予測に許容されるべき不確実性の一部を把握することができます。

SVDは低次元モデリングにも応用されています。低次元モデリングの目的は、モデル化対象となる複雑なシステムの自由度の数を減らすことです。SVDはラジアル基底関数と結合され、3次元非定常流れ問題の解を補間するために用いられました。^[15]

興味深いことに、SVDは地上重力波干渉計aLIGOによる重力波形モデリングの改善に使用されています。^[16] SVDは、重力波探索をサポートし、2つの異なる波形モデルを更新するための波形生成の精度と速度を向上させるのに役立ちます。

特異値分解は、推薦システムにおいて人々のアイテム評価を予測するために使用されます。^[17]分散アルゴリズムは、汎用マシンのクラスター上で特異値分解を計算する目的で開発されています。^[18]

低ランクSVDは、疾病発生検出への応用を目的とした時空間データからのホットスポット検出に応用されている。^{[19] SVDと}高階SVDの組み合わせは、疾病監視における複雑なデータストリーム（空間次元と時間次元を持つ多変量データ）からのリアルタイムイベント検出にも適用されている。^[20]

天体力学では、SVDとその派生型は、遷移軌道設計^[21]や軌道維持^[22]に適した操作方向を決定するためのオプションとして使用されます。

特異値分解（SVD）は、実数値行列間の類似度を測定するために使用できます。^{[23]特異ベクトル間の角度を測定することで、行列の固有の2次元構造を考慮できます。この手法は、}神経科学実験における脳活動測定を含むほとんどのケースにおいて、コサイン類似度やフロベニウスノルムよりも優れた性能を示すことが示されています。

存在の証明

行列 ⁠ ⁠ の固有値は ${\displaystyle \lambda }$代数関係⁠ ⁠によって特徴付けられます。 ${\displaystyle \mathbf {M} }$⁠ ⁠がエルミート行列である場合、変分法による特徴付けも可能です。⁠ ⁠ を実対称行列とします。定義します。 ${\displaystyle \mathbf {M} \mathbf {u} =\lambda \mathbf {u} .}$ ${\displaystyle \mathbf {M} }$ ${\displaystyle \mathbf {M} }$ ${\displaystyle n\times n}$

$${\displaystyle f:\left\{{\begin{aligned}\mathbb {R} ^{n}&\to \mathbb {R} \\\mathbf {x} &\mapsto \mathbf {x} ^{\operatorname {T} }\mathbf {M} \mathbf {x} \end{aligned}}\right.}$$

極値定理によれば、この連続関数は単位球面に制限されたとき、ある⁠ ⁠ ${\displaystyle \mathbf {u} }$で最大値をとります。ラグランジュの乗数定理によれば、 ⁠ ⁠ は、 ある実数⁠ ⁠に対して必ず満たされます 。ナブラ記号⁠ ⁠は、デル演算子（ ⁠ ⁠に関する微分）です。 ⁠ ⁠の対称性を用いて、次の式を得ます 。 ${\displaystyle \{\|\mathbf {x} \|=1\}.}$ ${\displaystyle \mathbf {u} }$ $${\displaystyle \nabla \mathbf {u} ^{\operatorname {T} }\mathbf {M} \mathbf {u} -\lambda \cdot \nabla \mathbf {u} ^{\operatorname {T} }\mathbf {u} =\mathbf {0} }$$ ${\displaystyle \lambda .}$ ${\displaystyle \nabla }$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {M} }$ $${\displaystyle \nabla \mathbf {x} ^{\operatorname {T} }\mathbf {M} \mathbf {x} -\lambda \cdot \nabla \mathbf {x} ^{\operatorname {T} }\mathbf {x} =2(\mathbf {M} -\lambda \mathbf {I} )\mathbf {x} .}$$

したがって、 ⁠ ⁠ ${\displaystyle \mathbf {M} \mathbf {u} =\lambda \mathbf {u} ,}$なので、 ⁠ ⁠は ${\displaystyle \mathbf {u} }$⁠ ⁠ ${\displaystyle \mathbf {M} .}$の単位長固有ベクトルです。⁠ ⁠のすべての単位長固有ベクトル⁠ ⁠ ${\displaystyle \mathbf {v} }$に対して、その固有値は⁠ ⁠なので、 ⁠ ⁠は⁠ ⁠の最大固有値です。 ⁠ ⁠の直交補ベクトルに対して同じ計算を行うと、次に大きい固有値が得られ、以下同様に続きます。複素エルミートの場合も同様で、実変数の実数値関数が存在します。 ${\displaystyle \mathbf {M} }$ ${\displaystyle f(\mathbf {v} ),}$ ${\displaystyle \lambda }$ ${\displaystyle \mathbf {M} .}$ ${\displaystyle \mathbf {u} }$ ${\displaystyle f(\mathbf {x} )=\mathbf {x} ^{*}\mathbf {M} \mathbf {x} }$ ${\displaystyle 2n}$

特異値は代数的に記述できる、あるいは変分原理から記述できるという点で似ています。ただし、固有値の場合とは異なり、⁠ ⁠ ${\displaystyle \mathbf {M} }$のエルミート性、つまり対称性はもはや必要ありません。

このセクションでは、特異値分解の存在に関するこれら 2 つの議論を示します。

スペクトル定理に基づく

を複素行列とします。は半正定値かつエルミート行列なので、スペクトル定理により、 となるユニタリ行列が存在し、 は対角正定値行列で、次元 、非ゼロ固有値の個数は です（これは であることが証明できます）。ここで、 は定義により の-番目の列が の - 番目の固有ベクトルであり、固有値 に対応する行列であることに注目してください。 さらに、の - 番目の列は、に対して、の - 番目の列は、固有値を持つ の固有ベクトルです。 これは と書き表すことができます。したがって、 と の列には、それぞれ非ゼロおよびゼロの固有値に対応するの固有ベクトルが含まれます。 のこの書き直しを使用すると、方程式は次のようになります。 ${\displaystyle \mathbf {M} }$ ${\displaystyle m\times n}$ ${\displaystyle \mathbf {M} ^{*}\mathbf {M} }$ ${\displaystyle n\times n}$ ${\displaystyle \mathbf {V} }$ $${\displaystyle \mathbf {V} ^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} ={\bar {\mathbf {D} }}={\begin{bmatrix}\mathbf {D} &0\\0&0\end{bmatrix}},}$$ ${\displaystyle \mathbf {D} }$ ${\displaystyle \ell \times \ell }$ ${\displaystyle \ell }$ ${\displaystyle \mathbf {M} ^{*}\mathbf {M} }$ ${\displaystyle \ell \leq \min(n,m)}$ ${\displaystyle \mathbf {V} }$ ${\displaystyle i}$ ${\displaystyle i}$ ${\displaystyle \mathbf {M} ^{*}\mathbf {M} }$ ${\displaystyle {\bar {\mathbf {D} }}_{ii}}$ ${\displaystyle j}$ ${\displaystyle \mathbf {V} }$ ${\displaystyle j>\ell }$ ${\displaystyle \mathbf {M} ^{*}\mathbf {M} }$ ${\displaystyle {\bar {\mathbf {D} }}_{jj}=0}$ ${\displaystyle \mathbf {V} }$ ${\displaystyle \mathbf {V} ={\begin{bmatrix}\mathbf {V} _{1}&\mathbf {V} _{2}\end{bmatrix}}}$ ${\displaystyle \mathbf {V} _{1}}$ ${\displaystyle \mathbf {V} _{2}}$ ${\displaystyle \mathbf {M} ^{*}\mathbf {M} }$ ${\displaystyle \mathbf {V} }$ $${\displaystyle {\begin{bmatrix}\mathbf {V} _{1}^{*}\\\mathbf {V} _{2}^{*}\end{bmatrix}}\mathbf {M} ^{*}\mathbf {M} \,{\begin{bmatrix}\mathbf {V} _{1}&\!\!\mathbf {V} _{2}\end{bmatrix}}={\begin{bmatrix}\mathbf {V} _{1}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{1}&\mathbf {V} _{1}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{2}\\\mathbf {V} _{2}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{1}&\mathbf {V} _{2}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{2}\end{bmatrix}}={\begin{bmatrix}\mathbf {D} &0\\0&0\end{bmatrix}}.}$$

これは、 $${\displaystyle \mathbf {V} _{1}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{1}=\mathbf {D} ,\quad \mathbf {V} _{2}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{2}=\mathbf {0} .}$$

さらに、2 番目の式は を意味します。^[b]最後に、 のユニタリ性は、およびに関して、次の条件に変換されます。ここで、単位行列の添え字は、それらの次元が異なることを示すために使用されます。 ${\displaystyle \mathbf {M} \mathbf {V} _{2}=\mathbf {0} }$ ${\displaystyle \mathbf {V} }$ ${\displaystyle \mathbf {V} _{1}}$ ${\displaystyle \mathbf {V} _{2}}$ $${\displaystyle {\begin{aligned}\mathbf {V} _{1}^{*}\mathbf {V} _{1}&=\mathbf {I} _{1},\\\mathbf {V} _{2}^{*}\mathbf {V} _{2}&=\mathbf {I} _{2},\\\mathbf {V} _{1}\mathbf {V} _{1}^{*}+\mathbf {V} _{2}\mathbf {V} _{2}^{*}&=\mathbf {I} _{12},\end{aligned}}}$$

ここで定義してみよう $${\displaystyle \mathbf {U} _{1}=\mathbf {M} \mathbf {V} _{1}\mathbf {D} ^{-{\frac {1}{2}}}.}$$

それから、 $${\displaystyle \mathbf {U} _{1}\mathbf {D} ^{\frac {1}{2}}\mathbf {V} _{1}^{*}=\mathbf {M} \mathbf {V} _{1}\mathbf {D} ^{-{\frac {1}{2}}}\mathbf {D} ^{\frac {1}{2}}\mathbf {V} _{1}^{*}=\mathbf {M} (\mathbf {I} -\mathbf {V} _{2}\mathbf {V} _{2}^{*})=\mathbf {M} -(\mathbf {M} \mathbf {V} _{2})\mathbf {V} _{2}^{*}=\mathbf {M} ,}$$

なので、これは という事実から直接導かれる帰結とも言えます。これは、が の固有ベクトルの集合で、それらが 0 でない固有値に対応する場合、 は直交ベクトルの集合であり、は（一般に完全ではない）直交ベクトルの集合であるという観察と同等です。これは、上で使用した行列の形式と一致し、は列が である行列、 は列が の固有ベクトルで固有値が 0 である行列、は列がベクトル である行列を表します。 ${\displaystyle \mathbf {M} \mathbf {V} _{2}=\mathbf {0} .}$ ${\displaystyle \mathbf {M} \mathbf {V} _{1}\mathbf {V} _{1}^{*}=\mathbf {M} }$ ${\displaystyle \{{\boldsymbol {v}}_{i}\}_{i=1}^{\ell }}$ ${\displaystyle \mathbf {M} ^{*}\mathbf {M} }$ ${\displaystyle \{\lambda _{i}\}_{i=1}^{\ell }}$ ${\displaystyle \{\mathbf {M} {\boldsymbol {v}}_{i}\}_{i=1}^{\ell }}$ ${\displaystyle {\bigl \{}\lambda _{i}^{-1/2}\mathbf {M} {\boldsymbol {v}}_{i}{\bigr \}}{\vphantom {|}}_{i=1}^{\ell }}$ ${\displaystyle \mathbf {V} _{1}}$ ${\displaystyle \{{\boldsymbol {v}}_{i}\}_{i=1}^{\ell }}$ ${\displaystyle \mathbf {V} _{2}}$ ${\displaystyle \mathbf {M} ^{*}\mathbf {M} }$ ${\displaystyle \mathbf {U} _{1}}$ ${\displaystyle {\bigl \{}\lambda _{i}^{-1/2}\mathbf {M} {\boldsymbol {v}}_{i}{\bigr \}}{\vphantom {|}}_{i=1}^{\ell }}$

これはほぼ期待通りの結果であることがわかります。ただし、とは一般にユニタリではないため、正方行列ではない可能性があります。ただし、の次元はとより大きくないため、 の行数は の列数より小さくならないことは分かっています。また、の列は正規直交であり、 は正規直交基底まで拡張できます。つまり、がユニタリとなるようなを選ぶことができます。 ${\displaystyle \mathbf {U} _{1}}$ ${\displaystyle \mathbf {V} _{1}}$ ${\displaystyle \mathbf {U} _{1}}$ ${\displaystyle \mathbf {D} }$ ${\displaystyle m}$ ${\displaystyle n}$ $${\displaystyle \mathbf {U} _{1}^{*}\mathbf {U} _{1}=\mathbf {D} ^{-{\frac {1}{2}}}\mathbf {V} _{1}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{1}\mathbf {D} ^{-{\frac {1}{2}}}=\mathbf {D} ^{-{\frac {1}{2}}}\mathbf {D} \mathbf {D} ^{-{\frac {1}{2}}}=\mathbf {I_{1}} ,}$$ ${\displaystyle \mathbf {U} _{1}}$ ${\displaystyle \mathbf {U} _{2}}$ ${\displaystyle \mathbf {U} ={\begin{bmatrix}\mathbf {U} _{1}&\mathbf {U} _{2}\end{bmatrix}}}$

⁠ ⁠ ${\displaystyle \mathbf {V} _{1}}$すでに⁠ ⁠ ${\displaystyle \mathbf {V} _{2}}$があるので、これをユニタリにすることができます。ここで定義します。 $${\displaystyle \mathbf {\Sigma } ={\begin{bmatrix}{\begin{bmatrix}\mathbf {D} ^{\frac {1}{2}}&0\\0&0\end{bmatrix}}\\0\end{bmatrix}},}$$

ここで、ゼロ行の数が⁠ ⁠の列数と等しくなるように、余分なゼロ行が追加または削除され、 の全体的な次元がと等しくなります。すると、望ましい結果は次のようになります。 ${\displaystyle \mathbf {U} _{2},}$ ${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle m\times n}$ $${\displaystyle {\begin{bmatrix}\mathbf {U} _{1}&\mathbf {U} _{2}\end{bmatrix}}{\begin{bmatrix}{\begin{bmatrix}\mathbf {} D^{\frac {1}{2}}&0\\0&0\end{bmatrix}}\\0\end{bmatrix}}{\begin{bmatrix}\mathbf {V} _{1}&\mathbf {V} _{2}\end{bmatrix}}^{*}={\begin{bmatrix}\mathbf {U} _{1}&\mathbf {U} _{2}\end{bmatrix}}{\begin{bmatrix}\mathbf {D} ^{\frac {1}{2}}\mathbf {V} _{1}^{*}\\0\end{bmatrix}}=\mathbf {U} _{1}\mathbf {D} ^{\frac {1}{2}}\mathbf {V} _{1}^{*}=\mathbf {M} ,}$$ $${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}.}$$

議論は⁠ ⁠ではなく⁠ ⁠を対角化することから始められることに注意してください (これは ${\displaystyle \mathbf {M} \mathbf {M} ^{*}}$⁠ ⁠と⁠ ⁠ が同じ非ゼロの固有値を持つことを直接示しています)。 ${\displaystyle \mathbf {M} ^{*}\mathbf {M} }$ ${\displaystyle \mathbf {M} \mathbf {M} ^{*}}$ ${\displaystyle \mathbf {M} ^{*}\mathbf {M} }$

変分特性に基づく

特異値は、特定の部分空間における⁠ ⁠と⁠ ⁠の関数として考えられた⁠ ⁠ ${\displaystyle \mathbf {u} ^{\mathrm {T} }\mathbf {M} \mathbf {v} ,}$の最大値として特徴付けることもできます。特異ベクトルは、これらの最大値が達成される⁠ ⁠と⁠ ⁠の値です。 ${\displaystyle \mathbf {u} }$ ${\displaystyle \mathbf {v} ,}$ ${\displaystyle \mathbf {u} }$ ${\displaystyle \mathbf {v} }$

⁠ ⁠ ${\displaystyle \mathbf {M} }$を実数要素の⁠ ⁠ ${\displaystyle m\times n}$行列とする。⁠ ⁠ を ${\displaystyle S^{k-1}}$の単位球面とし、定義する。 ${\displaystyle (k-1)}$ ${\displaystyle \mathbb {R} ^{k}}$ ${\displaystyle \sigma (\mathbf {u} ,\mathbf {v} )=\mathbf {u} ^{\operatorname {T} }\mathbf {M} \mathbf {v} ,}$ ${\displaystyle \mathbf {u} \in S^{m-1},}$ ${\displaystyle \mathbf {v} \in S^{n-1}.}$

関数⁠ ⁠を ${\displaystyle \sigma }$⁠ ⁠ ${\displaystyle S^{m-1}\times S^{n-1}.}$に制限して考えてみましょう。 ⁠ ⁠ ${\displaystyle S^{m-1}}$と⁠ ⁠ ${\displaystyle S^{n-1}}$はどちらもコンパクト集合なので、それらの積もコンパクトです。さらに、⁠ ⁠は連続なので、 ${\displaystyle \sigma }$⁠ ⁠ ${\displaystyle \mathbf {u} }$と⁠ ⁠ ${\displaystyle S^{m-1}}$内の少なくとも1つのベクトルのペアで最大値をとります。この最大値は⁠ ⁠と表記され、対応するベクトルは⁠ ⁠と⁠ ⁠と表記されます。⁠ ⁠は⁠ ⁠の最大値なので、非負でなければなりません。もし負の場合、 ⁠ ⁠または⁠ ⁠のどちらかの符号を変えると正になり、したがって大きくなります。 ${\displaystyle \mathbf {v} }$ ${\displaystyle S^{n-1}.}$ ${\displaystyle \sigma _{1}}$ ${\displaystyle \mathbf {u} _{1}}$ ${\displaystyle \mathbf {v} _{1}.}$ ${\displaystyle \sigma _{1}}$ ${\displaystyle \sigma (\mathbf {u} ,\mathbf {v} )}$ ${\displaystyle \mathbf {u} _{1}}$ ${\displaystyle \mathbf {v} _{1}}$

ステートメント— ⁠ ⁠ ${\displaystyle \mathbf {u} _{1}}$と⁠ ⁠ は、 ${\displaystyle \mathbf {v} _{1}}$対応する特異値⁠ ⁠を持つ⁠ ⁠ ${\displaystyle \mathbf {M} }$の左特異ベクトルと右特異ベクトルです。 ${\displaystyle \sigma _{1}.}$

証拠

固有値の場合と同様に、仮定により 2 つのベクトルはラグランジュの乗数方程式を満たします。 $${\displaystyle \nabla \sigma =\nabla \mathbf {u} ^{\operatorname {T} }\mathbf {M} \mathbf {v} -\lambda _{1}\cdot \nabla \mathbf {u} ^{\operatorname {T} }\mathbf {u} -\lambda _{2}\cdot \nabla \mathbf {v} ^{\operatorname {T} }\mathbf {v} }$$

代数的に計算すると次のようになる。 $${\displaystyle {\begin{aligned}\mathbf {M} \mathbf {v} _{1}&=2\lambda _{1}\mathbf {u} _{1}+0,\\\mathbf {M} ^{\operatorname {T} }\mathbf {u} _{1}&=0+2\lambda _{2}\mathbf {v} _{1}.\end{aligned}}}$$

左から最初の方程式に⁠ ⁠ ${\displaystyle \mathbf {u} _{1}^{\textrm {T}}}$を掛け、左から2番目の方程式に⁠ ⁠ ${\displaystyle \mathbf {v} _{1}^{\textrm {T}}}$を掛け、考慮すると、 ${\displaystyle \|\mathbf {u} \|=\|\mathbf {v} \|=1}$ $${\displaystyle \sigma _{1}=2\lambda _{1}=2\lambda _{2}.}$$

これを上記の2つの式に当てはめると、 $${\displaystyle {\begin{aligned}\mathbf {M} \mathbf {v} _{1}&=\sigma _{1}\mathbf {u} _{1},\\\mathbf {M} ^{\operatorname {T} }\mathbf {u} _{1}&=\sigma _{1}\mathbf {v} _{1}.\end{aligned}}}$$

これはその声明を証明します。

⁠ ⁠ を、それぞれ ${\displaystyle \sigma (\mathbf {u} ,\mathbf {v} )}$⁠ ⁠および⁠ ⁠に直交する正規化された⁠ ⁠ ${\displaystyle \mathbf {u} }$および⁠ ⁠上で最大化することで、より多くの特異ベクトルと特異値を見つけることができます。 ${\displaystyle \mathbf {v} }$ ${\displaystyle \mathbf {u} _{1}}$ ${\displaystyle \mathbf {v} _{1},}$

実数から複素数への移行は、固有値の場合と同様です。

SVDの計算

片側ヤコビアルゴリズム

片側ヤコビ法は反復法であり、^[24]行列を反復的に直交列を持つ行列に変換する。基本的な反復はヤコビ回転として与えられ、ヤコビ回転行列の角度は、回転後に番号と列が直交するように選択される。インデックスは巡回的にスイープされ、となる。ここでは列数である。 $${\displaystyle M\leftarrow MJ(p,q,\theta ),}$$ ${\displaystyle \theta }$ ${\displaystyle J(p,q,\theta )}$ ${\displaystyle p}$ ${\displaystyle q}$ ${\displaystyle (p,q)}$ ${\displaystyle (p=1\dots m,q=p+1\dots m)}$ ${\displaystyle m}$

アルゴリズムが収束した後、特異値分解は次のように回復されます。行列はヤコビ回転行列の累積であり、行列は変換された行列の列を正規化することによって与えられ、特異値は変換された行列の列のノルムとして与えられます。 ${\displaystyle M=USV^{T}}$ ${\displaystyle V}$ ${\displaystyle U}$ ${\displaystyle M}$ ${\displaystyle M}$

両側ヤコビアルゴリズム

両側ヤコビ SVD アルゴリズム (ヤコビ固有値アルゴリズムの一般化) は、正方行列を反復的に対角行列に変換する反復アルゴリズムです。行列が正方でない場合は、まずQR 分解が実行され、次にアルゴリズムが行列に適用されます。基本的な反復では、まずギブンズ回転を適用して要素のペアを対称化し、次にヤコビ変換を適用して非対角要素のペアをゼロにします。ここで、 は回転後に特定の非対角要素のペアが等しくなるように角度を選択したギブンズ回転行列です。 はこれらの非対角要素をゼロにするヤコビ変換行列です。反復は、ヤコビ固有値アルゴリズムとまったく同じように、すべての非対角要素を巡回的に掃引することで進行します。 ${\displaystyle R}$ $${\displaystyle M\leftarrow J^{T}GMJ}$$ ${\displaystyle G}$ ${\displaystyle J}$

アルゴリズムが収束した後、結果として得られる対角行列には特異値が含まれます。行列とは次の式で累算されます。 ${\displaystyle U}$ ${\displaystyle V}$ $${\displaystyle {\begin{aligned}U&\leftarrow UG^{T}J,\\V&\leftarrow VJ.\end{aligned}}}$$

数値的アプローチ

特異値分解は、次の観察を使用して計算できます。

• ⁠ ⁠ ${\displaystyle \mathbf {M} }$の左特異ベクトルは、 ⁠ ⁠の直交 固有ベクトルの集合です。 ${\displaystyle \mathbf {M} \mathbf {M} ^{*}}$
• ⁠ ⁠ ${\displaystyle \mathbf {M} }$の右特異ベクトルは、 ⁠ ⁠ ${\displaystyle \mathbf {M} ^{*}\mathbf {M} }$の直交固有ベクトルの集合です。
• ⁠ ⁠ ${\displaystyle \mathbf {M} }$の非ゼロ特異値(の対角要素上にあります) は、 ⁠ ⁠と⁠ ⁠の両方の非ゼロ固有値の平方根です。 ${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle \mathbf {M} ^{*}\mathbf {M} }$ ${\displaystyle \mathbf {M} \mathbf {M} ^{*}}$

行列⁠ ⁠ ${\displaystyle \mathbf {M} }$の SVD は、通常、2 段階の手順で計算されます。最初のステップでは、行列を二重対角行列 ⁠ ⁠に縮小します。これは、 ⁠ ⁠ と仮定すると、 ⁠ ⁠ の浮動小数点演算 ( flop ) を必要とします。2番目のステップでは、二重対角行列の SVD を計算します。このステップは、 反復法(固有値アルゴリズムの場合と同様に)でのみ実行できます。ただし、実際には、マシン イプシロンのように、特定の精度まで SVD を計算すれば十分です。この精度が一定と見なされる場合、2 番目のステップでは⁠ ⁠反復が必要になり、それぞれ⁠ ⁠ flops のコストがかかります。したがって、最初のステップの方がコストが高く、全体のコストは⁠ ⁠ flops になります。^[25] ${\displaystyle O(mn^{2})}$ ${\displaystyle m\geq n.}$ ${\displaystyle O(n)}$ ${\displaystyle O(n)}$ ${\displaystyle O(mn^{2})}$

最初のステップは、特異値のみが必要で特異ベクトルは必要ないと仮定すると、ハウスホルダー反射を用いて⁠ ⁠ ${\displaystyle 4mn^{2}-4n^{3}/3}$フロップスのコストで 実行できます。 ⁠ ⁠が ${\displaystyle m}$⁠ ⁠ ${\displaystyle n}$よりもはるかに大きい場合は、まず行列⁠ ⁠を ${\displaystyle \mathbf {M} }$QR分解によって三角行列に縮小し、次にハウスホルダー反射を用いてさらに行列を二重対角形式に縮小するのが有利です。その場合、合計コストは⁠ ⁠ ${\displaystyle 2mn^{2}+2n^{3}}$フロップスです。^[25]

2番目のステップは、1965年にGolubとKahanによって最初に説明された、固有値の計算のためのQRアルゴリズムの変形によって実行できます。 ^[26] LAPACKサブルーチン^[27]は、特異値が非常に小さい場合をカバーするためにいくつかの変更を加えたこの反復法を実装しています。^[28]ハウスホルダー反射と、必要に応じてQR分解を使用する最初のステップと一緒に、これは特異値分解を計算するためのルーチン^{[29]を形成します。}DBDSQRDGESVD

同じアルゴリズムはGNU Scientific Library (GSL)にも実装されています。GSLは、ステップ2で片側ヤコビ直交化を用いる代替手法も提供しています。^[30]この手法は、ヤコビ固有値アルゴリズムが一連の固有値解法を解くのと同様に、一連のSVD問題を解くことで、二重 ${\displaystyle 2\times 2}$対角行列のSVDを計算します。^{[31]ステップ2のさらに別の手法は}、分割統治法固有値アルゴリズムの考え方を用いています。^[25] ${\displaystyle 2\times 2}$

固有値分解を明示的に使用しない別の方法があります。^[32]通常、行列の特異値問題は、次 ${\displaystyle \mathbf {M} }$のような ${\displaystyle \mathbf {M} \mathbf {M} ^{*},}$ 同等 の対称固有値問題に変換されます。 ${\displaystyle \mathbf {M} ^{*}\mathbf {M} ,}$

$${\displaystyle {\begin{bmatrix}\mathbf {0} &\mathbf {M} \\\mathbf {M} ^{*}&\mathbf {0} \end{bmatrix}}.}$$

固有値分解を使用するアプローチは、安定性と高速性を十分に備えたQR アルゴリズムに基づいています。特異値は実数であり、右特異ベクトルと左特異ベクトルは相似変換を形成するのに必要ないことに注意してください。QR分解とLQ 分解を交互に繰り返して、実対角エルミート行列を見つけることができます。QR分解では⁠ ⁠ ${\displaystyle \mathbf {M} \Rightarrow \mathbf {Q} \mathbf {R} }$が得られ、⁠ ⁠のLQ 分解では⁠ ⁠が得られます。したがって、すべての反復で⁠ ⁠を更新し、直交化を繰り返します。最終的に、^{[説明が必要}] QR 分解とLQ 分解の間のこの反復により、左および右ユニタリ特異行列が生成されます。このアプローチは、QR アルゴリズム^がスペクトル シフトやデフレーションを使用してできるように、簡単に加速することはできません。これは、シフト法が相似変換を使用せずに簡単に定義できないためです。しかし、この反復アプローチは実装が非常に簡単なので、速度が重要でない場合は良い選択肢となります。この手法は、純粋に直交／ユニタリな変換によってどのようにして特異値分解が得られるかについての洞察も提供します。 ${\displaystyle \mathbf {R} }$ ${\displaystyle \mathbf {R} \Rightarrow \mathbf {L} \mathbf {P} ^{*}.}$ ${\displaystyle \mathbf {M} \Rightarrow \mathbf {Q} \mathbf {L} \mathbf {P} ^{*},}$ ${\displaystyle \mathbf {M} \Leftarrow \mathbf {L} }$

2×2 SVDの解析結果

行列 ${\displaystyle 2\times 2}$の特異値は解析的に求めることができます。行列を ${\displaystyle \mathbf {M} =z_{0}\mathbf {I} +z_{1}\sigma _{1}+z_{2}\sigma _{2}+z_{3}\sigma _{3}}$

ここで、は行列をパラメータ化する複素数、⁠ ⁠は単位行列、はパウリ行列を表す。その2つの特異値は次のように与えられる。 ${\displaystyle z_{i}\in \mathbb {C} }$ ${\displaystyle \mathbf {I} }$ ${\displaystyle \sigma _{i}}$

$${\displaystyle {\begin{aligned}\sigma _{\pm }&={\sqrt {|z_{0}|^{2}+|z_{1}|^{2}+|z_{2}|^{2}+|z_{3}|^{2}\pm {\sqrt {{\bigl (}|z_{0}|^{2}+|z_{1}|^{2}+|z_{2}|^{2}+|z_{3}|^{2}{\bigr )}^{2}-|z_{0}^{2}-z_{1}^{2}-z_{2}^{2}-z_{3}^{2}|^{2}}}}}\\&={\sqrt {|z_{0}|^{2}+|z_{1}|^{2}+|z_{2}|^{2}+|z_{3}|^{2}\pm 2{\sqrt {(\operatorname {Re} z_{0}z_{1}^{*})^{2}+(\operatorname {Re} z_{0}z_{2}^{*})^{2}+(\operatorname {Re} z_{0}z_{3}^{*})^{2}+(\operatorname {Im} z_{1}z_{2}^{*})^{2}+(\operatorname {Im} z_{2}z_{3}^{*})^{2}+(\operatorname {Im} z_{3}z_{1}^{*})^{2}}}}}\end{aligned}}}$$

SVDの減少

縮小SVDのバリアントの可視化。上から下へ：1：完全SVD、2：シンSVD（V ^*の行に対応しないUの列を削除）、3：コンパクトSVD（消失する特異値とUおよびV ^*の対応する列/行を削除）、4：切り捨てSVD（ UおよびV ^*の最大t特異値と対応する列/行のみを保持）

アプリケーションにおいて、行列の零空間の完全なユニタリ分解を含む完全な特異値分解（SVD）が求められることは極めて稀です。代わりに、SVDの簡約版を計算するだけで十分である場合が多く、より高速で、より記憶容量も節約できます。階数 の行列については、以下のこと ${\displaystyle m\times n}$が区別でき ${\displaystyle \mathbf {M} }$ます。 ${\displaystyle r}$

薄いSVD

行列の薄い、または経済的なサイズのSVDは^[33]で与えられる。 ${\displaystyle \mathbf {M} }$

$${\displaystyle \mathbf {M} =\mathbf {U} _{k}\mathbf {\Sigma } _{k}\mathbf {V} _{k}^{*},}$$

ここで、行列⁠ ⁠と⁠ ⁠には⁠ ⁠と⁠ ⁠の最初の⁠ ⁠列のみが含まれます。また、⁠ ⁠には⁠ ⁠の最初の⁠ ⁠特異値のみが含まれます。したがって、行列⁠ ⁠ ⁠は⁠ ⁠ ⁠対角行列であり、⁠ ⁠は⁠ ⁠です。 ${\displaystyle k=\min(m,n),}$ ${\displaystyle \mathbf {U} _{k}}$ ${\displaystyle \mathbf {V} _{k}}$ ${\displaystyle k}$ ${\displaystyle \mathbf {U} }$ ${\displaystyle \mathbf {V} ,}$ ${\displaystyle \mathbf {\Sigma } _{k}}$ ${\displaystyle k}$ ${\displaystyle \mathbf {\Sigma } .}$ ${\displaystyle \mathbf {U} _{k}}$ ${\displaystyle m\times k,}$ ${\displaystyle \mathbf {\Sigma } _{k}}$ ${\displaystyle k\times k}$ ${\displaystyle \mathbf {V} _{k}^{*}}$ ${\displaystyle k\times n.}$

⁠ ⁠ ${\displaystyle k\ll \max(m,n).}$計算の最初の段階は通常、⁠ ⁠のQR 分解であるため、この場合は計算にかかるスペースと計算時間が大幅に削減されます。 ${\displaystyle \mathbf {M} ,}$

コンパクトSVD

行列⁠ ⁠ ${\displaystyle \mathbf {M} }$のコンパクトSVDは次のように与えられる。

$${\displaystyle \mathbf {M} =\mathbf {U} _{r}\mathbf {\Sigma } _{r}\mathbf {V} _{r}^{*}.}$$

非ゼロ特異値 ⁠ ⁠ に対応する⁠ ⁠の列 ${\displaystyle r}$ベクトル ${\displaystyle \mathbf {U} }$と⁠ ⁠の ${\displaystyle r}$行ベクトルのみが計算されます。残りの⁠ ⁠と⁠ ⁠のベクトルは計算されません。これは、 ⁠ ⁠行列⁠ ⁠が⁠ ⁠対角行列であり、 ⁠ ⁠ が ⁠ ⁠ である場合、Thin SVDよりも高速かつ経済的です。 ${\displaystyle \mathbf {V} ^{*}}$ ${\displaystyle \mathbf {\Sigma } _{r}}$ ${\displaystyle \mathbf {U} }$ ${\displaystyle \mathbf {V} ^{*}}$ ${\displaystyle r\ll \min(m,n).}$ ${\displaystyle \mathbf {U} _{r}}$ ${\displaystyle m\times r,}$ ${\displaystyle \mathbf {\Sigma } _{r}}$ ${\displaystyle r\times r}$ ${\displaystyle \mathbf {V} _{r}^{*}}$ ${\displaystyle r\times n.}$

切り捨てSVD

多くのアプリケーションでは、非ゼロ特異値の数が膨大であるため、コンパクトSVDでさえ計算が現実的ではありません。そのような場合、最小の特異値を切り捨てて ${\displaystyle r}$非ゼロ特異値のみを計算する必要がある場合があります。切り捨てSVDは ${\displaystyle t\ll r}$、もはや ${\displaystyle \mathbf {M} ,}$元の行列の正確な分解ではなく、固定ランクの任意の行列による最適な低ランク行列近似を提供します。 ${\displaystyle {\tilde {\mathbf {M} }}}$ ${\displaystyle t}$

$${\displaystyle {\tilde {\mathbf {M} }}=\mathbf {U} _{t}\mathbf {\Sigma } _{t}\mathbf {V} _{t}^{*},}$$

ここで、行列⁠ ⁠ ${\displaystyle \mathbf {U} _{t}}$は⁠ ⁠ ${\displaystyle m\times t,}$ ⁠ ${\displaystyle \mathbf {\Sigma } _{t}}$対角 ${\displaystyle t\times t}$行列であり、⁠ ⁠ ${\displaystyle \mathbf {V} _{t}^{*}}$は⁠ ⁠ 最大の特異値 ⁠ ⁠ に対応する ⁠ ⁠の列ベクトルと⁠ ⁠の行ベクトルのみが計算されます。これは ${\displaystyle t\times n.}$、 ⁠ ⁠の場合、コンパクトSVDよりもはるかに高速かつ経済的ですが、全く異なる数値ソルバーのツールセットが必要になります。 ${\displaystyle t}$ ${\displaystyle \mathbf {U} }$ ${\displaystyle t}$ ${\displaystyle \mathbf {V} ^{*}}$ ${\displaystyle t}$ ${\displaystyle \mathbf {\Sigma } _{t}}$ ${\displaystyle t\ll r,}$

行列⁠ ⁠のムーア・ペンローズ逆行列の近似を必要とするアプリケーションでは、⁠ ⁠の最小の特異値が重要になりますが、これは最大の特異値に比べて計算がより困難です。 ${\displaystyle \mathbf {M} ,}$ ${\displaystyle \mathbf {M} }$

切り捨てSVDは潜在的意味索引に用いられる。^[34]

規範

Ky Fanの規範

⁠ ⁠ ${\displaystyle k}$の最大特異値の和は行列ノルムであり、⁠ ⁠ ${\displaystyle \mathbf {M} }$^[35]のKy Fan ⁠ ⁠ノルムは ${\displaystyle k}$ ${\displaystyle \mathbf {M} .}$

Kyファンノルムの最初のもの、Kyファン1-ノルムは、ユークリッドノルムとユークリッドノルムに関する線型作用素としての⁠ ⁠ の作用素ノルムと同じです。言い換えれば、Kyファン1-ノルムは、標準的なユークリッド内積によって誘導される作用素ノルムです。このため、作用素2-ノルムとも呼ばれます。Kyファン1-ノルムと特異値の関係は簡単に確認できます。これは一般に、 （おそらく無限次元の）ヒルベルト空間上の有界作用素⁠ ⁠に対して当てはまります。 ${\displaystyle \mathbf {M} }$ ${\displaystyle K^{m}}$ ${\displaystyle K^{n}.}$ ${\displaystyle \ell ^{2}}$ ${\displaystyle \mathbf {M} }$

$${\displaystyle \|\mathbf {M} \|=\|\mathbf {M} ^{*}\mathbf {M} \|^{\frac {1}{2}}}$$

しかし、行列の場合、⁠ ⁠は ${\displaystyle (\mathbf {M} ^{*}\mathbf {M} )^{1/2}}$正規行列なので、⁠ ⁠の最大固有値、つまり⁠ ⁠ ⁠の最大特異値は ${\displaystyle \|\mathbf {M} ^{*}\mathbf {M} \|^{1/2}}$ ${\displaystyle (\mathbf {M} ^{*}\mathbf {M} )^{1/2},}$ ${\displaystyle \mathbf {M} .}$

Ky Fan ノルムの最後、つまりすべての特異値の合計はトレース ノルム(「核ノルム」とも呼ばれます) で定義されます( ⁠ ⁠の固有値は特異値の 2 乗です)。 ${\displaystyle \|\mathbf {M} \|=\operatorname {Tr} (\mathbf {M} ^{*}\mathbf {M} )^{1/2}}$ ${\displaystyle \mathbf {M} ^{*}\mathbf {M} }$

ヒルベルト・シュミットノルム

特異値は作用素空間上の別のノルムと関係している。次式で定義される⁠ ⁠行列上のヒルベルト・シュミット内積を考える。 ${\displaystyle n\times n}$

$${\displaystyle \langle \mathbf {M} ,\mathbf {N} \rangle =\operatorname {tr} \left(\mathbf {N} ^{*}\mathbf {M} \right).}$$

誘導された規範は

$${\displaystyle \|\mathbf {M} \|={\sqrt {\langle \mathbf {M} ,\mathbf {M} \rangle }}={\sqrt {\operatorname {tr} \left(\mathbf {M} ^{*}\mathbf {M} \right)}}.}$$

トレースはユニタリ同値性のもとで不変なので、これは

$${\displaystyle \|\mathbf {M} \|={\sqrt {{\vphantom {\bigg |}}\sum _{i}\sigma _{i}^{2}}}}$$

ここで、 ⁠ ⁠は ${\displaystyle \sigma _{i}}$⁠ ⁠ ${\displaystyle \mathbf {M} .}$の特異値です。これは、 ⁠ ⁠のフロベニウスノルム、シャッテン 2 ノルム、またはヒルベルト・シュミットノルムと呼ばれます。直接計算すると、 ⁠ ${\displaystyle \mathbf {M} .}$⁠ ${\displaystyle \mathbf {M} =(m_{ij})}$のフロベニウスノルムは次の式と一致することがわかります。

$${\displaystyle {\sqrt {{\vphantom {\bigg |}}\sum _{ij}|m_{ij}|^{2}}}.}$$

さらに、フロベニウス ノルムとトレース ノルム (核ノルム) は、シャッテン ノルムの特殊なケースです。

バリエーションと一般化

スケール不変SVD

行列⁠ ⁠の特異値は一意に定義され、 ${\displaystyle \mathbf {A} }$⁠ ⁠ ${\displaystyle \mathbf {A} .}$の左および/または右ユニタリ変換に対して不変です 。言い換えると、ユニタリ行列⁠ ⁠および⁠ ⁠の⁠ ⁠の特異値は ${\displaystyle \mathbf {U} \mathbf {A} \mathbf {V} ,}$⁠ ⁠の特異値に等しくなります。これは、ユークリッド距離と回転に対する不変性を維持する必要があるアプリケーションにとって重要な特性です。 ${\displaystyle \mathbf {U} }$ ${\displaystyle \mathbf {V} ,}$ ${\displaystyle \mathbf {A} .}$

スケール不変SVD、またはSI-SVD ^{[36]は、一意に決定される特異値が}⁠ ⁠ ${\displaystyle \mathbf {A} .}$の対角変換に対して不変であるという点を除いて、従来のSVDと類似しています。言い換えれば、可逆対角行列⁠ ${\displaystyle \mathbf {D} \mathbf {A} \mathbf {E} ,}$⁠ ${\displaystyle \mathbf {D} }$および⁠ ⁠の特異値は ${\displaystyle \mathbf {E} ,}$⁠ ${\displaystyle \mathbf {A} .}$⁠の特異値に等しくなります。これは、変数の単位の選択（たとえば、メートル法とヤードポンド法）に対する不変性が必要なアプリケーションにとって重要な特性です。

ヒルベルト空間上の有界作用素

因数分解は、可分 ${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}}$ヒルベルト空間上の有界作用素 に拡張することができる。すなわち、 ${\displaystyle \mathbf {M} }$任意の有界作用素に対して、部分等長変換、ユニタリ、測度空間、および非負の測度空間が存在し、 ${\displaystyle H.}$ ${\displaystyle \mathbf {M} ,}$ ${\displaystyle \mathbf {U} ,}$ ${\displaystyle \mathbf {V} ,}$ ${\displaystyle (X,\mu ),}$ ${\displaystyle f}$

$${\displaystyle \mathbf {M} =\mathbf {U} T_{f}\mathbf {V} ^{*}}$$

ここで、⁠ ⁠は ${\displaystyle T_{f}}$⁠ ⁠を⁠ ⁠に掛け合わせたもの ${\displaystyle f}$です。 ${\displaystyle L^{2}(X,\mu ).}$

これは、上記の行列の場合の線型代数的議論を模倣することで示せます。⁠ ⁠は、 ${\displaystyle \mathbf {V} T_{f}\mathbf {V} ^{*}}$自己随伴作用素に対するボレル関数計算によって与えられる、⁠ ${\displaystyle \mathbf {M} ^{*}\mathbf {M} ,}$⁠の唯一の正の平方根です。⁠ ⁠がユニタリである必要がない理由は、有限次元の場合とは異なり、非自明な核を持つ等長変換⁠ ⁠が与えられた場合、適切な⁠ ⁠が見つからない可能性があるため です。 ${\displaystyle \mathbf {U} }$ ${\displaystyle U_{1}}$ ${\displaystyle U_{2}}$

$${\displaystyle {\begin{bmatrix}U_{1}\\U_{2}\end{bmatrix}}}$$

はユニタリ演算子です。

行列に関しては、特異値分解は演算子の極分解と等価であり、単純に次のように書ける。

$${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {V} ^{*}\cdot \mathbf {V} T_{f}\mathbf {V} ^{*}}$$

そして、⁠ ${\displaystyle \mathbf {U} \mathbf {V} ^{*}}$⁠は正である一方、 ⁠ ${\displaystyle \mathbf {V} T_{f}\mathbf {V} ^{*}}$⁠は依然として部分等長変換であることに注意してください。

特異値とコンパクト演算子

特異値と左/右特異ベクトルの概念は、離散スペクトルを持つヒルベルト空間上のコンパクト作用素に拡張できます。 ⁠ ⁠ ${\displaystyle T}$がコンパクトであれば、そのスペクトル内のすべての非ゼロ⁠ ⁠ ${\displaystyle \lambda }$は固有値です。さらに、コンパクト自己随伴作用素は、その固有ベクトルで対角化できます。⁠ ⁠ ${\displaystyle \mathbf {M} }$がコンパクトであれば、⁠ ⁠ ${\displaystyle \mathbf {M} ^{*}\mathbf {M} }$もコンパクトです。対角化の結果を適用すると、その正の平方根⁠ ⁠のユニタリ像には ${\displaystyle T_{f}}$、厳密に正の固有値 ⁠ ⁠ に対応する直交固有ベクトル ${\displaystyle \{e_{i}\}}$の集合 ⁠ ⁠ があります。 ${\displaystyle \{\sigma _{i}\}}$⁠ ⁠内の任意の⁠ ${\displaystyle \psi }$⁠に対して ${\displaystyle H,}$

$${\displaystyle \mathbf {M} \psi =\mathbf {U} T_{f}\mathbf {V} ^{*}\psi =\sum _{i}\left\langle \mathbf {U} T_{f}\mathbf {V} ^{*}\psi ,\mathbf {U} e_{i}\right\rangle \mathbf {U} e_{i}=\sum _{i}\sigma _{i}\left\langle \psi ,\mathbf {V} e_{i}\right\rangle \mathbf {U} e_{i},}$$

ここで、級数は⁠ ⁠ ${\displaystyle H.}$のノルム位相で収束します。これは有限次元の場合の式とどのように似ているかに注目してください。⁠ ⁠は ${\displaystyle \sigma _{i}}$⁠ ${\displaystyle \mathbf {M} .}$ ⁠ ⁠ ⁠ ${\displaystyle \{\mathbf {U} e_{i}\}}$の特異値と呼ばれ、 ⁠ ⁠ ⁠ ⁠ （それぞれ⁠ ⁠ ）は ${\displaystyle \{\mathbf {V} e_{i}\}}$⁠ ⁠の左特異（右特異）ベクトルと見なすことができます。 ${\displaystyle \mathbf {M} .}$

ヒルベルト空間上のコンパクト作用素は、一様作用素位相における有限階数作用素の閉包である。上記の級数表現は、そのような表現を明示的に与える。この直接的な帰結は以下の通りである。

定理。 ⁠ ⁠ ${\displaystyle \mathbf {M} }$がコンパクトである場合、かつその場合のみ⁠ ⁠ ${\displaystyle \mathbf {M} ^{*}\mathbf {M} }$はコンパクトである。

歴史

特異値分解はもともと微分幾何学者によって開発されました。彼らは、実双線型形式が、それが作用する 2 つの空間の独立した直交変換によって別の形式と等しくなるかどうかを調べたかったのです。エウジェニオ・ベルトラミとカミーユ・ジョルダンは、それぞれ 1873 年と 1874 年に独立に、行列として表される双線型形式の特異値が、直交置換の下での双線型形式の不変量の完全なセットを形成することを発見しました。ジェームズ・ジョセフ・シルベスターも 1889 年に、明らかにベルトラミとジョルダンの両者から独立して、実正方行列の特異値分解に到達しました。シルベスターは、特異値を行列の標準的な乗数と呼びました。 ⁠ ⁠特異値分解を独立して発見した 4 人目の数学者は1915 年のオートンで、彼は極分解を経てこの発見に至りました。長方形行列と複素行列の特異値分解の最初の証明は、1936年にカール・エッカートとゲイル・J・ヤングによってなされたようです。 ^{[37]彼らはそれを}エルミート行列の主軸変換の一般化と見なしました。 ${\displaystyle \mathbf {A} .}$

1907年、エアハルト・シュミットは積分作用素（いくつかの弱い技術的仮定の下ではコンパクトである）の特異値に相当するものを定義した。彼は有限行列の特異値に関する類似の研究を知らなかったようである。この理論は1910年にエミール・ピカールによってさらに発展させられ、彼は初めてこれらの数を特異値（フランス語でvaleurs singulières ）と呼んだ。 ${\displaystyle \sigma _{k}}$

特異値分解を計算するための実用的な手法は、 1954～1955年のKogbetliantzと1958年のHestenesにまで遡ります^[38] 。これらは平面回転またはギブンズ回転を用いるヤコビ固有値アルゴリズムによく似ています。しかし、これらは1965年にGene GolubとWilliam Kahanによって発表された手法^{[26]に置き換えられました。この手法は}ハウスホルダー変換または反射を用います。1970年、GolubとChristian ReinschはGolub/Kahanアルゴリズムの変種^[39]を発表しました。これは現在でも最もよく用いられているアルゴリズムです。

参照

• オートエンコーダ
• 正準相関
• 標準形
• 対応分析（CA）
• 次元の呪い
• デジタル信号処理
• 次元削減
• 行列の固有分解
• 経験的直交関数（EOF）
• フーリエ解析
• 一般化特異値分解
• 特異値に関する不等式
• K-SVD
• 潜在意味解析
• 潜在的意味インデックス
• 線形最小二乗法
• フーリエ関連変換の一覧
• 局所性を考慮したハッシュ
• 低ランク近似
• 行列分解
• 多重線型主成分分析（MPCA）
• 最近傍探索
• 非線形反復部分最小二乗法
• 極性分解
• 主成分分析（PCA）
• シュミット分解
• スミス正規形
• 特異値
• 時系列
• 2次元特異値分解（2DSVD）
• フォン・ノイマンの軌跡の不等式
• ウェーブレット圧縮

注記

1. しかし、後にこのことは以前の著者にも知られていたことが判明した。Stewart (1993)を参照。
2. これを理解するには、次のことに気づき、次のことを覚えておけばよいだけです。 ${\textstyle \operatorname {Tr} (\mathbf {V} _{2}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{2})=\|\mathbf {M} \mathbf {V} _{2}\|^{2},}$ ${\displaystyle \|A\|=0\Leftrightarrow A=0}$

脚注

1. Holmes, Mark (2023). 『科学計算とデータ分析入門』第2版. Springer. ISBN 978-3-031-22429-4。
2. DeAngelis, GC; Ohzawa, I.; Freeman, RD (1995年10月). 「中枢視覚経路における受容野ダイナミクス」. Trends Neurosci . 18 (10): 451–8 . doi :10.1016/0166-2236(95)94496-R. PMID  8545912. S2CID  12827601.
3. Depireux, DA; Simon, JZ; Klein, DJ; Shamma, SA (2001年3月). 「フェレット一次聴覚皮質における動的リップルを用いたスペクトル時間応答場特性評価」. J. Neurophysiol . 85 (3): 1220–34 . doi :10.1152/jn.2001.85.3.1220. PMID  11247991.
4. 対称（ローディン）直交化とデータ圧縮における特異値分解
5. ゴラブとヴァン・ローン (1996)、§12.4。
6. Hastie、Tibshirani、Friedman（2009）、535–536ページ。
7. Sahidullah, Md.; Kinnunen, Tomi (2016年3月). 「話者認証のための局所スペクトル変動特徴」.デジタル信号処理. 50 : 1–11 . Bibcode :2016DSP....50....1S. doi :10.1016/j.dsp.2015.10.011.
8. Mademlis, Ioannis; Tefas, Anastasios; Pitas, Ioannis (2018). 「教師なしアクティビティビデオ要約のための正規化SVDベースビデオフレームサリエンシー」2018 IEEE 国際音響・音声・信号処理会議 (ICASSP) . IEEE. pp.  2691– 2695. doi :10.1109/ICASSP.2018.8462274. ISBN 978-1-5386-4658-8. S2CID  52286352。
9. Alter, O.; Brown, PO; Botstein, D. (2000年9月). 「ゲノムワイド発現データ処理およびモデリングのための特異値分解」. PNAS . 97 (18): 10101– 10106. Bibcode :2000PNAS...9710101A. doi : 10.1073/pnas.97.18.10101 . PMC 27718. PMID 10963673  . 
10. Alter, O.; Golub, GH (2004年11月). 「擬似逆投影法を用いたゲノムスケールデータの統合解析は、DNA複製とRNA転写の新たな相関関係を予測する」. PNAS . 101 (47): 16577– 16582. Bibcode :2004PNAS..10116577A. doi : 10.1073/pnas.0406767101 . PMC 534520. PMID  15545604 . 
11. Alter, O.; Golub, GH (2006年8月). 「ゲノムスケールmRNA長分布の特異値分解はRNAゲル電気泳動バンドの広がりにおける非対称性を明らかにする」. PNAS . 103 (32): 11828– 11833. Bibcode :2006PNAS..10311828A. doi : 10.1073/pnas.0604756103 . PMC 1524674. PMID  16877539 . 
12. Bertagnolli, NM; Drake, JA; Tennessen, JM; Alter, O. (2013年11月). 「SVDはDNAマイクロアレイデータから転写産物長分布関数を特定し、GBM代謝に全体的に影響を及ぼす進化的力を明らかにする」. PLOS ONE . 8 (11) e78913. Bibcode :2013PLoSO...878913B. doi : 10.1371/journal.pone.0078913 . PMC 3839928. PMID 24282503. ハイライト. 
13. エデルマン、アラン (1992). 「スケール付き条件数の分布について」(PDF) . Math. Comp . 58 (197): 185– 190. Bibcode :1992MaCom..58..185E. doi : 10.1090/S0025-5718-1992-1106966-2 .
14. Shen, Jianhong (Jackie) (2001). 「ガウスランダム行列の特異値について」. Linear Alg. Appl . 326 ( 1–3 ): 1–14 . doi : 10.1016/S0024-3795(00)00322-0 .
15. Walton, S.; Hassan, O.; Morgan, K. (2013). 「適切な直交分解とラジアル基底関数を用いた非定常流体流れの低次元モデリング」.応用数学モデリング. 37 ( 20–21 ): 8930–8945 . doi : 10.1016/j.apm.2013.04.025 .
16. Setyawati, Y.; Ohme, F.; Khan, S. (2019). 「動的キャリブレーションによる重力波形モデルの強化」. Physical Review D. 99 ( 2) 024010. arXiv : 1810.07060 . Bibcode :2019PhRvD..99b4010S. doi :10.1103/PhysRevD.99.024010. S2CID  118935941.
17. Sarwar, Badrul; Karypis, George; Konstan, Joseph A. & Riedl, John T. (2000). 推薦システムにおける次元削減の応用 - ケーススタディ (技術レポート 00-043).ミネソタ大学. hdl :11299/215429.
18. Bosagh Zadeh, Reza; Carlsson, Gunnar (2013). 「MapReduceを用いた次元非依存の正方形行列」. arXiv : 1304.1467 [cs.DS].
19. Fanaee Tork, Hadi; Gama, João (2014年9月). 「時空間ホットスポット検出のための固有空間法」. Expert Systems . 32 (3): 454– 464. arXiv : 1406.3506 . Bibcode :2014arXiv1406.3506F. doi :10.1111/exsy.12088. S2CID  15476557.
20. Fanaee Tork, Hadi; Gama, João (2015年5月). 「EigenEvent: 症候群監視における複雑なデータストリームからのイベント検出アルゴリズム」. Intelligent Data Analysis . 19 (3​​): 597– 616. arXiv : 1406.3496 . doi :10.3233/IDA-150734. S2CID  17966555.
21. Muralidharan, Vivek; Howell, Kathleen (2023). 「シスルナ空間における伸張方向：出発および移行設計への応用」.アストロダイナミクス. 7 (2): 153– 178. Bibcode :2023AsDyn...7..153M. doi :10.1007/s42064-022-0147-z. S2CID  252637213.
22. Muralidharan, Vivek; Howell, Kathleen (2022). 「地球-月ハロー軌道における軌道維持のための伸張方向の活用」. Advances in Space Research . 69 (1): 620– 646. Bibcode :2022AdSpR..69..620M. doi :10.1016/j.asr.2021.10.028. S2CID  239490016.
23. アルバース、ジャスパー;クルス、アンノ。ガッツェン、ロビン。モラレス・グレゴリオ、アイトール。デンカー、マイケル。グルーエン、ソーニャ。ファン・アルバダ、サシャ。ディーズマン、マルクス (2025)。 「任意の形状の実行列の類似性の評価」。PRXライフ。3 (2) 023005.arXiv : 2403.17687。Bibcode :2025PRXL....3b3005A。土井：10.1103/PRXLife.3.023005。
24. Rijk, PPM de (1989). 「ベクトル計算機上で特異値分解を計算するための片側ヤコビアルゴリズム」SIAM J. Sci. Stat. Comput . 10 (2): 359– 371. doi :10.1137/0910023.
25. Trefethen & Bau (1997)、講義 31.
26. Golub & Kahan (1965).
27. Anderson et al. (1999)、「DBDSQR」出典。
28. デメル＆カハン（1990）。
29. Anderson et al. (1999)、「DGESVD」出典。
30. GSLチーム (2007).
31. ゴラブとヴァン・ローン (1996)、§8.6.3。
32. mathworks.co.kr/matlabcentral/fileexchange/12674-simple-svd
33. デメル、ジェームス (2000)。 「分解」。代数固有値問題の解決のためのテンプレート。白、趙君著。デメル、ジェームズ。ドンガラ、ジャック・J。ルーエ、アクセル。 van der Vorst、Henk A. 工業および応用数学協会。土井：10.1137/1.9780898719581。ISBN 978-0-89871-471-5。
34. Chicco, D; Masseroli, M (2015). 「遺伝子およびタンパク質のアノテーション予測と類似性検索のためのソフトウェアスイート」. IEEE/ACM Transactions on Computational Biology and Bioinformatics . 12 (4): 837– 843. Bibcode :2015ITCBB..12..837C. doi :10.1109/TCBB.2014.2382127. hdl : 11311/959408 . PMID  26357324. S2CID  14714823.
35. Fan, Ky. (1951). 「完全連続作用素の固有値に関する最大値特性と不等式」. Proceedings of the National Academy of Sciences of the United States of America . 37 (11): 760– 766. Bibcode :1951PNAS...37..760F. doi : 10.1073 /pnas.37.11.760 . PMC 1063464. PMID  16578416. 
36. Uhlmann, Jeffrey (2018). 対角変換に関して一貫性のある一般化逆行列(PDF) . SIAM Journal on Matrix Analysis. Vol. 239. pp.  781– 800. 2019年6月17日時点のオリジナル(PDF)からのアーカイブ。
37. Eckart, C. ; Young, G. (1936). 「ある行列のより低い階数の別の行列による近似」. Psychometrika . 1 (3): 211–8 . doi :10.1007/BF02288367. S2CID  10163399.
38. Hestenes, MR (1958). 「双直交化による行列の逆行列と関連する結果」. Journal of the Society for Industrial and Applied Mathematics . 6 (1): 51– 90. doi :10.1137/0106005. JSTOR  2098862. MR  0092215.
39. ゴルブ＆ラインシュ（1970年）。

参考文献

• Anderson, E.; Bai, Z.; Bischof, C.; Blackford, S.; Demmel, J.; Dongarra, J.; Du Croz, J.; Greenbaum, A.; Hammarling, S.; McKenney, A.; Sorensen, D. (1999). 「LAPACK ユーザーズガイド」（第3版）. フィラデルフィア: Society for Industrial and Applied Mathematics – Netlib.org経由.
• Banerjee, Sudipto; Roy, ​​Anindya (2014).統計のための線形代数と行列解析. Texts in Statistical Science (第1版). Chapman and Hall/CRC. ISBN 978-1-4200-9538-8。
• ビスガード、ジェームズ (2021). 『解析学と線型代数：特異値分解とその応用』学生数学図書館（第1版） AMS. ISBN 978-1-4704-6332-8。
• Chicco, D; Masseroli, M (2015). 「遺伝子およびタンパク質のアノテーション予測と類似性検索のためのソフトウェアスイート」. IEEE/ACM Transactions on Computational Biology and Bioinformatics . 12 (4): 837– 843. Bibcode :2015ITCBB..12..837C. doi :10.1109/TCBB.2014.2382127 . hdl : 11311/959408 . PMID :  26357324. S2CID  : 14714823.
• デメル, ジェームズ;カハン, ウィリアム(1990). 「二重対角行列の正確な特異値」. SIAM Journal on Scientific and Statistical Computing . 11 (5): 873– 912. CiteSeerX  10.1.1.48.3740 . doi :10.1137/0911052.
• ゴルブ, ジーン・H. ;カハン, ウィリアム(1965). 「行列の特異値と擬似逆行列の計算」.応用数学協会誌, シリーズB: 数値解析. 2 (2): 205– 224.書誌コード:1965SJNA....2..205G. doi :10.1137/0702016. JSTOR  2949777.
• ゴルブ, GH ;ラインシュ、C. (1970)。 「特異値分解と最小二乗解」。数学。14 (5): 403–420。土井:10.1007/BF02163027。MR  1553974。S2CID 123532178  。
• ゴルブ, ジーン・H. ;ヴァン・ローン, チャールズ・F. (1996). 『行列計算』（第3版）. ジョンズ・ホプキンス大学. ISBN 978-0-8018-5414-9。
• GSLチーム (2007). 「§14.4 特異値分解」. GNU Scientific Library. リファレンスマニュアル.
• Halldor, Bjornsson; Venegas, Silvia A. (1997). 気候データのEOFおよびSVD解析マニュアル（報告書）. モントリオール、ケベック：マギル大学. CCGCR報告書 No. 97-1.
• Hansen, PC (1987). 「正則化手法としての切断SVD」BIT . 27 (4): 534– 553. doi :10.1007/BF01937276. S2CID  37591557.
• トレバー・ハスティー、ロバート・ティブシラニ、ジェローム・フリードマン (2009). 『統計学習の要素』（第2版）. ニューヨーク: シュプリンガー. pp.  535– 536. ISBN 978-0-387-84857-0。
• ホーン, ロジャー A.; ジョンソン, チャールズ R. (1985). 「セクション7.3」.行列分析. ケンブリッジ大学出版局. ISBN 978-0-521-38632-6。
• ホーン、ロジャー・A.；ジョンソン、チャールズ・R.（1991年）「第3章」『行列解析のトピックス』ケンブリッジ大学出版局。ISBN 978-0-521-46713-1。
• Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007). 「セクション2.6」.数値計算レシピ：科学計算の芸術（第3版）. ニューヨーク：ケンブリッジ大学出版局. ISBN 978-0-521-88068-8。
• サメット、H. (2006).多次元およびメトリックデータ構造の基礎. モーガン・カウフマン. ISBN 978-0-12-369446-1。
• Strang, G. (1998). 「第6.7節」線形代数入門（第3版）. Wellesley-Cambridge Press. ISBN 978-0-9614088-5-5。
• スチュワート, GW (1993). 「特異値分解の初期の歴史について」. SIAM Review . 35 (4): 551– 566. CiteSeerX  10.1.1.23.1831 . doi :10.1137/1035134. hdl :1903/566. JSTOR  2132388.
• トレフェテン, ロイド・N. ; バウ, デイビッド・III (1997).数値線形代数. フィラデルフィア: 産業応用数学協会. ISBN 978-0-89871-361-9。
• Wall, Michael E.; Rechtsteiner, Andreas; Rocha, Luis M. (2003). 「特異値分解と主成分分析」. Berrar, DP; Dubitzky, W.; Granzow, M. (編). 『マイクロアレイデータ解析への実践的アプローチ』 . マサチューセッツ州ノーウェル: Kluwer. pp.  91– 109.

h

外部リンク

• オンラインSVD計算機

Retrieved from "https://en.wikipedia.org/w/index.php?title=Singular_value_decomposition&oldid=1321397320"