Norm on a vector space of matrices
数学 の分野では 、 ベクトル空間内の要素に対して ノルム が定義されます。特に、ベクトル空間が行列で構成される場合、そのようなノルムは 行列ノルム と呼ばれます 。行列ノルムは、行列の乗算とも相互作用する必要があるという点でベクトルノルムとは異なります 。
予選 実数体 または 複素数 体 （ もしくはその完全な部分集合） が与えられたとき、その体に含まれる 行と 列を 持つ行列の K ベクトル 空間 を行列 ノルム とする。 行列ノルムは、 K {\displaystyle \ K\ } K m × n {\displaystyle \ K^{m\times n}\ } m {\displaystyle m} n {\displaystyle n} K . {\displaystyle \ K~.} K m × n . {\displaystyle \ K^{m\times n}~.}
ノルムはしばしば二重の縦棒 で表されます （例： ）。したがって、行列ノルムは 以下の性質を満たす 関数です。 [1] [2] ‖ A ‖ {\displaystyle \ \|A\|\ } ‖ ⋅ ‖ : K m × n → R 0 + {\displaystyle \ \|\cdot \|:K^{m\times n}\to \mathbb {R} ^{0+}\ }
すべてのスカラー と行列について α ∈ K {\displaystyle \ \alpha \in K\ } A , B ∈ K m × n , {\displaystyle \ A,B\in K^{m\times n}\ ,}
‖ A ‖ ≥ 0 {\displaystyle \|A\|\geq 0\ } （ 正の値 ） ‖ A ‖ = 0 ⟺ A = 0 m , n {\displaystyle \|A\|=0\iff A=0_{m,n}} （ 明確な ） ‖ α A ‖ = | α | ‖ A ‖ {\displaystyle \left\|\alpha \ A\right\|=\left|\alpha \right|\ \left\|A\right\|\ } （ 完全に均質 ） ‖ A + B ‖ ≤ ‖ A ‖ + ‖ B ‖ {\displaystyle \|A+B\|\leq \|A\|+\|B\|\ } （ 劣加法性 または 三角不等式 を満たす） 行列と並べ替えられたベクトルを区別する唯一の特徴は 乗算である。行列ノルムは、 乗法性 も有する場合に特に有用である ： [1] [2] [3]
‖ A B ‖ ≤ ‖ A ‖ ‖ B ‖ {\displaystyle \ \left\|AB\right\|\leq \left\|A\right\|\left\|B\right\|\ } [あ] 上のすべてのノルムは 、乗法以下の範囲に再スケールすることができます。書籍によっては、行列 ノルム という用語は乗法以下の範囲のノルムを指すために予約されています。 [4] K n × n {\displaystyle \ K^{n\times n}\ }
ユニタリー不変性 すべてのユニタリ行列および行列に対して が成り立つとき 、 行列ノルムはユニタリ不変であるといわれます 。 U , V {\displaystyle U,V} A {\displaystyle A} ‖ U A V ‖ = ‖ A ‖ {\displaystyle \lVert UAV\rVert =\lVert A\rVert }
対称ゲージ関数は、任意の順列行列 に対して となる 絶対 ベクトルノルム である。つまり、 ϕ : C p → R + {\displaystyle \phi :\mathbb {C} ^{p}\to \mathbb {R} ^{+}} ϕ ( P x ) = ϕ ( x ) {\displaystyle \phi (Px)=\phi (x)} P {\displaystyle P}
非負性: 、 の 場合に限り 。 ϕ ( x ) ≥ 0 {\displaystyle \phi (x)\geq 0} ϕ ( x ) = 0 {\displaystyle \phi (x)=0} x = 0 {\displaystyle x=0} 正の同次性: 任意の実数に対して 。 ϕ ( α x ) = | α | ϕ ( x ) {\displaystyle \phi (\alpha x)=|\alpha |\phi (x)} α {\displaystyle \alpha } 三角不等式: . ϕ ( x + y ) ≤ ϕ ( x ) + ϕ ( y ) {\displaystyle \phi (x+y)\leq \phi (x)+\phi (y)} 対称性: 任意の順列行列に対して 。 ϕ ( P x ) = ϕ ( x ) {\displaystyle \phi (Px)=\phi (x)} P {\displaystyle P} ノルムは、 特異値ベクトル上の対称ゲージ関数である 場合に限り、ユニタリ不変行列ノルムとなる。 [4]
ベクトルノルムによって誘導される行列ノルム 上の ベクトルノルム と上の ベクトルノルムが与えられている と仮定する 。任意の 行列 Aは 、標準基底に関して から への線型演算子を誘導し、対応する誘導ノルム、演算子ノルム、または従属ノルムをすべての行列の空間上で以下のように定義する 。 ここ で は 上限 を 表す 。 この ノルム は 、 によって 誘導される写像が ベクトルをどれだけ引き伸ばせるかを表す。使用されるベクトルノルム に応じて 、演算子ノルム として 以外の表記法 を使用できる。 ‖ ⋅ ‖ α {\displaystyle \|\cdot \|_{\alpha }} K n {\displaystyle K^{n}} ‖ ⋅ ‖ β {\displaystyle \|\cdot \|_{\beta }} K m {\displaystyle K^{m}} m × n {\displaystyle m\times n} K n {\displaystyle K^{n}} K m {\displaystyle K^{m}} K m × n {\displaystyle K^{m\times n}} m × n {\displaystyle m\times n} ‖ A ‖ α , β = sup { ‖ A x ‖ β : x ∈ K n such that ‖ x ‖ α ≤ 1 } {\displaystyle \|A\|_{\alpha ,\beta }=\sup\{\|Ax\|_{\beta }:x\in K^{n}{\text{ such that }}\|x\|_{\alpha }\leq 1\}} sup {\displaystyle \sup } A {\displaystyle A} ‖ ⋅ ‖ α {\displaystyle \|\cdot \|_{\alpha }} ‖ ⋅ ‖ β {\displaystyle \|\cdot \|_{\beta }} ‖ ⋅ ‖ α , β {\displaystyle \|\cdot \|_{\alpha ,\beta }}
ベクトルによって誘導される行列ノルム p -規範 ベクトルのpノルム （ ） を 両方の空間に使用し 、 対応する演算子ノルムは次のようになる。 [2] これらの誘導ノルムは、以下で扱う行列の「エントリワイズ」 p ノルムや シャッテン p ノルム とは異なり、通常は次のように表記される。 1 ≤ p ≤ ∞ {\displaystyle 1\leq p\leq \infty } K n {\displaystyle K^{n}} K m , {\displaystyle K^{m},} ‖ A ‖ p = sup { ‖ A x ‖ p : x ∈ K n such that ‖ x ‖ p ≤ 1 } . {\displaystyle \|A\|_{p}=\sup\{\|Ax\|_{p}:x\in K^{n}{\text{ such that }}\|x\|_{p}\leq 1\}.} ‖ A ‖ p . {\displaystyle \|A\|_{p}.}
幾何学的に言えば、における p ノルム単位球 を想像し 、その球に線型写像を適用することができます 。その結果、歪んだ凸形状 となり 、 は 歪んだ凸形状の最長の「半径」となります。言い換えれば、 における p ノルム単位球を とし、 を 包含できる大きさにするには、 少なくとも を乗じる必要があります 。 V p , n = { x ∈ K n : ‖ x ‖ p ≤ 1 } {\displaystyle V_{p,n}=\{x\in K^{n}:\|x\|_{p}\leq 1\}} K n {\displaystyle K^{n}} A {\displaystyle A} A V p , n ⊂ K m {\displaystyle AV_{p,n}\subset K^{m}} ‖ A ‖ p {\displaystyle \|A\|_{p}} V p , m {\displaystyle V_{p,m}} K m {\displaystyle K^{m}} ‖ A ‖ p {\displaystyle \|A\|_{p}} A V p , n {\displaystyle AV_{p,n}}
p = 1または∞ または、 簡単な数式がある 場合。 p = 1 , {\displaystyle \ p=1\ ,} p = ∞ , {\displaystyle \ p=\infty \ ,}
‖ A ‖ 1 = max 1 ≤ j ≤ n ∑ i = 1 m | a i j | , {\displaystyle \|A\|_{1}=\max _{1\leq j\leq n}\sum _{i=1}^{m}\left|a_{ij}\right|\ ,} これは単に行列の列の合計の絶対値の最大値です。 これは単に行列の行の合計の絶対値の最大値です。 ‖ A ‖ ∞ = max 1 ≤ i ≤ m ∑ j = 1 n | a i j | , {\displaystyle \|A\|_{\infty }=\max _{1\leq i\leq m}\sum _{j=1}^{n}\left|a_{ij}\right|\ ,}
例えば 、 A = [ − 3 5 7 2 6 4 0 2 8 ] , {\displaystyle A={\begin{bmatrix}-3&5&7\\~~2&6&4\\~~0&2&8\\\end{bmatrix}}\ ,} ‖ A ‖ 1 = max { | − 3 | + 2 + 0 , 5 + 6 + 2 , 7 + 4 + 8 } = max { 5 , 13 , 19 } = 19 , {\displaystyle \|A\|_{1}=\max {\bigl \{}\ |{-3}|+2+0\ ,~5+6+2\ ,~7+4+8\ {\bigr \}}=\max {\bigl \{}\ 5\ ,~13\ ,~19\ {\bigr \}}=19\ ,} ‖ A ‖ ∞ = max { | − 3 | + 5 + 7 , 2 + 6 + 4 , 0 + 2 + 8 } = max { 15 , 12 , 10 } = 15 . {\displaystyle \|A\|_{\infty }=\max {\bigl \{}\ |{-3}|+5+7\ ,~2+6+4\ ,~0+2+8\ {\bigr \}}=\max {\bigl \{}\ 15\ ,~12\ ,~10\ {\bigr \}}=15~.}
スペクトルノルム（ p = 2) （ ユークリッドノルム またはベクトルの -ノルム） のとき 、誘導行列ノルムは スペクトルノルム です。2つの値は 無限次元では一致 しません。詳細については スペクトル半径を 参照してください。スペクトル半径とスペクトルノルムを混同しないでください。行列のスペクトルノルムは の 最大 特異値 、つまり行列の最大 固有値 の平方根です。 ここで は の 共役転置 を表します 。 [5] ここで は 行列の最大特異値を表します。 p = 2 {\displaystyle p=2} ℓ 2 {\displaystyle \ell _{2}} A {\displaystyle A} A {\displaystyle A} A ∗ A , {\displaystyle A^{*}A,} A ∗ {\displaystyle A^{*}} A {\displaystyle A} ‖ A ‖ 2 = λ max ( A ∗ A ) = σ max ( A ) . {\displaystyle \|A\|_{2}={\sqrt {\lambda _{\max }\left(A^{*}A\right)}}=\sigma _{\max }(A).} σ max ( A ) {\displaystyle \sigma _{\max }(A)} A . {\displaystyle A.}
さらに次のプロパティがあります:
‖ A ‖ 2 = sup { x ∗ A y : x ∈ K m , y ∈ K n with ‖ x ‖ 2 = ‖ y ‖ 2 = 1 } . {\textstyle \|A\|_{2}=\sup\{x^{*}Ay:x\in K^{m},y\in K^{n}{\text{ with }}\|x\|_{2}=\|y\|_{2}=1\}.} コーシー・シュワルツの不等式 によって証明される 。 ‖ A ∗ A ‖ 2 = ‖ A A ∗ ‖ 2 = ‖ A ‖ 2 2 {\textstyle \|A^{*}A\|_{2}=\|AA^{*}\|_{2}=\|A\|_{2}^{2}} .特異値分解 (SVD) によって証明されます 。 A {\displaystyle A} ‖ A ‖ 2 = σ m a x ( A ) ≤ ‖ A ‖ F = ∑ i σ i ( A ) 2 {\textstyle \|A\|_{2}=\sigma _{\mathrm {max} }(A)\leq \|A\|_{\rm {F}}={\sqrt {\sum _{i}\sigma _{i}(A)^{2}}}} 、ここで はフロベニウスノルムです。等式は、行列 が階数1の行列または零行列である場合にのみ成立します。 ‖ A ‖ F {\displaystyle \|A\|_{\textrm {F}}} A {\displaystyle A} 逆に言えば、 . ‖ A ‖ F ≤ min ( m , n ) 1 / 2 ‖ A ‖ 2 {\displaystyle \|A\|_{\textrm {F}}\leq \min(m,n)^{1/2}\|A\|_{2}} ‖ A ‖ 2 = ρ ( A ∗ A ) ≤ ‖ A ∗ A ‖ ∞ ≤ ‖ A ‖ 1 ‖ A ‖ ∞ {\displaystyle \|A\|_{2}={\sqrt {\rho (A^{*}A)}}\leq {\sqrt {\|A^{*}A\|_{\infty }}}\leq {\sqrt {\|A\|_{1}\|A\|_{\infty }}}} 。
ベクトルによって誘導される行列ノルム α - そして β -規範 上記の定義を一般化することができます。 空間 とに対してそれぞれベクトルノルム とがあるとします 。対応する演算子ノルムは です。 特に、 先に定義した は の特別な場合です 。 ‖ ⋅ ‖ α {\displaystyle \|\cdot \|_{\alpha }} ‖ ⋅ ‖ β {\displaystyle \|\cdot \|_{\beta }} K n {\displaystyle K^{n}} K m {\displaystyle K^{m}} ‖ A ‖ α , β = sup { ‖ A x ‖ β : x ∈ K n such that ‖ x ‖ α ≤ 1 } {\displaystyle \|A\|_{\alpha ,\beta }=\sup\{\|Ax\|_{\beta }:x\in K^{n}{\text{ such that }}\|x\|_{\alpha }\leq 1\}} ‖ A ‖ p {\displaystyle \|A\|_{p}} ‖ A ‖ p , p {\displaystyle \|A\|_{p,p}}
および の特殊なケースでは 、誘導行列ノルムは によって計算できます。 ここで 、 は行列 の i 番目の行です 。 α = 2 {\displaystyle \alpha =2} β = ∞ {\displaystyle \beta =\infty } ‖ A ‖ 2 , ∞ = max 1 ≤ i ≤ m ‖ A i : ‖ 2 , {\displaystyle \|A\|_{2,\infty }=\max _{1\leq i\leq m}\|A_{i:}\|_{2},} A i : {\displaystyle A_{i:}} A {\displaystyle A}
および の特殊なケースでは 、誘導行列ノルムは によって計算できます。 ここで 、 は行列 の j 番目の列です 。 α = 1 {\displaystyle \alpha =1} β = 2 {\displaystyle \beta =2} ‖ A ‖ 1 , 2 = max 1 ≤ j ≤ n ‖ A : j ‖ 2 , {\displaystyle \|A\|_{1,2}=\max _{1\leq j\leq n}\|A_{:j}\|_{2},} A : j {\displaystyle A_{:j}} A {\displaystyle A}
したがって、 およびは、 それぞれ行列の行と列の 2 ノルムの最大値です。 ‖ A ‖ 2 , ∞ {\displaystyle \|A\|_{2,\infty }} ‖ A ‖ 1 , 2 {\displaystyle \|A\|_{1,2}}
プロパティ 任意の演算子ノルムはそれを誘導するベクトルノルムと整合しており、 ‖ A x ‖ β ≤ ‖ A ‖ α , β ‖ x ‖ α . {\displaystyle \|Ax\|_{\beta }\leq \|A\|_{\alpha ,\beta }\|x\|_{\alpha }.}
; ; および が、 それぞれベクトルノルムのペア ; ;および によって誘導される演算子ノルムであると 仮定します 。すると、 ‖ ⋅ ‖ α , β {\displaystyle \|\cdot \|_{\alpha ,\beta }} ‖ ⋅ ‖ β , γ {\displaystyle \|\cdot \|_{\beta ,\gamma }} ‖ ⋅ ‖ α , γ {\displaystyle \|\cdot \|_{\alpha ,\gamma }} ( ‖ ⋅ ‖ α , ‖ ⋅ ‖ β ) {\displaystyle (\|\cdot \|_{\alpha },\|\cdot \|_{\beta })} ( ‖ ⋅ ‖ β , ‖ ⋅ ‖ γ ) {\displaystyle (\|\cdot \|_{\beta },\|\cdot \|_{\gamma })} ( ‖ ⋅ ‖ α , ‖ ⋅ ‖ γ ) {\displaystyle (\|\cdot \|_{\alpha },\|\cdot \|_{\gamma })}
‖ A B ‖ α , γ ≤ ‖ A ‖ β , γ ‖ B ‖ α , β ; {\displaystyle \|AB\|_{\alpha ,\gamma }\leq \|A\|_{\beta ,\gamma }\|B\|_{\alpha ,\beta };} これは 次のこと
から導かれ、 ‖ A B x ‖ γ ≤ ‖ A ‖ β , γ ‖ B x ‖ β ≤ ‖ A ‖ β , γ ‖ B ‖ α , β ‖ x ‖ α {\displaystyle \|ABx\|_{\gamma }\leq \|A\|_{\beta ,\gamma }\|Bx\|_{\beta }\leq \|A\|_{\beta ,\gamma }\|B\|_{\alpha ,\beta }\|x\|_{\alpha }} sup ‖ x ‖ α = 1 ‖ A B x ‖ γ = ‖ A B ‖ α , γ . {\displaystyle \sup _{\|x\|_{\alpha }=1}\|ABx\|_{\gamma }=\|AB\|_{\alpha ,\gamma }.}
正方行列 がベクトルノルムとによって誘導される 正方 行列の空間上の演算子ノルムである とする 。このとき、演算子ノルムは部分乗法行列ノルムである。 ‖ ⋅ ‖ α , α {\displaystyle \|\cdot \|_{\alpha ,\alpha }} K n × n {\displaystyle K^{n\times n}} ‖ ⋅ ‖ α {\displaystyle \|\cdot \|_{\alpha }} ‖ ⋅ ‖ α {\displaystyle \|\cdot \|_{\alpha }} ‖ A B ‖ α , α ≤ ‖ A ‖ α , α ‖ B ‖ α , α . {\displaystyle \|AB\|_{\alpha ,\alpha }\leq \|A\|_{\alpha ,\alpha }\|B\|_{\alpha ,\alpha }.}
さらに、そのような規範は不等式を満たす。
( ‖ A r ‖ α , α ) 1 / r ≥ ρ ( A ) {\displaystyle (\|A^{r}\|_{\alpha ,\alpha })^{1/r}\geq \rho (A)} 1
全ての正の整数 r に対して成り立ち、ここで ρ ( A )は A の スペクトル半径 である 。 対称行列 または エルミート行列 Aの場合、2 ノルムについて( 1 )の等式が成り立つ 。これは、この場合、2 ノルムが A のスペクトル半径と全く同じだからで ある 。任意の行列の場合、どのノルムに対しても等式が成り立たない可能性がある。反例として、スペクトル半径がゼロになる がある
。いずれにせよ、任意の行列ノルムに対して、 スペクトル半径の式が 成り立つ 。 A = [ 0 1 0 0 ] , {\displaystyle A={\begin{bmatrix}0&1\\0&0\end{bmatrix}},} lim r → ∞ ‖ A r ‖ 1 / r = ρ ( A ) . {\displaystyle \lim _{r\to \infty }\|A^{r}\|^{1/r}=\rho (A).}
エネルギー基準 ベクトルノルム とが それぞれ 対称 正定値 行列 とに基づく エネルギーノルム で与えられる場合 、結果として得られる演算子ノルムは次のように与えられる。 ‖ ⋅ ‖ α {\displaystyle \|\cdot \|_{\alpha }} ‖ ⋅ ‖ β {\displaystyle \|\cdot \|_{\beta }} P {\displaystyle P} Q {\displaystyle Q} ‖ A ‖ P , Q = sup { ‖ A x ‖ Q : ‖ x ‖ P ≤ 1 } . {\displaystyle \|A\|_{P,Q}=\sup\{\|Ax\|_{Q}:\|x\|_{P}\leq 1\}.}
との対称行列 の 平方根を それぞれ使用すると 、演算子ノルムは修正行列のスペクトルノルムとして表すことができます。 P {\displaystyle P} Q {\displaystyle Q}
‖ A ‖ P , Q = ‖ Q 1 / 2 A P − 1 / 2 ‖ 2 . {\displaystyle \|A\|_{P,Q}=\|Q^{1/2}AP^{-1/2}\|_{2}.}
一貫性と互換性のある規範 上の 行列ノルムは 、 すべての およびすべての に対して、 上の ベクトルノルムおよび 上の ベクトルノルムと 整合していると 呼ばれる。m = n かつ の特別な場合においては 、 は と 整合している とも言える 。 ‖ ⋅ ‖ {\displaystyle \|\cdot \|} K m × n {\displaystyle K^{m\times n}} ‖ ⋅ ‖ α {\displaystyle \|\cdot \|_{\alpha }} K n {\displaystyle K^{n}} ‖ ⋅ ‖ β {\displaystyle \|\cdot \|_{\beta }} K m {\displaystyle K^{m}} ‖ A x ‖ β ≤ ‖ A ‖ ‖ x ‖ α {\displaystyle \left\|Ax\right\|_{\beta }\leq \left\|A\right\|\left\|x\right\|_{\alpha }} A ∈ K m × n {\displaystyle A\in K^{m\times n}} x ∈ K n {\displaystyle x\in K^{n}} α = β {\displaystyle \alpha =\beta } ‖ ⋅ ‖ {\displaystyle \|\cdot \|} ‖ ⋅ ‖ α {\displaystyle \|\cdot \|_{\alpha }}
全ての誘導ノルムは定義により矛盾しません。また、 上の任意の約乗法行列ノルムは、 を定義することにより、 上の適合なベクトルノルムを誘導します 。 K n × n {\displaystyle K^{n\times n}} K n {\displaystyle K^{n}} ‖ v ‖ := ‖ ( v , v , … , v ) ‖ {\displaystyle \left\|v\right\|:=\left\|\left(v,v,\dots ,v\right)\right\|}
「エントリごとの」行列ノルム これらのノルムは、行列をサイズ のベクトルとして 扱い 、よく知られたベクトルノルムの1つを使用します。例えば、 ベクトル pノルム（ p ≥ 1 ） を用いると、次のようになります。 m × n {\displaystyle m\times n} m ⋅ n {\displaystyle m\cdot n}
‖ A ‖ p , p = ‖ v e c ( A ) ‖ p = ( ∑ i = 1 m ∑ j = 1 n | a i j | p ) 1 / p {\displaystyle \|A\|_{p,p}=\|\mathrm {vec} (A)\|_{p}=\left(\sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{p}\right)^{1/p}} これは、誘導 p ノルム (上記参照) や Schatten p ノルム (下記参照) とは異なるノルムですが、表記は同じです。
特別な場合 p = 2 はフロベニウスノルムであり、 p = ∞ は最大ノルムをもたらします。
L 2,1 そして L p,q 規範 行列 の 次元を m 列とする 。元の定義によれば、行列 は m次元空間に n 個の データ点 を表す 。 ノルム [6] は、行列の列のユークリッドノルムの和である。 ( a 1 , … , a n ) {\displaystyle (a_{1},\ldots ,a_{n})} A {\displaystyle A} A {\displaystyle A} L 2 , 1 {\displaystyle L_{2,1}}
‖ A ‖ 2 , 1 = ∑ j = 1 n ‖ a j ‖ 2 = ∑ j = 1 n ( ∑ i = 1 m | a i j | 2 ) 1 / 2 {\displaystyle \|A\|_{2,1}=\sum _{j=1}^{n}\|a_{j}\|_{2}=\sum _{j=1}^{n}\left(\sum _{i=1}^{m}|a_{ij}|^{2}\right)^{1/2}} 誤差関数 としてのノルムは 、 各データポイント（列）の誤差が2乗されないため、よりロバストです。 ロバストなデータ分析 や スパースコーディング で使用されます。 L 2 , 1 {\displaystyle L_{2,1}}
p 、 q ≥ 1 の場合 、 ノルムは次のようにノルムに一般化できます 。 L 2 , 1 {\displaystyle L_{2,1}} L p , q {\displaystyle L_{p,q}}
‖ A ‖ p , q = ( ∑ j = 1 n ( ∑ i = 1 m | a i j | p ) q p ) 1 q . {\displaystyle \|A\|_{p,q}=\left(\sum _{j=1}^{n}\left(\sum _{i=1}^{m}|a_{ij}|^{p}\right)^{\frac {q}{p}}\right)^{\frac {1}{q}}.}
フロベニウスノルム p = q = 2 のノルムは フロベニウス ノルム または ヒルベルト・シュミットノルム と呼ばれるが、後者の用語は（おそらく無限次元の） ヒルベルト空間 上の作用素の文脈でより頻繁に用いられる 。このノルムは様々な方法で定義できる。 L p , q {\displaystyle L_{p,q}}
‖ A ‖ F = ∑ i m ∑ j n | a i j | 2 = trace ( A ∗ A ) = ∑ i = 1 min { m , n } σ i 2 ( A ) , {\displaystyle \|A\|_{\text{F}}={\sqrt {\sum _{i}^{m}\sum _{j}^{n}|a_{ij}|^{2}}}={\sqrt {\operatorname {trace} \left(A^{*}A\right)}}={\sqrt {\sum _{i=1}^{\min\{m,n\}}\sigma _{i}^{2}(A)}},} ここで、 トレース は対角成分の和であり、 は の 特異値 です 。2番目の等式は の明示的な計算によって証明されます。3番目の等式 は の 特異値分解 と、トレースが円シフトに対して不変であるという事実 によって証明されます。 σ i ( A ) {\displaystyle \sigma _{i}(A)} A {\displaystyle A} t r a c e ( A ∗ A ) {\displaystyle \mathrm {trace} (A^{*}A)} A {\displaystyle A}
フロベニウス ノルムはユークリッド ノルムの拡張であり、 すべての行列の空間上の フロベニウス内積 に由来します。 K n × n {\displaystyle K^{n\times n}}
フロベニウスノルムは乗法的に劣っており、 数値線形代数 において非常に有用です。フロベニウスノルムの乗法的劣性は、 コーシー・シュワルツ不等式 を用いて証明できます。実際、 乗法的劣性以上の性質を持ち、演算子ノルムが となるとき、 となります 。 ‖ A B ‖ F ≤ ‖ A ‖ o p ‖ B ‖ F {\displaystyle \|AB\|_{F}\leq \|A\|_{op}\|B\|_{F}} ‖ ⋅ ‖ o p ≤ ‖ ⋅ ‖ F {\displaystyle \|\cdot \|_{op}\leq \|\cdot \|_{F}}
フロベニウスノルムは誘導ノルムよりも計算が容易な場合が多く、回転 （および一般的な ユニタリ 演算）に対して不変という便利な性質を持っています 。つまり、任意の ユニタリ行列 に対して不変 です。この性質は、トレース（ ）の巡回的な性質から導かれます。 ‖ A ‖ F = ‖ A U ‖ F = ‖ U A ‖ F {\displaystyle \|A\|_{\text{F}}=\|AU\|_{\text{F}}=\|UA\|_{\text{F}}} U {\displaystyle U} trace ( X Y Z ) = trace ( Y Z X ) = trace ( Z X Y ) {\displaystyle \operatorname {trace} (XYZ)=\operatorname {trace} (YZX)=\operatorname {trace} (ZXY)}
‖ A U ‖ F 2 = trace ( ( A U ) ∗ A U ) = trace ( U ∗ A ∗ A U ) = trace ( U U ∗ A ∗ A ) = trace ( A ∗ A ) = ‖ A ‖ F 2 , {\displaystyle \|AU\|_{\text{F}}^{2}=\operatorname {trace} \left((AU)^{*}AU\right)=\operatorname {trace} \left(U^{*}A^{*}AU\right)=\operatorname {trace} \left(UU^{*}A^{*}A\right)=\operatorname {trace} \left(A^{*}A\right)=\|A\|_{\text{F}}^{2},} 同様に：
‖ U A ‖ F 2 = trace ( ( U A ) ∗ U A ) = trace ( A ∗ U ∗ U A ) = trace ( A ∗ A ) = ‖ A ‖ F 2 , {\displaystyle \|UA\|_{\text{F}}^{2}=\operatorname {trace} \left((UA)^{*}UA\right)=\operatorname {trace} \left(A^{*}U^{*}UA\right)=\operatorname {trace} \left(A^{*}A\right)=\|A\|_{\text{F}}^{2},} ここで、 のユニタリ性 (つまり、 ) を使用しました。 U {\displaystyle U} U ∗ U = U U ∗ = I {\displaystyle U^{*}U=UU^{*}=\mathbf {I} }
また、
‖ A ∗ A ‖ F = ‖ A A ∗ ‖ F ≤ ‖ A ‖ F 2 {\displaystyle \|A^{*}A\|_{\text{F}}=\|AA^{*}\|_{\text{F}}\leq \|A\|_{\text{F}}^{2}} そして
‖ A + B ‖ F 2 = ‖ A ‖ F 2 + ‖ B ‖ F 2 + 2 Re ( ⟨ A , B ⟩ F ) , {\displaystyle \|A+B\|_{\text{F}}^{2}=\|A\|_{\text{F}}^{2}+\|B\|_{\text{F}}^{2}+2\operatorname {Re} \left(\langle A,B\rangle _{\text{F}}\right),} ここで 、は フロベニウスの内積 、Reは複素数の実部（実数行列の場合は無関係）である。 ⟨ A , B ⟩ F {\displaystyle \langle A,B\rangle _{\text{F}}}
最大ノルム 最大 ノルムは、 p = q が無限大に近づく ときの極限における要素ごとのノルムです。
‖ A ‖ max = max i , j | a i j | . {\displaystyle \|A\|_{\max }=\max _{i,j}|a_{ij}|.} このノルムは乗法未満ではありませんが、右辺を に変更すると 乗法未満になります。 m n max i , j | a i j | {\displaystyle {\sqrt {mn}}\max _{i,j}\vert a_{ij}\vert }
一部の文献（ 「通信の複雑さ 」など ）では、最大ノルムの別の定義（ - ノルムとも呼ばれる）が因数分解ノルムを指していることに注意してください。 γ 2 {\displaystyle \gamma _{2}}
γ 2 ( A ) = min U , V : A = U V T ‖ U ‖ 2 , ∞ ‖ V ‖ 2 , ∞ = min U , V : A = U V T max i , j ‖ U i , : ‖ 2 ‖ V j , : ‖ 2 {\displaystyle \gamma _{2}(A)=\min _{U,V:A=UV^{T}}\|U\|_{2,\infty }\|V\|_{2,\infty }=\min _{U,V:A=UV^{T}}\max _{i,j}\|U_{i,:}\|_{2}\|V_{j,:}\|_{2}}
シャッテン規範 シャッテン pノルムは、 p ノルムを行列の 特異値 ベクトルに 適用するときに生じる。 [2] 行列 の特異値が σ i で表される場合 、シャッテン p ノルムは次のように定義される。 m × n {\displaystyle m\times n} A {\displaystyle A}
‖ A ‖ p = ( ∑ i = 1 min { m , n } σ i p ( A ) ) 1 / p . {\displaystyle \|A\|_{p}=\left(\sum _{i=1}^{\min\{m,n\}}\sigma _{i}^{p}(A)\right)^{1/p}.} これらのノルムは、誘導された p ノルムやエントリごとの p ノルムと表記法を共有していますが、異なります。
すべてのシャッテンノルムは乗法性に欠ける。また、ユニタリ不変であり、 すべての行列 とすべての ユニタリ行列 およびに対して成り立つことを意味する 。 ‖ A ‖ = ‖ U A V ‖ {\displaystyle \|A\|=\|UAV\|} A {\displaystyle A} U {\displaystyle U} V {\displaystyle V}
最もよく知られているケースは p = 1, 2, ∞である。p = 2 の 場合 、前述のフロベニウスノルムが得られる。p = ∞の場合 、 スペクトルノルムが得られる。これはベクトル2-ノルム（上記参照）によって誘導される演算子ノルムである。最後に、 p = 1の場合、 核ノルム（ トレースノルム 、または Ky Fan 'n'-ノルム [7] とも呼ばれる ）が得られ、以下のように定義される。
‖ A ‖ ∗ = trace ( A ∗ A ) = ∑ i = 1 min { m , n } σ i ( A ) , {\displaystyle \|A\|_{*}=\operatorname {trace} \left({\sqrt {A^{*}A}}\right)=\sum _{i=1}^{\min\{m,n\}}\sigma _{i}(A),} ここで、 は となる 半正定値行列を表す 。より正確には、は 半正定値行列 であるため 、その 平方根は 明確に定義される。核ノルムは 階数関数 の 凸包で あるため、 数理最適化 において低階数行列の探索に よく用いられる。 A ∗ A {\displaystyle {\sqrt {A^{*}A}}} B {\displaystyle B} B B = A ∗ A {\displaystyle BB=A^{*}A} A ∗ A {\displaystyle A^{*}A} ‖ A ‖ ∗ {\displaystyle \|A\|_{*}} rank ( A ) {\displaystyle {\text{rank}}(A)}
フォン・ノイマンのトレース不等式 とユークリッド空間の ヘルダーの不等式 を組み合わせると 、 のシャッテンノルム のヘルダーの不等式 のバージョンが得られます 。 1 / p + 1 / q = 1 {\displaystyle 1/p+1/q=1}
| trace ( A ∗ B ) | ≤ ‖ A ‖ p ‖ B ‖ q , {\displaystyle \left|\operatorname {trace} (A^{*}B)\right|\leq \|A\|_{p}\|B\|_{q},} 特に、これはシャッテンノルム不等式を意味する。
‖ A ‖ F 2 ≤ ‖ A ‖ p ‖ A ‖ q . {\displaystyle \|A\|_{F}^{2}\leq \|A\|_{p}\|A\|_{q}.}
単調な規範 行列ノルムは、 ローナー順序 に関して単調であるとき、 単調である と呼ばれる 。したがって、行列ノルムが増加するとは、 ‖ ⋅ ‖ {\displaystyle \|\cdot \|}
A ≼ B ⇒ ‖ A ‖ ≤ ‖ B ‖ . {\displaystyle A\preccurlyeq B\Rightarrow \|A\|\leq \|B\|.} フロベニウスノルムとスペクトルノルムは単調ノルムの例である。 [8]
カット基準 行列ノルムのもう一つの着想源は、行列 を重み付き 有向グラフ の 隣接 行列 として考えることから生まれます。 [9] いわゆる「カットノルム」は、関連するグラフが 二部 グラフにどれだけ近いかを測定します。
ここで、 A ∈ K m × n です。 [9] [10] [11] 同等の定義（定数倍を除く）では、条件 2| S | > n & 2| T | > m ; S = T ; または S ∩ T = ∅ が課されます。 [10] ‖ A ‖ ◻ = max S ⊆ [ n ] , T ⊆ [ m ] | ∑ s ∈ S , t ∈ T A t , s | {\displaystyle \|A\|_{\Box }=\max _{S\subseteq [n],T\subseteq [m]}{\left|\sum _{s\in S,t\in T}{A_{t,s}}\right|}}
カットノルムは誘導演算子ノルム ‖· ‖∞→1 と等価であり、誘導演算子ノルム自体は グロタンディーク ノルムと呼ばれる別のノルムと等価である。 [11]
グロタンディークノルムを定義するには、まず線型作用素 K 1 → K 1 が単なるスカラーであり、したがって任意の K k → K k 上の線型作用素に拡張されることに注意する必要がある。さらに、 K n と K m の基底を任意に選択すれば 、任意の線型作用素 K n → K m は 、各行列要素を スカラー乗算 によって K k の要素に乗算することで、線型作用素 ( K k ) n → ( K k ) m に拡張される。グロタンディークノルムは、この拡張された作用素のノルムである。記号で表すと、次のようになる 。[11] ‖ A ‖ G , k = sup each u j , v j ∈ K k ; ‖ u j ‖ = ‖ v j ‖ = 1 ∑ j ∈ [ n ] , ℓ ∈ [ m ] ( u j ⋅ v j ) A ℓ , j {\displaystyle \|A\|_{G,k}=\sup _{{\text{each }}u_{j},v_{j}\in K^{k};\|u_{j}\|=\|v_{j}\|=1}{\sum _{j\in [n],\ell \in [m]}{(u_{j}\cdot v_{j})A_{\ell ,j}}}}
グロタンディークノルムは基底（通常は標準基底 とする ）と k の選択に依存します。
規範の同等性 任意の 2 つの行列ノルムとに対して 、 次の関係が成り立ちます。 ‖ ⋅ ‖ α {\displaystyle \|\cdot \|_{\alpha }} ‖ ⋅ ‖ β {\displaystyle \|\cdot \|_{\beta }}
r ‖ A ‖ α ≤ ‖ A ‖ β ≤ s ‖ A ‖ α {\displaystyle r\|A\|_{\alpha }\leq \|A\|_{\beta }\leq s\|A\|_{\alpha }} 任意の正数 r と s に対して、すべての行列 に対して成り立ちます 。言い換えれば、 上のすべてのノルムは 同値で あり、 上に 同じ 位相を 誘導します。これは、ベクトル空間が 有限 次元 を 持つため成り立ちます。 A ∈ K m × n {\displaystyle A\in K^{m\times n}} K m × n {\displaystyle K^{m\times n}} K m × n {\displaystyle K^{m\times n}} K m × n {\displaystyle K^{m\times n}} m × n {\displaystyle m\times n}
さらに、上の すべての行列ノルムに対して、 がすべての に対して部分乗法行列ノルムとなる ような 唯一の正の実数が存在する。 すなわち、 ‖ ⋅ ‖ {\displaystyle \|\cdot \|} R n × n {\displaystyle \mathbb {R} ^{n\times n}} k {\displaystyle k} ℓ ‖ ⋅ ‖ {\displaystyle \ell \|\cdot \|} ℓ ≥ k {\displaystyle \ell \geq k}
k = sup { ‖ A B ‖ : ‖ A ‖ ≤ 1 , ‖ B ‖ ≤ 1 } . {\displaystyle k=\sup\{\Vert AB\Vert \,:\,\Vert A\Vert \leq 1,\Vert B\Vert \leq 1\}.} を満たす 他の部分乗法行列ノルムが存在しない場合、 部分乗法行列ノルムは 最小で あると言われます 。 ‖ ⋅ ‖ α {\displaystyle \|\cdot \|_{\alpha }} ‖ ⋅ ‖ β {\displaystyle \|\cdot \|_{\beta }} ‖ ⋅ ‖ β < ‖ ⋅ ‖ α {\displaystyle \|\cdot \|_{\beta }<\|\cdot \|_{\alpha }}
規範同等性の例 ここで、ベクトル p ノルムによって誘導されるノルムをもう一度参照します (上記の「誘導ノルム」のセクションを参照)。 ‖ A ‖ p {\displaystyle \|A\|_{p}}
階数 の 行列については 、次の不等式が成り立つ： [12] [13] A ∈ R m × n {\displaystyle A\in \mathbb {R} ^{m\times n}} r {\displaystyle r}
‖ A ‖ 2 ≤ ‖ A ‖ F ≤ r ‖ A ‖ 2 {\displaystyle \|A\|_{2}\leq \|A\|_{F}\leq {\sqrt {r}}\|A\|_{2}} ‖ A ‖ F ≤ ‖ A ‖ ∗ ≤ r ‖ A ‖ F {\displaystyle \|A\|_{F}\leq \|A\|_{*}\leq {\sqrt {r}}\|A\|_{F}} ‖ A ‖ max ≤ ‖ A ‖ 2 ≤ m n ‖ A ‖ max {\displaystyle \|A\|_{\max }\leq \|A\|_{2}\leq {\sqrt {mn}}\|A\|_{\max }} 1 n ‖ A ‖ ∞ ≤ ‖ A ‖ 2 ≤ m ‖ A ‖ ∞ {\displaystyle {\frac {1}{\sqrt {n}}}\|A\|_{\infty }\leq \|A\|_{2}\leq {\sqrt {m}}\|A\|_{\infty }} 1 m ‖ A ‖ 1 ≤ ‖ A ‖ 2 ≤ n ‖ A ‖ 1 . {\displaystyle {\frac {1}{\sqrt {m}}}\|A\|_{1}\leq \|A\|_{2}\leq {\sqrt {n}}\|A\|_{1}.}
参照
注記 ^この条件は、 正方行列 ( ) の場合のように、積が定義されている場合にのみ適用されます 。より一般的には、行列の乗算が可能でなければなりません。 さらに 、2つのノルム と は、 行列の次元のみが異なる同じ定義を持つか、あるいは2つの異なる種類のノルムであっても「矛盾しない」ものでなければなりません（下記参照）。 m = n {\displaystyle \ m=n\ } A ∈ K ℓ × m {\displaystyle \ A\in K^{\ell \times m}\ } B ∈ K m × n ; {\displaystyle \ B\in K^{m\times n}~;} ‖ A ‖ {\displaystyle \ \|A\|\ } ‖ B ‖ {\displaystyle \ \|B\|\ }
参考文献 ^ ab Weisstein, Eric W. 「行列ノルム」. mathworld.wolfram.com . 2020年8月24日 閲覧 。 ^ abcd "Matrix norms". fourier.eng.hmc.edu . 2020年8月24日 閲覧 。 ^ Malek-Shahmirzadi, Massoud (1983). 「行列ノルムの特定のクラスの特徴づけ」. 線形代数と多重線形代数 . 13 (2): 97– 99. doi :10.1080/03081088308817508. ISSN 0308-1087. ^ ab Horn, Roger A. (2012). Matrix analysis . Johnson, Charles R. (第2版). Cambridge, UK: Cambridge University Press. pp. 340– 341. ISBN 978-1-139-77600-4 . OCLC 817236655。 ^ Carl D. Meyer、「行列解析と応用線形代数」、§5.2、p.281、Society for Industrial & Applied Mathematics、2000年6月。 ^ Ding, Chris; Zhou, Ding; He, Xiaofeng; Zha, Hongyuan (2006年6月). R1-PCA: ロバストな部分空間分解のための回転不変L1ノルム主成分分析 . 第23回国際機械学習会議. ICML '06. ピッツバーグ, ペンシルベニア州: Association for Computing Machinery . pp. 281– 288. doi :10.1145/1143844.1143880. ISBN 1-59593-383-2 。 ^ Fan, Ky. (1951). 「完全連続作用素の固有値に関する最大値特性と不等式」. Proceedings of the National Academy of Sciences of the United States of America . 37 (11): 760– 766. Bibcode :1951PNAS...37..760F. doi : 10.1073 /pnas.37.11.760 . PMC 1063464. PMID 16578416. ^ Ciarlet, Philippe G. (1989). 数値線形代数と最適化入門 . ケンブリッジ大学出版局, イギリス. p. 57. ISBN 0521327881 。 ^ ab Frieze, Alan; Kannan, Ravi (1999-02-01). 「行列への迅速な近似とその応用」 . Combinatorica . 19 (2): 175– 220. doi :10.1007/s004930050052. ISSN 1439-6912. S2CID 15231198. ^ ab Lovász László (2012). 「カット距離」. 大規模ネットワークとグラフの限界 . AMSコロキウム出版. 第60巻. プロビデンス、ロードアイランド州: アメリカ数学会. pp. 127– 131. ISBN 978-0-8218-9085-1 。 Lovász は ‖ A ‖ □ を[0, 1] に収まるように再スケーリングしていることに注意してください 。 ^ abc Alon, Noga ; Naor, Assaf (2004-06-13). 「グロタンディークの不等式によるカットノルムの近似」. 第36回ACM計算理論シンポジウム議事録 . STOC '04. シカゴ、イリノイ州、米国: Association for Computing Machinery. pp. 72– 80. doi :10.1145/1007352.1007371. ISBN 978-1-58113-852-8 . S2CID 1667427。 ^ ゴルブ、ジーン 、 チャールズ・F・ヴァン・ローン (1996). 『行列計算 第3版』 ボルチモア: ジョンズ・ホプキンス大学出版局, 56–57. ISBN 0-8018-5413-X 。 ^ ロジャー・ホーンとチャールズ・ジョンソン著 『行列分析』 第5章、ケンブリッジ大学出版局、1985年 。ISBN 0-521-38632-2 。
参考文献 James W. Demmel 、「応用数値線形代数」、セクション 1.7、SIAM 発行、1997 年。 Carl D. Meyer著『行列解析と応用線形代数』SIAM出版、2000年。[1] John Watrous 、「量子情報理論」、2.3 演算子のノルム、講義ノート、ウォータールー大学、2011 年。 ケンドール・アトキンソン著『数値解析入門』、ジョン・ワイリー・アンド・サンズ社、1989年出版
![{\displaystyle \|A\|_{\Box }=\max _{S\subseteq [n],T\subseteq [m]}{\left|\sum _{s\in S,t\in T}{A_{t,s}}\right|}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/81f549cf8e017790e477cbd11624fb7a8d5f239a)
![{\displaystyle \|A\|_{G,k}=\sup _{{\text{each }}u_{j},v_{j}\in K^{k};\|u_{j}\|=\|v_{j}\|=1}{\sum _{j\in [n],\ell \in [m]}{(u_{j}\cdot v_{j})A_{\ell ,j}}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6798bc55a4d5fca6a30d0003cc476a0572c35bec)
