Technique in numerical linear algebra
数学において、 低ランク近似とは、 与えられた行列をより低いランクの行列で近似する処理を指します。より正確には、これは 最小化 問題であり、 コスト関数は、近似行列の ランク が低減されているという制約の下で、与えられた行列(データ)と近似行列(最適化変数)との適合度を測定します。この問題は、 数学モデリング や データ圧縮 に用いられます 。ランク制約は、データに適合するモデルの複雑さに関する制約と関連しています。応用分野においては、ランク制約とは別に、近似行列に 非負性 や ハンケル構造 などの他の制約が課されることがよくあります。
低ランク近似は、 主成分分析 、 因子分析 、 総最小二乗法 、 潜在的意味解析 、直交 回帰 、 動的モード分解 など、他の多くの手法と密接に関連しています。
意味 与えられた
構造仕様 、 S : R n p → R m × n {\displaystyle {\mathcal {S}}:\mathbb {R} ^{n_{p}}\to \mathbb {R} ^{m\times n}} 構造パラメータのベクトル 、 p ∈ R n p {\displaystyle p\in \mathbb {R} ^{n_{p}}} 規範 、および ‖ ⋅ ‖ {\displaystyle \|\cdot \|} 希望ランク 、 r {\displaystyle r} minimize over p ^ ‖ p − p ^ ‖ subject to rank ( S ( p ^ ) ) ≤ r . {\displaystyle {\text{minimize}}\quad {\text{over }}{\widehat {p}}\quad \|p-{\widehat {p}}\|\quad {\text{subject to}}\quad \operatorname {rank} {\big (}{\mathcal {S}}({\widehat {p}}){\big )}\leq r.}
アプリケーション
基本的な低ランク近似問題 フロベニウスノルム で測定された適合度を持つ非構造化問題 、すなわち、
minimize over D ^ ‖ D − D ^ ‖ F subject to rank ( D ^ ) ≤ r {\displaystyle {\text{minimize}}\quad {\text{over }}{\widehat {D}}\quad \|D-{\widehat {D}}\|_{\text{F}}\quad {\text{subject to}}\quad \operatorname {rank} {\big (}{\widehat {D}}{\big )}\leq r} は、データ行列の 特異値分解 によって解析解を持つ。この結果は行列近似補題、または エッカート・ヤング・ミルスキー定理 と呼ばれる。この問題はもともと エアハルト・シュミット [1] によって無限次元の積分作用素の文脈で解決された(ただし彼の方法はヒルベルト空間上の任意のコンパクト作用素に容易に一般化できる)。そして後に C.エッカート と G.ヤング [2] によって再発見された。L .ミルスキーは この結果を任意のユニタリ不変ノルムに一般化した [3] 。
D = U Σ V ⊤ ∈ R m × n , m ≥ n {\displaystyle D=U\Sigma V^{\top }\in \mathbb {R} ^{m\times n},\quad m\geq n} を の特異値分解とする。 ここで 、 は 非ゼロの特異値 を持つ直交対角行列 である 。 が与えられた場合 、 、 、 を 次のように分割する。 D {\displaystyle D} Σ =: diag ( σ 1 , … , σ r ) {\displaystyle \Sigma =:\operatorname {diag} (\sigma _{1},\ldots ,\sigma _{r})} r ≤ m i n { m , n } = n {\displaystyle r\leq min\{m,n\}=n} m × n {\displaystyle m\times n} r {\displaystyle r} σ 1 ≥ … ≥ σ r > σ r + 1 = … = σ n = 0 {\displaystyle \sigma _{1}\geq \ldots \geq \sigma _{r}>\sigma _{r+1}=\ldots =\sigma _{n}=0} k ∈ { 1 , … , r } {\displaystyle k\in \{1,\dots ,r\}} U {\displaystyle U} Σ {\displaystyle \Sigma } V {\displaystyle V}
U =: [ U 1 U 2 ] , Σ =: [ Σ 1 0 0 Σ 2 ] , and V =: [ V 1 V 2 ] , {\displaystyle U=:{\begin{bmatrix}U_{1}&U_{2}\end{bmatrix}},\quad \Sigma =:{\begin{bmatrix}\Sigma _{1}&0\\0&\Sigma _{2}\end{bmatrix}},\quad {\text{and}}\quad V=:{\begin{bmatrix}V_{1}&V_{2}\end{bmatrix}},} ここで 、 は、 は 、は である 。すると、 切り捨て特異値分解から得られる階数行列は、 U 1 {\displaystyle U_{1}} m × k {\displaystyle m\times k} Σ 1 {\displaystyle \Sigma _{1}} k × k {\displaystyle k\times k} V 1 {\displaystyle V_{1}} n × k {\displaystyle n\times k} k {\displaystyle k}
D ^ ∗ = U 1 Σ 1 V 1 ⊤ , {\displaystyle {\widehat {D}}^{*}=U_{1}\Sigma _{1}V_{1}^{\top },} というのは
‖ D − D ^ ∗ ‖ F = min rank ( D ^ ) ≤ k ‖ D − D ^ ‖ F = σ k + 1 2 + ⋯ + σ r 2 . {\displaystyle \|D-{\widehat {D}}^{*}\|_{\text{F}}=\min _{\operatorname {rank} ({\widehat {D}})\leq k}\|D-{\widehat {D}}\|_{\text{F}}={\sqrt {\sigma _{k+1}^{2}+\cdots +\sigma _{r}^{2}}}.} 最小化子は 、 の場合にのみ一意です 。 D ^ ∗ {\displaystyle {\widehat {D}}^{*}} σ k > σ k + 1 {\displaystyle \sigma _{k}>\sigma _{k+1}}
を とする 実数行列(おそらく長方形)とする 。 A ∈ R m × n {\displaystyle A\in \mathbb {R} ^{m\times n}} m ≤ n {\displaystyle m\leq n}
A = U Σ V ⊤ {\displaystyle A=U\Sigma V^{\top }} は の 特異値分解 です 。 と は 直交 行列であり 、 は となる要素を持つ 対角 行列で あることを思い出してください 。 A {\displaystyle A} U {\displaystyle U} V {\displaystyle V} Σ {\displaystyle \Sigma } m × n {\displaystyle m\times n} ( σ 1 , σ 2 , ⋯ , σ m ) {\displaystyle (\sigma _{1},\sigma _{2},\cdots ,\sigma _{m})} σ 1 ≥ σ 2 ≥ ⋯ ≥ σ m ≥ 0 {\displaystyle \sigma _{1}\geq \sigma _{2}\geq \cdots \geq \sigma _{m}\geq 0}
スペクトルノルムにおけるへの 最良階数 近似はで表され、 次のように与えられる
と主張する。 k {\displaystyle k} A {\displaystyle A} ‖ ⋅ ‖ 2 {\displaystyle \|\cdot \|_{2}}
A k := ∑ i = 1 k σ i u i v i ⊤ {\displaystyle A_{k}:=\sum _{i=1}^{k}\sigma _{i}u_{i}v_{i}^{\top }} ここで 、 はそれぞれ、 と の 番目の列 を表します 。 u i {\displaystyle u_{i}} v i {\displaystyle v_{i}} i {\displaystyle i} U {\displaystyle U} V {\displaystyle V}
まず、
‖ A − A k ‖ 2 = ‖ ∑ i = 1 n σ i u i v i ⊤ − ∑ i = 1 k σ i u i v i ⊤ ‖ 2 = ‖ ∑ i = k + 1 n σ i u i v i ⊤ ‖ 2 = σ k + 1 {\displaystyle \|A-A_{k}\|_{2}=\left\|\sum _{i=1}^{\color {red}{n}}\sigma _{i}u_{i}v_{i}^{\top }-\sum _{i=1}^{\color {red}{k}}\sigma _{i}u_{i}v_{i}^{\top }\right\|_{2}=\left\|\sum _{i=\color {red}{k+1}}^{n}\sigma _{i}u_{i}v_{i}^{\top }\right\|_{2}=\sigma _{k+1}} したがって、とに 列 がある場合 、 で あることを示す必要があります 。 B k = X Y ⊤ {\displaystyle B_{k}=XY^{\top }} X {\displaystyle X} Y {\displaystyle Y} k {\displaystyle k} ‖ A − A k ‖ 2 = σ k + 1 ≤ ‖ A − B k ‖ 2 {\displaystyle \|A-A_{k}\|_{2}=\sigma _{k+1}\leq \|A-B_{k}\|_{2}}
には列 があるので 、 の最初の 列の非自明な線形結合が存在する必要がある 。すなわち、 Y {\displaystyle Y} k {\displaystyle k} k + 1 {\displaystyle k+1} V {\displaystyle V}
w = γ 1 v 1 + ⋯ + γ k + 1 v k + 1 , {\displaystyle w=\gamma _{1}v_{1}+\cdots +\gamma _{k+1}v_{k+1},} となる 。 一般性を失うことなく 、となるように スケール化できる。 あるいは(同値として) と なる。したがって、 Y ⊤ w = 0 {\displaystyle Y^{\top }w=0} w {\displaystyle w} ‖ w ‖ 2 = 1 {\displaystyle \|w\|_{2}=1} γ 1 2 + ⋯ + γ k + 1 2 = 1 {\displaystyle \gamma _{1}^{2}+\cdots +\gamma _{k+1}^{2}=1}
‖ A − B k ‖ 2 2 ≥ ‖ ( A − B k ) w ‖ 2 2 = ‖ A w ‖ 2 2 = γ 1 2 σ 1 2 + ⋯ + γ k + 1 2 σ k + 1 2 ≥ σ k + 1 2 . {\displaystyle \|A-B_{k}\|_{2}^{2}\geq \|(A-B_{k})w\|_{2}^{2}=\|Aw\|_{2}^{2}=\gamma _{1}^{2}\sigma _{1}^{2}+\cdots +\gamma _{k+1}^{2}\sigma _{k+1}^{2}\geq \sigma _{k+1}^{2}.} 上記の不等式の両辺の平方根を取ると、次のような結果が得られます。
を とする 実数行列(おそらく長方形)とする 。 A ∈ R m × n {\displaystyle A\in \mathbb {R} ^{m\times n}} m ≤ n {\displaystyle m\leq n}
A = U Σ V ⊤ {\displaystyle A=U\Sigma V^{\top }} は の 特異値分解 です 。 A {\displaystyle A}
フロベニウスノルムにおけるへの 最良階数 近似はで表され、 次のように与えられる
と主張する。 k {\displaystyle k} A {\displaystyle A} ‖ ⋅ ‖ F {\displaystyle \|\cdot \|_{F}}
A k = ∑ i = 1 k σ i u i v i ⊤ {\displaystyle A_{k}=\sum _{i=1}^{k}\sigma _{i}u_{i}v_{i}^{\top }} ここで 、 はそれぞれ、 と の 番目の列 を表します 。 u i {\displaystyle u_{i}} v i {\displaystyle v_{i}} i {\displaystyle i} U {\displaystyle U} V {\displaystyle V}
まず、
‖ A − A k ‖ F 2 = ‖ ∑ i = k + 1 n σ i u i v i ⊤ ‖ F 2 = ∑ i = k + 1 n σ i 2 {\displaystyle \|A-A_{k}\|_{F}^{2}=\left\|\sum _{i=k+1}^{n}\sigma _{i}u_{i}v_{i}^{\top }\right\|_{F}^{2}=\sum _{i=k+1}^{n}\sigma _{i}^{2}} したがって、 列 が ある場合 、 B k = X Y ⊤ {\displaystyle B_{k}=XY^{\top }} X {\displaystyle X} Y {\displaystyle Y} k {\displaystyle k}
‖ A − A k ‖ F 2 = ∑ i = k + 1 n σ i 2 ≤ ‖ A − B k ‖ F 2 . {\displaystyle \|A-A_{k}\|_{F}^{2}=\sum _{i=k+1}^{n}\sigma _{i}^{2}\leq \|A-B_{k}\|_{F}^{2}.} スペクトルノルムを持つ三角不等式により、 ならばとなる 。 と がそれぞれ、 と の階数 近似を 上記の特異値分解法によって表すものとする。すると、任意の A = A ′ + A ″ {\displaystyle A=A'+A''} σ 1 ( A ) ≤ σ 1 ( A ′ ) + σ 1 ( A ″ ) {\displaystyle \sigma _{1}(A)\leq \sigma _{1}(A')+\sigma _{1}(A'')} A k ′ {\displaystyle A'_{k}} A k ″ {\displaystyle A''_{k}} k {\displaystyle k} A ′ {\displaystyle A'} A ″ {\displaystyle A''} i , j ≥ 1 {\displaystyle i,j\geq 1}
σ i ( A ′ ) + σ j ( A ″ ) = σ 1 ( A ′ − A i − 1 ′ ) + σ 1 ( A ″ − A j − 1 ″ ) ≥ σ 1 ( A − A i − 1 ′ − A j − 1 ″ ) ≥ σ 1 ( A − A i + j − 2 ) ( since r a n k ( A i − 1 ′ + A j − 1 ″ ) ≤ i + j − 2 ) ) = σ i + j − 1 ( A ) . {\displaystyle {\begin{aligned}\sigma _{i}(A')+\sigma _{j}(A'')&=\sigma _{1}(A'-A'_{i-1})+\sigma _{1}(A''-A''_{j-1})\\&\geq \sigma _{1}(A-A'_{i-1}-A''_{j-1})\\&\geq \sigma _{1}(A-A_{i+j-2})\qquad ({\text{since }}{\rm {rank}}(A'_{i-1}+A''_{j-1})\leq i+j-2))\\&=\sigma _{i+j-1}(A).\end{aligned}}} なので 、およびのとき 、 について次のように結論づけられる。 σ k + 1 ( B k ) = 0 {\displaystyle \sigma _{k+1}(B_{k})=0} A ′ = A − B k {\displaystyle A'=A-B_{k}} A ″ = B k {\displaystyle A''=B_{k}} i ≥ 1 , j = k + 1 {\displaystyle i\geq 1,j=k+1}
σ i ( A − B k ) ≥ σ k + i ( A ) . {\displaystyle \sigma _{i}(A-B_{k})\geq \sigma _{k+i}(A).} したがって、
‖ A − B k ‖ F 2 = ∑ i = 1 n σ i ( A − B k ) 2 ≥ ∑ i = k + 1 n σ i ( A ) 2 = ‖ A − A k ‖ F 2 , {\displaystyle \|A-B_{k}\|_{F}^{2}=\sum _{i=1}^{n}\sigma _{i}(A-B_{k})^{2}\geq \sum _{i=k+1}^{n}\sigma _{i}(A)^{2}=\|A-A_{k}\|_{F}^{2},} 必要に応じて。
重み付き低ランク近似問題 フロベニウスノルムは近似誤差のすべての要素に均一に重み付けする 。誤差の分布に関する事前知識は、重み付き低ランク近似問題を考慮することで考慮することができる。 D − D ^ {\displaystyle D-{\widehat {D}}}
minimize over D ^ vec ( D − D ^ ) ⊤ W vec ( D − D ^ ) subject to rank ( D ^ ) ≤ r , {\displaystyle {\text{minimize}}\quad {\text{over }}{\widehat {D}}\quad \operatorname {vec} (D-{\widehat {D}})^{\top }W\operatorname {vec} (D-{\widehat {D}})\quad {\text{subject to}}\quad \operatorname {rank} ({\widehat {D}})\leq r,} ここで、 行列 を 列方向に ベクトル化し 、与えられた正(半)定値重み行列です。 vec ( A ) {\displaystyle {\text{vec}}(A)} A {\displaystyle A} W {\displaystyle W}
一般的な重み付き低ランク近似問題は、特異値分解による解析解を許容せず、グローバルに最適な解が見つかるという保証のないローカル最適化法によって解決されます。
相関のない重みの場合、重み付き低ランク近似問題は次のように定式化することもできます。 [4] [5] 非負行列 と行列に対して、 最大でランク の 行列、 を最小化します 。 W {\displaystyle W} A {\displaystyle A} ∑ i , j ( W i , j ( A i , j − B i , j ) ) 2 {\displaystyle \sum _{i,j}(W_{i,j}(A_{i,j}-B_{i,j}))^{2}} B {\displaystyle B} r {\displaystyle r}
エントリーごとに L p 低ランク近似問題 とする 。 の場合 、最も速いアルゴリズムは 時間内に実行される。 [6] [7] 使用されている重要なアイデアの1つは、Oblivious Subspace Embedding(OSE)と呼ばれ、Sarlosによって最初に提案された。 [8] ‖ A ‖ p = ( ∑ i , j | A i , j p | ) 1 / p {\displaystyle \|A\|_{p}=\left(\sum _{i,j}|A_{i,j}^{p}|\right)^{1/p}} p = 2 {\displaystyle p=2} n n z ( A ) + n ⋅ p o l y ( k / ϵ ) {\displaystyle nnz(A)+n\cdot poly(k/\epsilon )}
の場合 、このエントリワイズL1ノルムは外れ値が存在する場合のフロベニウスノルムよりもロバストであることが知られており、ノイズに関するガウス仮定が適用できないモデルにおいてその効果が示される。 を最小化しようとするのは自然なことである 。 [9] および の場合 、証明可能な保証を持つアルゴリズムがいくつか存在する。 [10] [11] p = 1 {\displaystyle p=1} ‖ B − A ‖ 1 {\displaystyle \|B-A\|_{1}} p = 0 {\displaystyle p=0} p ≥ 1 {\displaystyle p\geq 1}
距離低ランク近似問題 任意の距離空間 における2つの点集合を と とする 。 を と する 行列とする 。このような距離行列はソフトウェアパッケージで一般的に計算され、画像多様体の学習、 手書き文字認識 、多次元展開などに応用されている。これらの記述サイズを削減する試みとして、 [12] [13] では、このような行列の低ランク近似を研究することができる。 P = { p 1 , … , p m } {\displaystyle P=\{p_{1},\ldots ,p_{m}\}} Q = { q 1 , … , q n } {\displaystyle Q=\{q_{1},\ldots ,q_{n}\}} A {\displaystyle A} m × n {\displaystyle m\times n} A i , j = d i s t ( p i , q i ) {\displaystyle A_{i,j}=dist(p_{i},q_{i})}
分散/ストリーミング低ランク近似問題 分散およびストリーミング設定における低ランク近似問題は [14]で検討されている。
ランク制約のイメージとカーネル表現 同値性の使用
rank ( D ^ ) ≤ r ⟺ there are P ∈ R m × r and L ∈ R r × n such that D ^ = P L {\displaystyle \operatorname {rank} ({\widehat {D}})\leq r\quad \iff \quad {\text{there are }}P\in \mathbb {R} ^{m\times r}{\text{ and }}L\in \mathbb {R} ^{r\times n}{\text{ such that }}{\widehat {D}}=PL} そして
rank ( D ^ ) ≤ r ⟺ there is full row rank R ∈ R m − r × m such that R D ^ = 0 {\displaystyle \operatorname {rank} ({\widehat {D}})\leq r\quad \iff \quad {\text{there is full row rank }}R\in \mathbb {R} ^{m-r\times m}{\text{ such that }}R{\widehat {D}}=0} 重み付き低ランク近似問題はパラメータ最適化問題と同等になる
minimize over D ^ , P and L vec ⊤ ( D − D ^ ) W vec ( D − D ^ ) subject to D ^ = P L {\displaystyle {\text{minimize}}\quad {\text{over }}{\widehat {D}},P{\text{ and }}L\quad \operatorname {vec} ^{\top }(D-{\widehat {D}})W\operatorname {vec} (D-{\widehat {D}})\quad {\text{subject to}}\quad {\widehat {D}}=PL} そして
minimize over D ^ and R vec ⊤ ( D − D ^ ) W vec ( D − D ^ ) subject to R D ^ = 0 and R R ⊤ = I r , {\displaystyle {\text{minimize}}\quad {\text{over }}{\widehat {D}}{\text{ and }}R\quad \operatorname {vec} ^{\top }(D-{\widehat {D}})W\operatorname {vec} (D-{\widehat {D}})\quad {\text{subject to}}\quad R{\widehat {D}}=0\quad {\text{and}}\quad RR^{\top }=I_{r},} ここで、 は サイズ の 単位行列 です 。 I r {\displaystyle I_{r}} r {\displaystyle r}
交互投影アルゴリズム ランク制約のイメージ表現は、一方の変数( または )を固定し、もう一方の変数を固定した上で、コスト関数を交互に最小化するパラメータ最適化手法を示唆しています。 と の両方を同時に最小化することは困難な双凸最適化問題ですが 、 一方 の 変数のみを最小化することは 線形最小二乗 問題であり、大域的かつ効率的に解くことができます。 P {\displaystyle P} L {\displaystyle L} P {\displaystyle P} L {\displaystyle L}
結果として得られる最適化アルゴリズム(交代射影法と呼ばれる)は、重み付き低ランク近似問題の局所最適解に線形収束率で大域収束します。 (または )パラメータの初期値を指定する必要があります。反復は、ユーザー定義の収束条件が満たされた時点で停止します。 P {\displaystyle P} L {\displaystyle L}
重み付き低ランク近似のための交互投影アルゴリズムの Matlab実装:
function [dh, f] = wlra_ap ( d, w, p, tol, maxiter ) [ m , n ] = size ( d ); r = size ( p , 2 ); f = inf ; for i = 2 : maxiter % L 上の最小化 bp = kron ( eye ( n ), p ); vl = ( bp ' * w * bp ) \ bp ' * w * d (:); l = reshape ( vl , r , n ); % P 上の最小化 bl = kron ( l ' , eye ( m )); vp = ( bl ' * w * bl ) \ bl ' * w * d (:); p = reshape ( vp , m , r ); % 終了条件をチェック dh = p * l ; dd = d - dh ; f ( i ) = dd (:) ' * w * dd (:); abs ( f ( i - 1 ) - f ( i )) < tol の 場合 、 break 、 end 、 endfor
変数投影アルゴリズム 交代射影アルゴリズムは、画像形式でパラメータ化された低ランク近似問題が変数または に関して双線型であるという事実を利用しています 。この問題の双線型性は、変数射影と呼ばれる代替アプローチで効果的に利用されています。 [15] P {\displaystyle P} L {\displaystyle L}
像形式でパラメータ化された重み付き低ランク近似問題を再び考えてみましょう。変数に関する最小化 (線形最小二乗問題)は、近似誤差の閉じた表現を次の関数として導きます。 L {\displaystyle L} P {\displaystyle P}
f ( P ) = vec ⊤ ( D ) ( W − W ( I n ⊗ P ) ( ( I n ⊗ P ) ⊤ W ( I n ⊗ P ) ) − 1 ( I n ⊗ P ) ⊤ W ) vec ( D ) . {\displaystyle f(P)={\sqrt {\operatorname {vec} ^{\top }(D){\Big (}W-W(I_{n}\otimes P){\big (}(I_{n}\otimes P)^{\top }W(I_{n}\otimes P){\big )}^{-1}(I_{n}\otimes P)^{\top }W{\Big )}\operatorname {vec} (D)}}.} したがって、元の問題は、 に関して を 最小化する 非線形最小二乗問題 と等価です。この目的のために、標準的な最適化手法、例えば Levenberg-Marquardtアルゴリズムを 使用することができます。 f ( P ) {\displaystyle f(P)} P {\displaystyle P}
重み付き低ランク近似のための変数投影アルゴリズムの Matlab実装:
関数 [dh, f] = wlra_varpro ( d, w, p, tol, maxiter ) prob = optimset (); prob . solver = 'lsqnonlin' ; prob . options = optimset ( 'MaxIter' , maxiter , 'TolFun' , tol ); prob . x0 = p ; prob . objective = @( p ) cost_fun ( p , d , w ); [ p , f ] = lsqnonlin ( prob ); [ f , vl ] = cost_fun ( p , d , w ); dh = p * reshape ( vl , size ( p , 2 ), size ( d , 2 ) ); 関数 [f, vl] = cost_fun ( p, d, w ) bp = kron ( eye ( size ( d , 2 )), p ); vl = ( bp ' * w * bp ) \ bp ' * w * d (:); f = d (:) ' * w * ( d (:) - bp * vl ); 変数投影法は、カーネル形式でパラメータ化された低ランク近似問題にも適用できます。この手法は、非線形最小二乗法による最小化の段階で除去される変数の数が残る最適化変数の数よりもはるかに多い場合に有効です。このような問題は、カーネル形式でパラメータ化されたシステム同定において発生します。この場合、除去される変数は近似軌道であり、残りの変数はモデルパラメータです。 線形時不変システムの文脈では、この除去ステップは カルマン平滑化 と同等です 。
変形:凸制限低ランク近似 通常、新しい解は低ランクであるだけでなく、アプリケーションの要件に応じて他の凸制約も満たすことが求められます。ここで関心のある問題は、以下のようになります。
minimize over p ^ ‖ p − p ^ ‖ subject to rank ( S ( p ^ ) ) ≤ r and g ( p ^ ) ≤ 0 {\displaystyle {\text{minimize}}\quad {\text{over }}{\widehat {p}}\quad \|p-{\widehat {p}}\|\quad {\text{subject to}}\quad \operatorname {rank} {\big (}{\mathcal {S}}({\widehat {p}}){\big )}\leq r{\text{ and }}g({\widehat {p}})\leq 0} この問題は、不正確な(半正定値計画法 )緩和から良好な解を復元することなど、現実世界で多くの応用があります 。すべての要素が非負値であることを要求するなど、追加の制約が 線形である場合、この問題は構造化低ランク近似と呼ばれます。 [16] より一般的な形式は、凸制約低ランク近似と呼ばれます。 g ( p ^ ) ≤ 0 {\displaystyle g({\widehat {p}})\leq 0}
この問題は多くの問題を解決するのに役立ちます。しかし、凸制約と非凸制約(低ランク制約)が組み合わさっているため、解くのが困難です 。この問題の実現方法に応じて、様々な手法が開発されてきました。しかし、交互方向乗数法(ADMM)は、凸目的関数、ランク制約、その他の凸制約を持つ非凸問題を解くために適用できるため、 [17] 上記の問題を解決するのに適しています。さらに、一般的な非凸問題とは異なり、ADMMは、双対変数が反復計算で収束する限り、実行可能な解に収束することを保証します。 g ( p ^ ) ≤ 0 {\displaystyle g({\widehat {p}})\leq 0}
参照
参考文献 ^ E. シュミット、Zur Theorie der linearen und nichtlinearen Integralgleichungen、Math。アンナレン 63 (1907)、433-476。 土井 :10.1007/BF01449770 ^ C. Eckart, G. Young, 「ある行列のより低い階数の別の行列による近似」Psychometrika, 第1巻, 1936年, 211–8ページ. doi :10.1007/BF02288367 ^ L. Mirsky, 対称ゲージ関数とユニタリー不変ノルム, QJ Math. 11 (1960), 50-59. doi :10.1093/qmath/11.1.50 ^ ネイサン、スレブロ; Jaakkola、Tommi (2003)。加重低ランク近似 (PDF) 。 ICML'03。 ^ Razenshteyn, Ilya; Song, Zhao; Woodruff, David P. (2016). 証明可能な保証を伴う重み付き低ランク近似.STOC '16 Proceedings of the forty-eighth annual ACM symposium on Theory of Computing. ^ Clarkson, Kenneth L.; Woodruff, David P. (2013). 入力スパース時間における低ランク近似と回帰 . STOC '13 Proceedings of the forty-fifth annual ACM symposium on Theory of Computing. arXiv : 1207.6365 . ^ Nelson, Jelani; Nguyen, Huy L. (2013). OSNAP: スパース部分空間埋め込みによる数値線形代数アルゴリズムの高速化 . FOCS '13. arXiv : 1211.1002 . ^ Sarlos, Tamas (2006). ランダム射影による大規模行列の近似アルゴリズムの改良 . FOCS'06. ^ Song, Zhao; Woodruff, David P.; Zhong, Peilin (2017). エントリワイズL1ノルム誤差を伴う低ランク近似 . STOC '17 Proceedings of the forty-ninth annual ACM symposium on Theory of Computing. arXiv : 1611.00898 . ^ Bringmann, Karl; Kolev, Pavel; Woodruff, David P. (2017). L0低ランク近似のための近似アルゴリズム . NIPS'17. arXiv : 1710.11253 . ^ キエリケッティ、フラヴィオ;ゴッラプディ、スリーニバス。クマール、ラヴィ。ラッタンツィ、シルビオ。パニグラヒー、リナ。ウッドラフ、デイビッド P. (2017)。 Lp 低ランク近似のアルゴリズム 。 ICML'17。 arXiv : 1705.06730 。 ^ Bakshi, Ainesh L.; Woodruff, David P. (2018). 距離行列の線形時間以下の低ランク近似 . NeurIPS. arXiv : 1809.06986 . ^ Indyk, Piotr; Vakilian, Ali; Wagner, Tal; Woodruff, David P. (2019). 距離行列のサンプル最適低ランク近似 . COLT. ^ Boutsidis, Christos; Woodruff, David P.; Zhong, Peilin (2016). 分散モデルとストリーミングモデルにおける最適主成分分析 . STOC. arXiv : 1504.06729 . ^ G. Golub と V. Pereyra、「分離可能非線形最小二乗法: 変数投影法とその応用」、Institute of Physics、Inverse Problems、第 19 巻、2003 年、1-26 ページ。 ^ Chu, Moody T.; Funderlic, Robert E.; Plemmons, Robert J. (2003). 「構造化低ランク近似」. 線形代数とその応用 . 366 : 157–172 . doi : 10.1016/S0024-3795(02)00505-0 . ^ 「非凸集合上の凸問題のヒューリスティックな解決のための一般的なシステム」 (PDF) 。 MT Chu, RE Funderlic, RJ Plemmons, 構造化低ランク近似, 線形代数とその応用, 第366巻, 2003年6月1日, 157–172ページ doi :10.1016/S0024-3795(02)00505-0
外部リンク