低ランク近似

数学において、低ランク近似とは、与えられた行列をより低いランクの行列で近似する処理を指します。より正確には、これは最小化問題であり、コスト関数は、近似行列のランクが低減されているという制約の下で、与えられた行列(データ)と近似行列(最適化変数)との適合度を測定します。この問題は、数学モデリングデータ圧縮に用いられます。ランク制約は、データに適合するモデルの複雑さに関する制約と関連しています。応用分野においては、ランク制約とは別に、近似行列に非負性ハンケル構造などの他の制約が課されることがよくあります。

低ランク近似は、主成分分析因子分析総最小二乗法潜在的意味解析、直交回帰動的モード分解など、他の多くの手法と密接に関連しています。

意味

与えられた

  • 構造仕様
  • 構造パラメータのベクトル
  • 規範 、および
  • 希望ランク

アプリケーション

基本的な低ランク近似問題

フロベニウスノルムで測定された適合度を持つ非構造化問題、すなわち、

は、データ行列の特異値分解によって解析解を持つ。この結果は行列近似補題、またはエッカート・ヤング・ミルスキー定理と呼ばれる。この問題はもともとエアハルト・シュミット[1]によって無限次元の積分作用素の文脈で解決された(ただし彼の方法はヒルベルト空間上の任意のコンパクト作用素に容易に一般化できる)。そして後にC.エッカートG.ヤング[2] によって再発見された。L .ミルスキーはこの結果を任意のユニタリ不変ノルムに一般化した[3]

を の特異値分解とする。ここで、 は 非ゼロの特異値を持つ直交対角行列である。 が与えられた場合、 を次のように分割する。

ここでは、、はである。すると、切り捨て特異値分解から得られる階数行列は、

というのは

最小化子は、 の場合にのみ一意です

エッカート・ヤング・ミルスキー定理の証明(スペクトルノルム

を とする実数行列(おそらく長方形)とする

は の特異値分解ですと は直交行列であり、 はとなる要素を持つ対角行列であることを思い出してください

スペクトルノルムにおけるへの最良階数近似はで表され、次のように与えられる と主張する。

ここで、 はそれぞれ、の 番目の列を表します

まず、

したがって、とにがある場合、 であることを示す必要があります

には列があるので、 の最初の列の非自明な線形結合が存在する必要がある。すなわち、

となる一般性を失うことなく、となるようにスケール化できる。あるいは(同値として) となる。したがって、

上記の不等式の両辺の平方根を取ると、次のような結果が得られます。

エッカート・ヤング・ミルスキー定理の証明(フロベニウスノルム

を とする実数行列(おそらく長方形)とする

は の特異値分解です

フロベニウスノルムにおけるへの最良階数近似はで表され、次のように与えられる と主張する。

ここで、 はそれぞれ、の 番目の列を表します

まず、

したがって、ある場合

スペクトルノルムを持つ三角不等式により、ならばとなる。 とがそれぞれ、の階数近似を上記の特異値分解法によって表すものとする。すると、任意の

なので、およびのときについて次のように結論づけられる。

したがって、

必要に応じて。

重み付き低ランク近似問題

フロベニウスノルムは近似誤差のすべての要素に均一に重み付けする 。誤差の分布に関する事前知識は、重み付き低ランク近似問題を考慮することで考慮することができる。

ここで、行列 を列方向にベクトル化し、与えられた正(半)定値重み行列です。

一般的な重み付き低ランク近似問題は、特異値分解による解析解を許容せず、グローバルに最適な解が見つかるという保証のないローカル最適化法によって解決されます。

相関のない重みの場合、重み付き低ランク近似問題は次のように定式化することもできます。[4] [5]非負行列と行列に対して、最大でランク の行列、を最小化します

エントリーごとにLp低ランク近似問題

とする。 の場合、最も速いアルゴリズムは時間内に実行される。[6] [7]使用されている重要なアイデアの1つは、Oblivious Subspace Embedding(OSE)と呼ばれ、Sarlosによって最初に提案された。[8]

の場合、このエントリワイズL1ノルムは外れ値が存在する場合のフロベニウスノルムよりもロバストであることが知られており、ノイズに関するガウス仮定が適用できないモデルにおいてその効果が示される。 を最小化しようとするのは自然なことである[9]およびの場合、証明可能な保証を持つアルゴリズムがいくつか存在する。[10] [11]

距離低ランク近似問題

任意の距離空間における2つの点集合をとする。 を とする行列とする。このような距離行列はソフトウェアパッケージで一般的に計算され、画像多様体の学習、手書き文字認識、多次元展開などに応用されている。これらの記述サイズを削減する試みとして、[12] [13]では、このような行列の低ランク近似を研究することができる。

分散/ストリーミング低ランク近似問題

分散およびストリーミング設定における低ランク近似問題は[14]で検討されている。

ランク制約のイメージとカーネル表現

同値性の使用

そして

重み付き低ランク近似問題はパラメータ最適化問題と同等になる

そして

ここで、 はサイズ の単位行列です

交互投影アルゴリズム

ランク制約のイメージ表現は、一方の変数(または)を固定し、もう一方の変数を固定した上で、コスト関数を交互に最小化するパラメータ最適化手法を示唆しています。 と の両方を同時に最小化することは困難な双凸最適化問題ですが一方変数のみを最小化することは線形最小二乗問題であり、大域的かつ効率的に解くことができます。

結果として得られる最適化アルゴリズム(交代射影法と呼ばれる)は、重み付き低ランク近似問題の局所最適解に線形収束率で大域収束します。(または)パラメータの初期値を指定する必要があります。反復は、ユーザー定義の収束条件が満たされた時点で停止します。

重み付き低ランク近似のための交互投影アルゴリズムのMatlab実装:

function [dh, f] = wlra_ap ( d, w, p, tol, maxiter ) [ m , n ] = size ( d ); r = size ( p , 2 ); f = inf ; for i = 2 : maxiter % L 上の最小化bp = kron ( eye ( n ), p ); vl = ( bp ' * w * bp ) \ bp ' * w * d (:); l = reshape ( vl , r , n ); % P 上の最小化bl = kron ( l ' , eye ( m )); vp = ( bl ' * w * bl ) \ bl ' * w * d (:); p = reshape ( vp , m , r ); % 終了条件をチェックdh = p * l ; dd = d - dh ; f ( i ) = dd (:) ' * w * dd (:); abs ( f ( i - 1 ) - f ( i )) < tol の場合break end 、 endfor                                                                                        

変数投影アルゴリズム

交代射影アルゴリズムは、画像形式でパラメータ化された低ランク近似問題が変数またはに関して双線型であるという事実を利用しています。この問題の双線型性は、変数射影と呼ばれる代替アプローチで効果的に利用されています。[15]

像形式でパラメータ化された重み付き低ランク近似問題を再び考えてみましょう。変数に関する最小化(線形最小二乗問題)は、近似誤差の閉じた表現を次の関数として導きます。

したがって、元の問題は、に関して を最小化する非線形最小二乗問題と等価です。この目的のために、標準的な最適化手法、例えばLevenberg-Marquardtアルゴリズムを使用することができます。

重み付き低ランク近似のための変数投影アルゴリズムのMatlab実装:

関数[dh, f] = wlra_varpro ( d, w, p, tol, maxiter ) prob = optimset (); prob . solver = 'lsqnonlin' ; prob . options = optimset ( 'MaxIter' , maxiter , 'TolFun' , tol ); prob . x0 = p ; prob . objective = @( p ) cost_fun ( p , d , w ); [ p , f ] = lsqnonlin ( prob ); [ f , vl ] = cost_fun ( p , d , w ); dh = p * reshape ( vl , size ( p , 2 ), size ( d , 2 ) );                                       関数[f, vl] = cost_fun ( p, d, w ) bp = kron ( eye ( size ( d , 2 )), p ); vl = ( bp ' * w * bp ) \ bp ' * w * d (:); f = d (:) ' * w * ( d (:) - bp * vl );                           

変数投影法は、カーネル形式でパラメータ化された低ランク近似問題にも適用できます。この手法は、非線形最小二乗法による最小化の段階で除去される変数の数が残る最適化変数の数よりもはるかに多い場合に有効です。このような問題は、カーネル形式でパラメータ化されたシステム同定において発生します。この場合、除去される変数は近似軌道であり、残りの変数はモデルパラメータです。線形時不変システムの文脈では、この除去ステップはカルマン平滑化と同等です

変形:凸制限低ランク近似

通常、新しい解は低ランクであるだけでなく、アプリケーションの要件に応じて他の凸制約も満たすことが求められます。ここで関心のある問題は、以下のようになります。

この問題は、不正確な(半正定値計画法)緩和から良好な解を復元することなど、現実世界で多くの応用があります。すべての要素が非負値であることを要求するなど、追加の制約が線形である場合、この問題は構造化低ランク近似と呼ばれます。[16]より一般的な形式は、凸制約低ランク近似と呼ばれます。

この問題は多くの問題を解決するのに役立ちます。しかし、凸制約と非凸制約(低ランク制約)が組み合わさっているため、解くのが困難です。この問題の実現方法に応じて、様々な手法が開発されてきました。しかし、交互方向乗数法(ADMM)は、凸目的関数、ランク制約、その他の凸制約を持つ非凸問題を解くために適用できるため、[17]上記の問題を解決するのに適しています。さらに、一般的な非凸問題とは異なり、ADMMは、双対変数が反復計算で収束する限り、実行可能な解に収束することを保証します。

参照

参考文献

  1. ^ E. シュミット、Zur Theorie der linearen und nichtlinearen Integralgleichungen、Math。アンナレン 63 (1907)、433-476。土井:10.1007/BF01449770
  2. ^ C. Eckart, G. Young, 「ある行列のより低い階数の別の行列による近似」Psychometrika, 第1巻, 1936年, 211–8ページ. doi :10.1007/BF02288367
  3. ^ L. Mirsky, 対称ゲージ関数とユニタリー不変ノルム, QJ Math. 11 (1960), 50-59. doi :10.1093/qmath/11.1.50
  4. ^ ネイサン、スレブロ; Jaakkola、Tommi (2003)。加重低ランク近似(PDF)。 ICML'03。
  5. ^ Razenshteyn, Ilya; Song, Zhao; Woodruff, David P. (2016). 証明可能な保証を伴う重み付き低ランク近似.STOC '16 Proceedings of the forty-eighth annual ACM symposium on Theory of Computing.
  6. ^ Clarkson, Kenneth L.; Woodruff, David P. (2013).入力スパース時間における低ランク近似と回帰. STOC '13 Proceedings of the forty-fifth annual ACM symposium on Theory of Computing. arXiv : 1207.6365 .
  7. ^ Nelson, Jelani; Nguyen, Huy L. (2013). OSNAP: スパース部分空間埋め込みによる数値線形代数アルゴリズムの高速化. FOCS '13. arXiv : 1211.1002 .
  8. ^ Sarlos, Tamas (2006).ランダム射影による大規模行列の近似アルゴリズムの改良. FOCS'06.
  9. ^ Song, Zhao; Woodruff, David P.; Zhong, Peilin (2017).エントリワイズL1ノルム誤差を伴う低ランク近似. STOC '17 Proceedings of the forty-ninth annual ACM symposium on Theory of Computing. arXiv : 1611.00898 .
  10. ^ Bringmann, Karl; Kolev, Pavel; Woodruff, David P. (2017). L0低ランク近似のための近似アルゴリズム. NIPS'17. arXiv : 1710.11253 .
  11. ^ キエリケッティ、フラヴィオ;ゴッラプディ、スリーニバス。クマール、ラヴィ。ラッタンツィ、シルビオ。パニグラヒー、リナ。ウッドラフ、デイビッド P. (2017)。Lp 低ランク近似のアルゴリズム。 ICML'17。arXiv : 1705.06730
  12. ^ Bakshi, Ainesh L.; Woodruff, David P. (2018).距離行列の線形時間以下の低ランク近似. NeurIPS. arXiv : 1809.06986 .
  13. ^ Indyk, Piotr; Vakilian, Ali; Wagner, Tal; Woodruff, David P. (2019).距離行列のサンプル最適低ランク近似. COLT.
  14. ^ Boutsidis, Christos; Woodruff, David P.; Zhong, Peilin (2016).分散モデルとストリーミングモデルにおける最適主成分分析. STOC. arXiv : 1504.06729 .
  15. ^ G. Golub と V. Pereyra、「分離可能非線形最小二乗法: 変数投影法とその応用」、Institute of Physics、Inverse Problems、第 19 巻、2003 年、1-26 ページ。
  16. ^ Chu, Moody T.; Funderlic, Robert E.; Plemmons, Robert J. (2003). 「構造化低ランク近似」.線形代数とその応用. 366 : 157–172 . doi : 10.1016/S0024-3795(02)00505-0 .
  17. ^ 「非凸集合上の凸問題のヒューリスティックな解決のための一般的なシステム」(PDF)
  • MT Chu, RE Funderlic, RJ Plemmons, 構造化低ランク近似, 線形代数とその応用, 第366巻, 2003年6月1日, 157–172ページdoi :10.1016/S0024-3795(02)00505-0
  • 構造化低ランク近似のためのC++パッケージ
Retrieved from "https://en.wikipedia.org/w/index.php?title=Low-rank_approximation&oldid=1321820186"