反復比例近似

Estimates values in an N-dimensional matrix

反復比例フィッティング手順（IPFまたはIPFP、統計学や経済学（入力産出分析など）では双比例フィッティングまたは双比例、経済学ではRAS アルゴリズム^{[1] 、調査統計学では}レーキング、コンピュータサイエンスでは行列スケーリングとも呼ばれる）は、初期行列に最も近いが、目的の行列（問題の制約条件を提供する。 の内部は未知）の行と列の合計を持つフィッティング行列を見つける操作である。フィッティング行列は の形式であり、 および は、マージン（行と列の合計）が である対角行列である。双比例を実行するために、いくつかのアルゴリズムを選択できる。また、エントロピー最大化^{[2] [3]}情報損失最小化（またはクロスエントロピー）^[4]またはRAS があり、これは、指定された行の合計と一致するように行列の行を因数分解し、次に指定された列の合計と一致するように列を因数分解することから構成される。各ステップは通常、前のステップの一致を乱すため、これらのステップは循環的に繰り返され、指定されたすべての周辺値の合計が満足のいく近似値になるまで、行と列を順番に再調整します。ただし、すべてのアルゴリズムは同じ解を与えます。^[5] 3次元以上の場合、調整ステップは各次元の周辺値に対して順番に適用され、同様に循環的に繰り返されます。 ${\displaystyle X}$ ${\displaystyle Z}$ ${\displaystyle Y}$ ${\displaystyle Y}$ ${\displaystyle X=PZQ}$ ${\displaystyle P}$ ${\displaystyle Q}$ ${\displaystyle X}$ ${\displaystyle Y}$

歴史

IPFは何度も「再発明」されてきたが、最も古いのは1937年にクルイトホフによって 電話トラフィックに関連して^[6] （「クルイトホフの二重因子法」）、 1940年にデミングとステファンによって国勢調査のクロス集計の調整のために^[7]、そしてブレグマンによって報告されたトラフィックに関してGVシェレイホフスキーによって再発明された。^{[8] （デミングとステファンは}ピアソンのX二乗統計量 を最小化するアルゴリズムとしてIPFPを提案したが、ステファンは後にそれが最小化されないと報告した）。^{[9]一意性と収束性の初期の証明はシンクホーン（1964）、 [10]}バカラック（1965）、^[11]ビショップ（1967）、^[12]およびフィーンバーグ（1970） によってなされた。^[13] IPFPが任意の次元数に対して最大尤度推定値を求めるというビショップの証明は、1959年のブラウンの証明を2x2x2...の場合に拡張したものである。微分幾何学によるフィエンバーグの証明は、この方法の定数積比を、厳密に正の表に対して利用している。Csiszár (1975)。^[14]は、ゼロエントリを持つ一般的な表に必要な十分条件を発見した。PukelsheimとSimeone (2009) ^[15]は、収束と誤差の挙動に関するさらなる結果を示している。

アルゴリズムとその数学的基礎に関する徹底的な説明は、Bishop et al. (1975) の著書に記載されています。^[16] Idel (2016) ^[17]は、より最近の調査を示しています。

ニュートン・ラプソン法やEMアルゴリズムなど、他の一般的なアルゴリズムもIPFPと同じ極限を得るように修正することができます。多くの場合、計算速度、必要な記憶容量の少なさ、数値安定性、代数的な単純さから、IPFPが好まれます。

IPFPの応用範囲は広がり、旅行分布モデル、フラターやファーネス、交通計画（ラモンドとスチュワート）におけるその他の応用、調査の重み付け、分類された人口動態データの統合、経済学における投入産出モデルの調整、期待される準独立分割表の推定、政治的代表の二比例配分システム、線形代数の前処理などにまで広がっています。^[18]

双比例

双比例法は、解くのに使用するアルゴリズムに関係なく、次の概念です。、行列、行列は、次元 の既知の非負実行列です。 の内部は未知であり、 と同じマージンを持つように、つまり、および(は和ベクトル) であり、 がに近くなるように検索されます。指定された基準に従うと、近似行列は の形式になります。ここで、およびは対角行列です。 ${\displaystyle Z}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle n,m}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Xs=Ys}$ ${\displaystyle s'X=s'Y}$ ${\displaystyle s}$ ${\displaystyle X}$ ${\displaystyle Z}$ ${\displaystyle X=K(Z,Y)=PZQ}$ ${\displaystyle P}$ ${\displaystyle Q}$

${\displaystyle min\sum _{i}\sum _{j}x_{ij}\log(x_{ij}/z_{ij})}$st 、 ∀および、 ∀ 。ラグランジアンは です。 ${\displaystyle \sum _{j}x_{ij}=y_{i.}}$ ${\displaystyle i}$ ${\displaystyle \sum _{i}x_{ij}=y_{.j}}$ ${\displaystyle j}$ ${\displaystyle L=\sum _{i}\sum _{j}x_{ij}\log(x_{ij}/z_{ij})-\sum _{i}p_{i}(y_{i.}-\sum _{j}x_{ij})-\sum _{j}q_{j}(y_{.j}-\sum _{i}x_{ij})}$

したがって、 ∀ については、 ${\displaystyle x_{ij}=z_{ij}\exp -(1+p_{i}+q_{j})}$ ${\displaystyle i,j}$

とを仮定すると、 ${\displaystyle P_{i}=\exp -(1+p_{i})}$ ${\displaystyle Q_{j}=\exp -q_{j}}$

${\displaystyle x_{ij}=P_{i}z_{ij}Q_{j}}$、 ∀ 、すなわち、、 ${\displaystyle i,j}$ ${\displaystyle X=PZQ}$

、、 、、。そして、反復的に解くことができるシステムを形成します。 ${\displaystyle P_{i}=y_{i.}(\sum _{j}z_{ij}Q_{j})^{-1}}$ ${\displaystyle i}$ ${\displaystyle Q_{j}=y_{.j}(\sum _{i}z_{ij}P_{i})^{-1}}$ ${\displaystyle j}$ ${\displaystyle P_{i}}$ ${\displaystyle Q_{j}}$

${\displaystyle P_{i}^{(t+1)}=y_{i.}(\sum _{j}z_{ij}Q_{j}^{(t)})^{-1}}$、 ∀と、 ∀ 。 ${\displaystyle i}$ ${\displaystyle Q_{j}^{(t+1)}=y_{.j}(\sum _{i}z_{ij}P_{i}^{(t+1)})^{-1}}$ ${\displaystyle j}$

解は、選択された初期化に依存しません（つまり、、 ∀または、 、 ∀で開始できます）。 行列が「分解不可能」な場合、このプロセスは、関数がコンパクト セット上で定義された凸かつ連続的に導出可能な関数であるプログラムから演繹されるため、一意の固定点を持ちます。 場合によっては、解が存在しないことがあります。Miller と Blair が引用した de Mesnard の例を参照してください（Miller RE & Blair PD (2009) Input-output analysis: Foundations and Extensions、第 2 版、Cambridge（英国）：Cambridge University Press、p. 335-336（無料で入手可能））。 ${\displaystyle X}$ ${\displaystyle q_{j}^{(0)}=1}$ ${\displaystyle j}$ ${\displaystyle p_{i}^{(0)}=1}$ ${\displaystyle i}$ ${\displaystyle Z}$

いくつかの特性 (de Mesnard (1994) を参照):

情報不足: が情報を持たない場合、つまり、、 کの場合、 となります。 ${\displaystyle Z}$ ${\displaystyle z_{ij}=z}$ ${\displaystyle i,j}$ ${\displaystyle X=PQ}$

べき等性:が と同じマージンを持つ場合。 ${\displaystyle X=K(Z,Y)=Z}$ ${\displaystyle Y}$ ${\displaystyle Z}$

二比率の構成: ; . ${\displaystyle K(K(Z,Y_{1}),Y_{2}=K(Z,Y_{2})}$ ${\displaystyle K(...K(Z,Y_{1}),Y_{2})...Z_{N})=K(Z,Y_{N})}$

零点： の零点はの零点として投影されます。したがって、ブロック対角行列はブロック対角行列として投影され、三角行列は三角行列として投影されます。 ${\displaystyle Z}$ ${\displaystyle X}$

分離可能な修正の定理:が対角行列で前乗算され、および/または対角行列で後乗算される場合、解は変更されません。 ${\displaystyle Z}$

「単一性」定理：が任意の未指定アルゴリズムであり、と が未知である場合、と は常にとの標準形に変換できます。このデモンストレーションでは、上記のいくつかの特性、特に分離可能な修正の定理と双比例の合成について言及しています。 ${\displaystyle K^{q}}$ ${\displaystyle {\hat {X}}=K^{q}(Z,Y)=UZV}$ ${\displaystyle U}$ ${\displaystyle V}$ ${\displaystyle U}$ ${\displaystyle V}$ ${\displaystyle P}$ ${\displaystyle Q}$

アルゴリズム1（古典的なIPF）

2元配置の( I × J )表が与えられた場合、周辺値がおよびを満たすようなすべてのiとjの新しい表を推定します。 ${\displaystyle x_{ij}}$ ${\displaystyle {\hat {m}}_{ij}=a_{i}b_{j}x_{ij}}$ ${\displaystyle \sum _{j}{\hat {m}}_{ij}\ =u_{i},}$ ${\displaystyle \sum _{i}{\hat {m}}_{ij}\ =v_{j}}$

初期値を選択し、設定 する ${\displaystyle {\hat {m}}_{ij}^{(0)}:=x_{ij}}$ ${\displaystyle \eta \geq 1}$

${\displaystyle {\hat {m}}_{ij}^{(2\eta -1)}={\frac {{\hat {m}}_{ij}^{(2\eta -2)}u_{i}}{\sum _{k=1}^{J}{\hat {m}}_{ik}^{(2\eta -2)}}}}$

${\displaystyle {\hat {m}}_{ij}^{(2\eta )}={\frac {{\hat {m}}_{ij}^{(2\eta -1)}v_{j}}{\sum _{k=1}^{I}{\hat {m}}_{kj}^{(2\eta -1)}}}.}$

行と列の合計が u と v に十分近くなるまで、これらの手順を繰り返します。

注：

• アルゴリズムのRAS形式について、対角化演算子を定義します。これは、入力ベクトルが主対角線上にあり、それ以外の場所では0である（対角）行列を生成します。次に、各行調整について、とします。ここから となります。同様に、各列調整について、とします。ここから となります。必要な演算のみを減らすと、RASが従来のIPFと同じ動作をすることが容易にわかります。実際には、R行列とS行列全体を使って実際の行列乗算を実装することはありません。RAS形式は、計算上の利便性というよりも、表記上の利便性です ${\displaystyle diag:\mathbb {R} ^{k}\longrightarrow \mathbb {R} ^{k\times k}}$ ${\displaystyle R^{\eta }=diag({\frac {u_{i}}{\sum _{j}m_{ij}^{(2\eta -2)}}})}$ ${\displaystyle M^{2\eta -1}=R^{\eta }M^{2\eta -2}}$ ${\displaystyle S^{\eta }=diag({\frac {v_{i}}{\sum _{i}m_{ij}^{(2\eta -1)}}})}$ ${\displaystyle M^{2\eta }=M^{2\eta -1}S^{\eta }}$

アルゴリズム2（因子推定）

古典的なIPFPと同じ設定を仮定する。あるいは、行因子と列因子を別々に推定することもできる。初期値、および をそれぞれ設定する。 ${\displaystyle {\hat {b}}_{j}^{(0)}:=1}$ ${\displaystyle \eta \geq 1}$

${\displaystyle {\hat {a}}_{i}^{(\eta )}={\frac {u_{i}}{\sum _{j}\ x_{ij}{\hat {b}}_{j}^{(\eta -1)}}},}$

${\displaystyle {\hat {b}}_{j}^{(\eta )}={\frac {v_{j}}{\sum _{i}\ x_{ij}{\hat {a}}_{i}^{(\eta )}}}}$

a と b の連続的な変化が十分に無視できるまで（結果の行と列の合計が u と v に近くなることを示すまで）、これらの手順を繰り返します。

最後に、結果のマトリックスは次のようになります。 ${\displaystyle {\hat {m}}_{ij}={\hat {a}}_{i}^{(\eta )}{\hat {b}}_{j}^{(\eta )}x_{ij}}$

注記：

• 形式的帰納法からわかるように、アルゴリズムの2つの変種は数学的に同等です。因子推定では、各サイクルの を実際に計算する必要はありません ${\displaystyle {\hat {m}}_{ij}^{(\eta )}}$
• この因数分解は、すべての に対してとなるため、一意ではありません。 ${\displaystyle m_{ij}=a_{i}b_{j}x_{ij}=(\gamma a_{i})({\frac {1}{\gamma }}b_{j})x_{ij}}$ ${\displaystyle \gamma >0}$

議論

MとXの間に漠然と求められている「類似性」は、次のように説明できます。IPFP（およびRAS）は、外積比を維持します。つまり、

${\displaystyle {\frac {m_{ij}^{(\eta )}m_{hk}^{(\eta )}}{m_{ik}^{(\eta )}m_{hj}^{(\eta )}}}={\frac {x_{ij}x_{hk}}{x_{ik}x_{hj}}}\ \forall \ \eta \geq 0{\text{ and }}i\neq h,\quad j\neq k}$

なぜなら ${\displaystyle m_{ij}^{(\eta )}=a_{i}^{(\eta )}b_{j}^{(\eta )}x_{ij}.}$

この性質は構造保存と呼ばれることもあり、分割表の幾何学的解釈と、Fienberg（1970）の画期的な論文における収束の証明に直接つながります

直接因子推定（アルゴリズム2）は、一般的にIPFを解くためのより効率的な方法です。従来のIPFPの形式は、

${\displaystyle IJ(2+J)+IJ(2+I)=I^{2}J+IJ^{2}+4IJ\,}$

各反復ステップ（行と列のフィッティングステップを含む）における基本操作により、因子推定は

${\displaystyle I(1+J)+J(1+I)=2IJ+I+J\,}$

従来の IPFP よりも少なくとも 1 桁高速な操作を実現します。

IPFPは、含まれるセルについては、および除外されるセルについては、期待される準独立（不完全）分割表を推定するために使用できます。完全に独立（完全）な分割表の場合、IPFPによる推定は1サイクルで完了します。 ${\displaystyle u_{i}=x_{i+},v_{j}=x_{+j}}$ ${\displaystyle m_{ij}^{0}=1}$ ${\displaystyle m_{ij}^{0}=0}$

NM法との比較

NM法は、IPFと同様に、行の合計と列の合計がターゲット行列のそれらと同じである 行列( )に「最も近い」 行列を見つける操作です。 ${\displaystyle X}$ ${\displaystyle Z}$ ${\displaystyle Z\in \mathbb {N} ^{n\times m}}$ ${\displaystyle Y}$ ${\displaystyle (Y\in \mathbb {N} ^{n\times m})}$

しかし、 NM法とIPFには違いがあります。例えば、NM法では、同じサイズの行列の近似度をIPFとは異なる方法で定義します。^[19]また、NM法は、行列が行列の行合計と列合計によって特徴付けられる母集団からのサンプルではなく、別の母集団を表す問題における行列を解くために開発されました。^[19]対照的に、 IPFが最大尤度推定量として適用される問題では、行列はこの母集団からのサンプルです。 ${\displaystyle X}$ ${\displaystyle {\boldsymbol {Z}}}$ ${\displaystyle Y}$ ${\displaystyle {\boldsymbol {Z}}}$

マクドナルド（2023）^{[20]は、IPFはサンプリング補正課題には適しているが、反事実生成には適していないというナゾディ（2023） [21]} の結論に安住している 。ナゾディと同様に、マクドナルドもIPFの行と列の比例変換が、社会移動を研究するための分割表における連関構造を維持するかどうかに疑問を呈している。

MLEの存在と一意性

MLEの存在と一意性に対する必要十分条件は一般的な場合には複雑である（^[22]を参照）が、2次元テーブルの場合の十分条件は単純である。

• 観測された表の周辺分布はゼロではない（つまり、）かつ ${\displaystyle x_{i+}>0,\ x_{+j}>0}$
• 観測されたテーブルは分離不可能である（つまり、テーブルはブロック対角線の形状に並べ替えられない）。

唯一のMLEが存在する場合、IPFPは最悪の場合でも線形収束を示す（Fienberg 1970）が、指数収束も観測されている（Pukelsheim and Simeone 2009）。直接推定量（つまり、 の閉じた形）が存在する場合、IPFPは2回の反復処理で収束する。唯一のMLEが存在しない場合、IPFPは設計上、いわゆる拡張MLEに収束する（Haberman 1974）が、収束は任意に遅くなる可能性があり、多くの場合、計算上実行不可能となる。 ${\displaystyle ({\hat {m}}_{ij})}$

すべての観測値が厳密に正である場合、MLE の存在と一意性、したがって収束が保証されます。

例

行と列の合計と目標値が示された次の表を考えてみましょう

	1	2	3	4	合計	ターゲット
1	40	30	20	10	100	150
2	35	50	100	75	260	300
3	30	80	70	120	300	400
4	20	30	40	50	140	150
合計	125	190	230	255	800
ターゲット	200	300	400	100		1000

古典的なIPFPを実行するには、まず行を調整します

	1	2	3	4	合計	ターゲット
1	60.00	45.00	30.00	15.00	150.00	150
2	40.38	57.69	115.38	86.54	300.00	300
3	40.00	106.67	93.33	160.00	400.00	400
4	21.43	32.14	42.86	53.57	150.00	150
合計	161.81	241.50	281.58	315.11	1000.00
ターゲット	200	300	400	100		1000

最初のステップでは行の合計は完全に一致しましたが、列の合計は一致しませんでした。次に、列を調整します

	1	2	3	4	合計	ターゲット
1	74.16	55.90	42.62	4.76	177.44	150
2	49.92	71.67	163.91	27.46	312.96	300
3	49.44	132.50	132.59	50.78	365.31	400
4	26.49	39.93	60.88	17.00	144.30	150
合計	200.00	300.00	400.00	100.00	1000.00
ターゲット	200	300	400	100		1000

列の合計は目標値と完全に一致しましたが、行の合計は目標値と一致しなくなりました。行調整と列調整をそれぞれ3サイクルずつ実行した結果、より近い近似値が得られました。

	1	2	3	4	合計	ターゲット
1	64.61	46.28	35.42	3.83	150.13	150
2	49.95	68.15	156.49	25.37	299.96	300
3	56.70	144.40	145.06	53.76	399.92	400
4	28.74	41.18	63.03	17.03	149.99	150
合計	200.00	300.00	400.00	100.00	1000.00
ターゲット	200	300	400	100		1000

実装

Rパッケージmipfp（現在バージョン3.2）は、従来の反復比例フィッティング手順の多次元実装を提供します。^[23]このパッケージでは、与えられた目標周辺分布（これも多次元である可能性があります）に関してN次元配列を更新できます

Pythonには同等のパッケージipfn ^{[24] [25]}があり、 pip経由でインストールできます。このパッケージはnumpyとpandasの入力オブジェクトをサポートしています。

参照

• データクレンジング
• データ編集
• NM法
• 定量的および定性的な研究データを強化するための三角測量（社会科学） 。

参考文献

1. Bacharach, M. (1965). 「周辺データからの非負値行列の推定」. International Economic Review . 6 (3). Blackwell Publishing: 294–310 . doi :10.2307/2525582. JSTOR  2525582
2. Jaynes ET (1957) 情報理論と統計力学、Physical Review、106: 620-30。
3. Wilson AG (1970) 都市・地域モデリングにおけるエントロピー. ロンドン: Pion LTD. 空間・環境システム分析のモノグラフ.
4. Kullback S. & Leibler RA (1951) 情報と十分性について、Annals of Mathematics and Statistics、22 (1951) 79-86。
5. de Mesnard, L. (1994). 「双比例の単一性」. SIAM Journal on Matrix Analysis and Applications . 15 (2): 490– 495. doi :10.1137/S0895479891222507.https://www.researchgate.net/publication/243095013_Unicity_of_Biproportion
6. 月). 「電話トラフィックの計算」. De Ingenieur . 52 (8): E15- E25
7. デミング, WE ; ステファン, FF (1940). 「期待周辺合計が既知の場合の標本頻度表の最小二乗法による調整について」. Annals of Mathematical Statistics . 11 (4): 427– 444. doi : 10.1214/aoms/1177731829 . MR  0003527.
8. Lamond, B.およびStewart, NF (1981)「ブレグマンのバランス法」Transportation Research 15B, 239-248.
9. Stephan, FF (1942). 「期待マージンが既知の場合の頻度表の反復調整法」Annals of Mathematical Statistics . 13 (2): 166– 178. doi : 10.1214/aoms/1177731604 . MR  0006674. Zbl  0060.31505.
10. シンクホーン、リチャード (1964). 「任意の正値行列と二重確率行列の関係」 Annals of Mathematical Statistics 35.2, pp. 876–879.
11. バカラック、マイケル (1965). 「周辺データからの非負値行列の推定」 International Economic Review 6.3, pp. 294–310.
12. Bishop, YMM (1967). 「多次元分割表：セル推定」. ハーバード大学博士論文.
13. Fienberg, SE (1970). 「分割表における推定のための反復手順」Annals of Mathematical Statistics . 41 (3): 907– 917. doi : 10.1214/aoms/1177696968 . JSTOR  2239244. MR  0266394. Zbl  0198.23401.
14. Csiszár, I. (1975). 「確率分布のI-ダイバージェンスと最小化問題」Annals of Probability . 3 (1): 146– 158. doi : 10.1214/aop/1176996454 . JSTOR  2959270. MR  0365798. Zbl  0318.60013.
15. 「反復比例フィッティング手順について：累積点の構造とL1誤差分析」Pukelsheim, F. および Simeone, B. 2009年6月28日閲覧。
16. ビショップ, YMM ;フィンバーグ, SE ; ホランド, PW (1975). 離散多変量解析：理論と実践. MIT プレス. ISBN 978-0-262-02113-5 MR  0381130
17. Martin Idel (2016) 行列スケーリングと行列および正値写像に対するシンクホーンの正規形のレビュー arXiv プレプリント https://arxiv.org/pdf/1609.06349.pdf
18. Bradley, AM (2010) 行列の平衡化アルゴリズムとメモリ制限付き準ニュートン法への応用。スタンフォード大学計算数理工学研究所博士論文、2010年
19. Naszodi, A.; Mendonca, F. (2021). 「結婚パターンの形成における婚姻選好の役割を特定するための新たな手法」Journal of Demographic Economics . 1 (1): 1– 27. doi : 10.1017/dem.2021.1 .
20. Macdonald, K. (2023). 「モビリティ表の限界調整の再考」OSF : 1–19 .
21. Naszodi, A. (2023). 「反復比例フィッティングアルゴリズムとNM法：2つの異なる問題に対する解法」arXiv : 2303.05515 [econ.GN].
22. ハーバーマン, SJ (1974). 『頻度データの分析』シカゴ大学出版局. ISBN 978-0-226-31184-5。
23. バルテルミー、ヨハン、スエッセ、トーマス。「mipfp：多次元反復比例フィッティング」。CRAN 。2015年2月23日閲覧
24. "ipfn: pip".
25. "ipfn: github". GitHub .

Retrieved from "https://en.wikipedia.org/w/index.php?title=Iterative_proportional_fitting&oldid=1321668062"