残差（数値解析）

結果のおおよその誤差を見つけるために使用される分析ツール

大まかに言えば、残差とは結果の誤差のことである。 ^[1]正確には、xが

${\displaystyle f(x)=b.}$

xの近似値x ₀が与えられると、残差は

${\displaystyle b-f(x_{0})}$

つまり、 f ( x ₀ )を引いた後の「右辺の残り」です（したがって、「残差」という名前は、残りを意味します）。一方、誤差は

${\displaystyle x-x_{0}}$

xの正確な値がわからない場合、残差は計算できますが、誤差は計算できません。

関数の近似値の残差

微分方程式、積分方程式、関数方程式を扱う際にも同様の用語が用いられる。方程式の解の近似については ${\displaystyle f_{\text{a}}}$ ${\displaystyle f}$

${\displaystyle T(f)(x)=g(x)\,,}$

残差は関数

${\displaystyle ~g(x)~-~T(f_{\text{a}})(x)}$、

あるいはこの差のノルムの最大値と言える

${\displaystyle \max _{x\in {\mathcal {X}}}|g(x)-T(f_{\text{a}})(x)|}$

領域 上では関数は解 を近似すると予想される。 ${\displaystyle {\mathcal {X}}}$ ${\displaystyle f_{\text{a}}}$ ${\displaystyle f}$

あるいは、差の関数の積分、例えば次のようになります。

${\displaystyle \int _{\mathcal {X}}|g(x)-T(f_{\text{a}})(x)|^{2}~\mathrm {d} x.}$

多くの場合、残差が小さいということは近似値が解に近いことを意味します。つまり、

${\displaystyle \left|{\frac {f_{\text{a}}(x)-f(x)}{f(x)}}\right|\ll 1.}$

このような場合、初期方程式は適切であると見なされ、残差は近似値と厳密解の偏差の尺度として考えることができます。

残差の利用

正確な解が分からない場合は、残差が小さい近似値を探すことができます。

残差は数学の多くの分野に現れ、例えば一般化最小残差法のような反復解法もその一つです。一般化最小残差法は、残差を系統的に最小化することで方程式の解を求めます。物理学に基づくニューラルネットワークでは、偏微分方程式の残差からなる損失関数に、追加の項が含まれます。

参考文献

1. シューチャック、ジョナサン・リチャード (1994). 「苦痛を伴わない共役勾配法入門」(PDF) . p. 6.

「https://en.wikipedia.org/w/index.php?title=Residual_(numerical_analysis)&oldid=1316105926」より取得