ランプ機能

Piecewise function that clamps its input to be non-negative

ランプ関数のグラフ

ランプ関数は、グラフがランプのような形状を持つ単項 実関数です。様々な定義で表現できます。例えば、「負の入力に対しては0、非負の入力に対しては出力が入力と等しい」などです。「ランプ」という用語は、スケーリングとシフトによって得られる他の関数にも使用されます。この記事で扱う関数は、単位ランプ関数（傾き1、0から始まる）です。

数学では、ランプ関数は正の部分とも呼ばれます。

機械学習においては、ReLU 活性化関数^{[1] [2]}、あるいは電気工学における半波整流に類似した整流器としてよく知られています。統計学においては（尤度関数として用いられる場合） 、トービットモデルとして知られています。

この関数は数学や工学において様々な用途があり、文脈に応じて様々な名前で呼ばれます。ランプ関数には微分可能な変種も存在します。

定義

ランプ関数（R ( x )：R → R0 _{+ ）}^は、いくつかの方法で解析的に定義できます。可能な定義は次のとおりです

• 区分関数: $${\displaystyle R(x):={\begin{cases}x,&x\geq 0;\\0,&x<0\end{cases}}}$$
• アイバーソン括弧記法を使うと：または $${\displaystyle R(x):=x\cdot [x\geq 0]}$$ $${\displaystyle R(x):=x\cdot [x>0]}$$
• max関数: $${\displaystyle R(x):=\max(x,0)}$$
• 独立変数の平均とその絶対値（勾配が1の直線とその係数）：これは、 max( a , b )の次の定義に注目することで導き出すことができます。ここで、a = x、b = 0です。 $${\displaystyle R(x):={\frac {x+|x|}{2}}}$$ $${\displaystyle \max(a,b)={\frac {a+b+|a-b|}{2}}}$$
• ヘヴィサイドのステップ関数に勾配1の直線を掛けたもの： $${\displaystyle R\left(x\right):=xH(x)}$$
• ヘヴィサイドステップ関数とそれ自身との畳み込み： $${\displaystyle R\left(x\right):=H(x)*H(x)}$$
• ヘヴィサイドステップ関数の積分: ^[3] $${\displaystyle R(x):=\int _{-\infty }^{x}H(\xi )\,d\xi }$$
• マコーレー括弧： $${\displaystyle R(x):=\langle x\rangle }$$
• 恒等関数の正の部分: $${\displaystyle R:=\operatorname {id} ^{+}}$$
• 制限関数として: $${\displaystyle R\left(x\right):=\lim _{a\to \infty }{\begin{cases}{\frac {1}{a}},\quad x=0\\{\dfrac {x}{1-e^{-ax}}},\quad x\neq 0\end{cases}}}$$

増加する正の値を選択することで、希望どおりに近似することができます。 ${\displaystyle a>0}$

応用

ランプ関数は、デジタル信号処理の理論など、工学において数多くの応用があります

コールオプション購入によるペイオフと利益

金融において、コールオプションのペイオフはランプ（権利行使価格によってシフトする）です。ランプを水平に反転させるとプットオプションとなり、垂直に反転させる（マイナスを取る）とオプションの売り、つまり「ショート」になります。金融の世界では、その形状がアイスホッケースティックに似ていることから、 「ホッケースティック」と呼ばれることがよくあります。

x=3.1のノットを持つヒンジ関数の鏡像ペア

統計学では、多変量適応型回帰スプライン(MARS)のヒンジ関数はランプであり、回帰モデルの構築に使用されます。

解析的性質

非負性

関数は領域全体で非負なので、その絶対値はそれ自身、すなわち $${\displaystyle \forall x\in \mathbb {R} :R(x)\geq 0}$$ $${\displaystyle \left|R(x)\right|=R(x)}$$

証明

定義2によれば、最初の4分の1では非負であり、2番目の4分の1ではゼロです。したがって、どこでも非負です

微分

その微分はヘビサイドの階段関数です $${\displaystyle R'(x)=H(x)\quad {\mbox{for }}x\neq 0.}$$

二階微分

ランプ関数は次の微分方程式を満たします。ここで、 δ ( x )はディラックのデルタです。これは、 R ( x )が二階微分演算子のグリーン関数であることを意味します。したがって、積分可能な二階微分f ″( x )を持つ任意の関数f ( x )は、次の方程式を満たします $${\displaystyle {\frac {d^{2}}{dx^{2}}}R(x-x_{0})=\delta (x-x_{0}),}$$ $${\displaystyle f(x)=f(a)+(x-a)f'(a)+\int _{a}^{b}R(x-s)f''(s)\,ds\quad {\mbox{for }}a<x<b.}$$

フーリエ変換

$${\displaystyle {\mathcal {F}}{\big \{}R(x){\big \}}(f)=\int _{-\infty }^{\infty }R(x)e^{-2\pi ifx}\,dx={\frac {i\delta '(f)}{4\pi }}-{\frac {1}{4\pi ^{2}f^{2}}},}$$ここでδ ( x )はディラックのデルタです（この式ではその導関数が現れます）。

ラプラス変換

R ( x )の片側ラプラス変換は次のように与えられる。^[4] $${\displaystyle {\mathcal {L}}{\big \{}R(x){\big \}}(s)=\int _{0}^{\infty }e^{-sx}R(x)dx={\frac {1}{s^{2}}}.}$$

代数的性質

反復不変性

ランプ写像のすべての反復関数は、それ自体が $${\displaystyle R{\big (}R(x){\big )}=R(x).}$$

証明

$${\displaystyle R{\big (}R(x){\big )}:={\frac {R(x)+|R(x)|}{2}}={\frac {R(x)+R(x)}{2}}=R(x).}$$これは非負性の特性を適用します。

参照

• トービットモデル
• 整流器（ニューラルネットワーク）

参考文献

1. Brownlee, Jason (2019年1月8日). 「Rectified Linear Unit (ReLU) への優しい入門」.機械学習マスタリー. 2021年4月8日閲覧。
2. Liu, Danqing (2017年11月30日). 「ReLU実践ガイド」. Medium . 2021年4月8日閲覧。
3. Weisstein, Eric W.「ランプ関数」. MathWorld .
4. 「関数のラプラス変換」lpsa.swarthmore.edu . 2019年4月5日閲覧。

Retrieved from "https://en.wikipedia.org/w/index.php?title=Ramp_function&oldid=1315826510"