シグモイド性質と公式
| 目次 | |
|---|---|
| - | 定義: $S(x)$ |
| - | 単調増加性: $S(x+a) > S(x)$ |
| - | $\pm \infty$ における極限 |
| - | 対称性 |
| - | 微分: $S'(x)$ |
| - | 積分: $\int S(x) \mathrm{d}x $ |
| - | 逆関数: $S^{-1}(x)$ |
| - | 変曲点が $(0, \frac{1}{2})$ |
| - | 双曲線関数との関係 |
| - | ステップ関数との関係 |
| - | 補足: |
シグモイド関数の定義
次の関数
単調増加性
シグモイド関数は単調増加関数である。
すなわち、正の数 $a$ に対して、
証明
$a$ が正の数であるとき、
が成り立つ。最後の不等号では、$e^{-a} \lt 1$ と $e^{-x}>0$ を用いた。
したがって、
である。
$a$ が正の数であるとき、
$\pm \infty$ における極限
シグモイド関数の $\pm \infty$ における極限はそれぞれ
シグモイド関数の対称性
シグモイド関数は、点 $(0, \frac{1}{2})$ に対して点対称な関数である。
すなわち、
シグモイド関数の微分
シグモイド関数の微分は
シグモイド関数の積分
シグモイド関数の積分は、
証明
とする。
$t = e^{-x} + 1$ と置くと、
であるので、置換積分によって、
である。
最後の行で分数の対数関数の性質を用いた。
この結果は シグモイド関数の定義によって、
と表すこともできる。
この結果は シグモイド関数の定義によって、
シグモイド関数の逆関数
シグモイド関数を
変曲点が $(0, \frac{1}{2})$
シグモイド関数には唯一つの変曲点 $(0, \frac{1}{2})$ がある。
証明
シグモイド関数の微分は、
であるので、
商の微分の公式を用いると、
二階の微分は、
であることが分かる。
したがって、
であるので、
$S(x)$ は $x=0$ のときにのみ変曲点を持つ ($S'(x)$ の符号が入れ替わる)。
$S(0) = \frac{1}{2}$ であるので、
$S(x)$ の唯一つの変曲点は $(0, \frac{1}{2})$ である。
シグモイド関数の微分は、
双曲線関数との関係
双曲線関数
ステップ関数 (階段関数) との関係
シグモイド関数を一般化し、$a>0$ に対して、
$a=1$ の場合 (赤色)
$a=3$ の場合 (オレンジ色)
$a=8$ の場合 (茶色)
階段関数 (青色)
$a=3$ の場合 (オレンジ色)
$a=8$ の場合 (茶色)
階段関数 (青色)
解説
$x > 0$ のとき、
であるので、
である。
一方で、
$x \lt 0$ のとき、
であるので、
である。
したがって、$S(a, x)$ は、
の極限を持つ関数である。
この性質と 階段関数の定義
を比べると分かるように、
十分に大きな $a$ に対するシグモイド関数は、
階段関数の良い近似となる。
$x > 0$ のとき、
したがって、$S(a, x)$ は、
この性質と 階段関数の定義
補足
シグモイド関数は深層学習システムの中で、 各層から出力される中間データを変換する活性化関数として利用されることがある。
シグモイド関数は深層学習システムの中で、 各層から出力される中間データを変換する活性化関数として利用されることがある。