シグモイド関数の大切な性質

最終更新 2018年 4月14日
シグモイド関数の定義
  次の関数
シグモイド関数の定義
シグモイド関数(sigmoid function)という。
シグモイド関数の図
この関数には以下のような性質がある。
単調増加性
  シグモイド関数は単調増加関数である。 すなわち、正の数 $a$ に対して、
シグモイド関数の単調増加性
が成り立つ。

証明
  $a$ が正の数であるとき、
が成り立つ。最後の不等号では、$e^{-a} < 1$ と $e^{-x}>0$ を用いた。 したがって、
である。

$\pm \infty$ における極限
  シグモイド関数の $\pm \infty$ における極限はそれぞれ
である。

証明
  まず
であるので、
である。 これと関数の商の極限により、
である。
  一方で、
であるので、
である。これと関数の商の極限により、
である。

シグモイド関数の対称性
  シグモイド関数は、点 $(0, \frac{1}{2})$ に対して点対称な関数である。 すなわち、
が成り立つ (下図参考)。

証明
  シグモイド関数の定義から
であるが、 一方で、
であるので、
が成り立つ。

シグモイド関数の微分
  シグモイド関数の微分は
である。

証明
  シグモイド関数の定義関数の商の微分により、
が成り立つ。

シグモイド関数の積分
  シグモイド関数の積分は、
である。

証明
 
とする。 $t = e^{-x} + 1$ と置くと、
であるので、置換積分によって、
である。 最後の行で分数の対数関数の性質を用いた。
  この結果は シグモイド関数の定義によって、
と表すこともできる。

シグモイド関数の逆関数
  シグモイド関数を
とするとき、
である。すなわち、シグモイド関数の逆関数は
である。

証明
 
と置くと、 $y>0$ であるので、
と表すことができ、 これより、
であるので、 対数関数の定義から、
と表せる。 ここで $0< y <1$ であることを用いた。

変曲点が $(0, \frac{1}{2})$
  シグモイド関数には唯一つの変曲点 $(0, \frac{1}{2})$ がある。

証明
  シグモイド関数の微分は、
であるので、 商の微分の公式を用いると、 二階の微分は、
であることが分かる。 したがって、
であるので、 $S(x)$ は $x=0$ のときにのみ変曲点を持つ ($S'(x)$ の符号が入れ替わる)。 $S(0) = \frac{1}{2}$ であるので、 $S(x)$ の唯一つの変曲点は $(0, \frac{1}{2})$ である。

双曲線関数との関係
  双曲線関数
シグモイド関数の間には、
の関係がある。

証明
  双曲線関数の定義シグモイド関数の定義により、  
と表されるので、
である。

ステップ関数 (階段関数) との関係
  シグモイド関数を一般化し、$a>0$ に対して、
と定義するとき、 この関数は $a \rightarrow +\infty$ の極限において、 ステップ関数に近づく。
$a=1$ の場合 (赤色)
$a=3$ の場合 (オレンジ色)
$a=8$ の場合 (茶色)
階段関数 (青色)

解説
  $x > 0$ のとき、
であるので、
である。 一方で、 $x < 0$ のとき、
であるので、
である。
  したがって、$S(a, x)$ は、
の極限を持つ関数である。
  この性質と 階段関数の定義
を比べると分かるように、 十分に大きな $a$ に対するシグモイド関数は、 階段関数の良い近似となる。

補足
  シグモイド関数は深層学習システムの中で、 各層から出力される中間データを変換する活性化関数として利用されることがある。