主成分分析

 点群に対する主成分分析   点群に最もフィットする直線を求める

  3次元空間の点群

主成分解析の典型的な例題、点群の主軸00

の各点からの距離の $2$ 乗の総和を最小にする直線を求める問題は、主成分分析の典型的な問題である。
  この問題は、 モーメント行列と呼ばれる行列の最大固有値に対応する固有ベクトルを求める問題に帰着される。 その固有ベクトルを(第一)主軸と呼ぶ。
  主軸を方向ベクトルとする直線は、原点を通る直線の中で点群に最もフィットする直線である。

最終更新 2015年 12月7日


  解説

  原点 $O$ を通り、任意の単位ベクトル $\mathbf{u}$ の方向を向く直線を $l_{\mathbf{u}}$ とする。点群 $(*)$ のそれぞれの点の位置 $\mathbf{r}_{\alpha}$ $(\alpha=1,2,\cdots,N)$ の $l_{\mathbf{u}}$ 上への射影点の位置を $\mathbf{r}_{\mathbf{u},\alpha}$ とすると、

主成分解析の典型的な例題、点群の主軸01

である(下図参考)。これより点 $\mathbf{r}_{\alpha}$ と 直線 $l_{\mathbf{u}}$ の距離 $d_{\alpha} (\mathbf{u}) $ は、

主成分解析の典型的な例題、点群の主軸02

である。
主成分解析の典型的な例題、点群の主軸の図00

  次に点群 $(*)$ から直線 $l_{\mathbf{u}}$ への距離の二乗の総和 $S(\mathbf{u})$ を考える。 各点からの距離が $(1)$ で表されることから

主成分解析の典型的な例題、点群の主軸03

である。右辺は

主成分解析の典型的な例題、点群の主軸04

と表せる。ここでモーメント行列 $M$ を

主成分解析の典型的な例題、点群の主軸05

と定義すると

主成分解析の典型的な例題、点群の主軸06

である。
  上の式において、右辺の第一項は定数であることから、 $S(\mathbf{u}) $ を最小にする $\mathbf{u}$ を求める問題は、 第二項の $\left(\mathbf{u}, M \mathbf{u} \right)$ を最大にする $\mathbf{u}$ を求める問題に帰着される。
  ところで、モーメント行列 $M$ は、各成分が実数であり、

主成分解析の典型的な例題、点群の主軸07

を満たすので、実対称行列である。 実対称行列は、正規行列の一種であるので、 $M$ は、正規行列である。
  一般に、正規行列の固有ベクトルによって、完全正規直交基底を構成することができるので、 そのように構成した $M$ の固有ベクトルを $\{ \mathbf{v}_{1}, \mathbf{v}_{2}, \mathbf{v}_{3}\}$ と表すと、

主成分解析の典型的な例題、点群の主軸08

が成立する。 ここで $i,j=1,2,3$ である。また、$\lambda_{i}$ は、$M$ の固有値であり、

主成分解析の典型的な例題、点群の主軸09

と大きい順に並んでいるものとする。
  $\{ \mathbf{v}_{1}, \mathbf{v}_{2}, \mathbf{v}_{3}\}$ が完全正規直交系を成すので、 $\mathbf{u}$ は、 $\mathbf{v}_{i}$ によって展開できる。すなわち、

主成分解析の典型的な例題、点群の主軸10

と表せる。 これより
主成分解析の典型的な例題、点群の主軸11

と表されるが、$(3)$ から、 不等式

主成分解析の典型的な例題、点群の主軸12

が成立する。
  ところで $\mathbf{u}$ は単位ベクトルなので $\| \mathbf{u} \|^2 = 1$ である。 このことから、$(2)$ と $(4)$ によって

主成分解析の典型的な例題、点群の主軸13

が成立する。これを $(5)$ に用いると、

主成分解析の典型的な例題、点群の主軸14

を得る。 すなわち、$\left(\mathbf{u}, M \mathbf{u} \right) $ の最大値は、 $M$ の最大固有値 $\lambda_{1}$ である。
  $\left(\mathbf{u}, M \mathbf{u} \right)$ が最大値 $\lambda_{1}$ になるのは、 上の不等式の等号が成立するときであり、

主成分解析の典型的な例題、点群の主軸15

が満たされるときである。 すなわち、$\mathbf{u}$ が $M$ の最大固有値の固有ベクトル $\mathbf{v}_{1}$ に等しいときである。
  以上より、 点群の各点と直線との距離の二乗の総和 $S(\mathbf{u})$ は、 直線の単位方向ベクトルがモーメント行列 $M$ の最大固有値の固有ベクトル $\mathbf{v}_{1}$ に等しいときに最小化される。 この方向を点群の第一主軸と呼ぶ。
  距離の二乗が最小化されることから、$ \mathbf{v}_{1}$ の方向を向く直線は、点群を最もフィットする直線と見なされる。








ページのトップへ戻る