射影行列の性質/公式
定義
正方行列 $P$ が
を満たすとき、
$P$ を実ベクトル空間上の
射影行列という。
ここで $P^{T}$ は $P$ の
転置行列である。
複素ベクトル空間
複素ベクトル空間を扱う場合には、
\begin{eqnarray}
P^{2} &=& P
\\
P^{\dagger} &=& P
\end{eqnarray}
と定義される。
ここで $P^{\dagger}$ は $P$ の
随伴行列である。
二つ目の条件は、$P$ が
エルミート行列であることを表している。
具体例:
次の行列
は射影行列である。
証明
実際に計算してみると、
が成り立つので、
$P$ は射影行列である。
$P \mathbf{x}$ は部分空間を成す
任意のベクトル $\mathbf{x}$ に射影行列 $P$ を作用した $P \mathbf{x}$ の全体は、
部分空間を成す。
証明
射影行列 $P$ の作用するベクトル空間を $V$ とし、
$V$ の全ての元に $P$ を作用して得られる集合を $M$ とする。
すなわち、
$$
\tag{1}
$$
とする。
$M$ の任意の二つの元を $\mathbf{y}_{1}, \mathbf{y}_{2}$ とし、
これらの写像元となっているベクトルを $\mathbf{x}_{1}, \mathbf{x}_{2}$ とする。
すなわち、
とする。
このとき、
であり、
$
\mathbf{x}_{1} + \mathbf{x}_{2} \in V
$
であるので、
$(1)$ から、
$$
\tag{2}
$$
である。
同じように、
$M$ の任意の元を $\mathbf{y}$ とし、
写像元となっているベクトルを $\mathbf{x}$ とする。
すなわち、
とすると、
任意の複素数 $\alpha$ に対して、
が成立する。
$\alpha \mathbf{x} \in V$ であるので、
$(1)$ から、
$$
\tag{3}
$$
である。
以上の $(2)$ と $(3)$ から、$M$ はベクトル空間 $V$ の部分空間を成す。
簡単な例
基本ベクトル
のうち、
$\{\mathbf{e}_{1}, \mathbf{e}_{2} \}$ は、
3次元ベクトル空間の
部分空間を構成する
正規直交基底である。
これらによって行列 $P$ を
と定義すると、
上の議論から、
$P$ は射影行列である。
具体的に表すと、
である。
この行列を任意のベクトル
に作用すると、
となり、
部分空間の成分だけが抽出される(下図)。
$1-P$ も射影行列
$P$ が射影行列のとき、
$1-P$ も射影行列である。
また、任意のベクトル $\mathbf{x}$ に $P$ を掛けたものと、
$1-P$ を掛けたものは
直交する。
すなわち、
が成り立つ。
証明
$1-P$ も射影行列
射影行列の
定義から、
が成り立つ。
したがって、
$1-P$ もまた射影行列である。
直交性
任意のベクトル $\mathbf{x}$ に対して、
射影行列の定義と
内積と転置行列の関係によって、
が成り立つ。
したがって、
$P\mathbf{x}$ と $(1-P)\mathbf{x}$ は直交する。
行列式
射影行列の
行列式は $0,1$ である。
すなわち、
である。また $|P|=1$ の場合、
$P$ は単位行列である。
証明
射影行列の定義と
積の行列式の性質を用いると、
が成り立つ。
書き換えると、
と表せることから分かるように、
である。
$|P| = 1$ の場合
$P$ は
実対称行列であるので、対角化できる。
すなわち、
を満たす
対角行列
$\Lambda$ と
直交行列 $R$ が存在する。
これと
直交行列の行列式と
転置行列の行列式の性質を用いると、
を得る。また
$\Lambda$ は対角行列であるので、
行列式が対角成分の積である。
すなわち、
と表せる。ここで $\lambda_{i}$ は $\Lambda$ の対角成分である。
これらより、
$$
\tag{1}
$$
が成り立つ。
一方、
一般に
対角化された行列の対角成分はもとの行列の固有値であり、
行列 $P$ の固有値は $0$ または $1$ である。
したがって、
$\Lambda$ の対角成分が
であることが分かるが、
これらの中に
$\lambda_{i}=0$ が一つでもあると、
$(1)$ が成り立たない。
したがって、
である。
このことは
$\Lambda$ が
単位行列であることを表している。
すなわち、
である。
これより、
である。
すなわち、$P$ は単位行列である。
固有値
射影行列の固有値 $\lambda$ は、
である。
証明
$P$ の固有値を $\lambda$、
$\mathbf{x}_{\lambda}$ を固有値 $\lambda$ を持つ固有ベクトルとする。
このとき、
が成り立つ。
これより、
$P\mathbf{x}_{\lambda}$ 同士の内積は、
と表される。
一方、
射影行列の定義と
内積と転置行列の関係をにより、
とも表せる。
これらから、
であるので、
が成り立つ。
ここで $\mathbf{x}_{\lambda}\neq 0$ (
$
\left\| \mathbf{x}_{\lambda} \right\|^2 \neq 0
$
)
を用いた。
これを整理すると、
であるので、
である。
半正定値行列
射影行列 $P$ は、
半正定値行列である。すなわち、
が成り立つ。
証明
射影行列 $P$ と
実ベクトル空間の任意のベクトル $\mathbf{x}$ を用いた内積
$(\mathbf{x}, \hspace{1mm}P\mathbf{x})$ には、
定義と
内積と転置行列の関係によって
ところで、
任意のベクトル $\mathbf{x}$ に対して、
を満たす行列 $M$ を
半正定値行列であるという。
したがって、
$(3)$ は、
$P$ が半正定値行列であることを表している。
正規直交基底による表現
任意のベクトル $\mathbf{x}$ に射影行列 $P$ を作用した $P \mathbf{x}$ の全体は、
部分空間を成す。
この部分空間の
正規直交基底を $\{ \mathbf{e}_{1}, \mathbf{e}_{2}, \cdots, \mathbf{e}_{r} \}$ とするとき、
$P$ は、
と表される。
証明
$P$ を
射影行列とし、
ベクトル空間 $V$ の任意のベクトル $\mathbf{x}$ に対し、
集合 $M$ を
と定義すると、
$M$ は $V$ の部分空間を成す。
$P$ の
ランクを $r$ とする。
$P$ を作用したベクトルは $r$
個の線形独立なベクトルの線形結合によって表される(「
ランク=写像の次元」を参考)。
したがって、部分空間
$M$
の任意のベクトルは $r$ 個の線形独立なベクトル
$$
\tag{1}
$$
の線形結合によって
$$
\tag{2}
$$
のように表すことができる ($\alpha_{i}$ は線形結合の係数)。
$(1)$ は線形独立なベクトルであるので、
グラム・シュミットの直交化法を用いると、
$(1)$ の線形結合によって正規直交系
$$
\tag{3}
$$
を構成できる。
このとき、
$(1)$ は $(3)$ の線形結合によって表される (
QR分解の証明部分を参考)。
そこで、
と表す。これを $(2)$ に代入すると、
$$
\tag{4}
$$
である。ここで $\gamma_{j} = \sum \alpha_{i}\beta_{ij}$ と置いた。
$(3)$ が正規直交系を成すことから、
$$
\tag{5}
$$
が成立する
($\delta_{ij}$ は
クロネッカーのデルタ)。
$(4)$ と $(5)$ から、
となる。
これより、
$(4)$ を
$$
\tag{5}
$$
と表せる。
ここで3つ目の等号では
内積と転置行列の関係を用い、
4つ目の等号では
射影行列の定義を用いた。
ところで、
$(3)$ のそれぞれの $\mathbf{e}_{i}$ は、
$(1)$ の $\mathbf{b}_{i}$ からグラムシュミットの直交化法によって作られたベクトルであるので、
$(1)$ の線形結合で表されるベクトルである (
グラムシュミットの直交化法参考)。
したがって、
$\mathbf{e}_{i}$ は 部分空間 $M$ に属するベクトルである。
ゆえに
を満たす $V$ のベクトル $\mathbf{z}_{i}$ が存在する (「
$P \mathbf{x}$ は部分空間を成す」を参考)。
これと
射影行列の定義 から、
が成立する。
よって、
$(5)$ を
と表せる。
$\mathbf{x}$ が任意のベクトルであるので、
この式から、
$$
\tag{6}
$$
を得る (ここで
行列の等号の性質を用いた)。
$\{ \mathbf{e}_{i} \}$ は部分空間 $M$ に属するベクトルであり、正規直交系を成すので、
$M$ の
正規直交基底である。
以上から、
射影行列は部分空間の正規直交基底によって、
$(6)$ のように表されることが示された。
積が $0$ と部分空間の直交性
部分空間 $V_{1}$ 上への射影行列 $P_{1}$ と、
部分空間 $V_{2}$ 上への射影行列 $P_{2}$ の積が $0$ であるならば、
部分空間 $V_{1}$ と $V_{2}$ は直交する。
すなわち、
である。
また、
その逆も成立する。
証明
射影行列 $P_{1}$ の作用するベクトル空間を $V$ とし、
$V$ の全ての元に $P_{1}$ を作用して得られる集合を $V_{1}$ とする。
すなわち、
とする。
このとき、
$V_{1}$ は部分空間を構成する
(証明は
射影行列の定義と表現を参考)。
また、
$P_{1}$ を部分空間 $V_{1}$ の上の射影行列であるという。
この定義から、
部分空間 $V_{1}$ の任意のベクトル $\mathbf{x}_{1}$ には、
となる $V$ のベクトル $\mathbf{x}$ が存在するが、
射影行列の定義から
が成り立つ。
すなわち、
$V_{1}$ のベクトルに $V_{1}$ の上の射影行列を掛けても、
同じベクトルになるだけである。
同じように、
$P_{2}$ を部分空間 $V_{2}$ の上への射影行列とすると、
任意のベクトル $\mathbf{x}_{2} \in V_{2}$ に対して、
が成り立つ。
したがって、
任意のベクトル $\mathbf{x}_{1} \in V_{1}$ と任意のベクトル $\mathbf{x}_{2} \in V_{2}$ との内積は、
と表せる。ここで二行目の等号では
内積と転置行列の関係を用いた。
従って、任意の
$\mathbf{x}_{1} \in V_{1}$ と $\mathbf{x}_{2} \in V_{2}$ に対して
が成り立つ。
したがって、
である。
ここで、
部分空間の任意のベクトル同士が直交するときに、
部分空間が直交するといい、
$V_{1} \perp V_{2}$
のように表すことを用いた。
必要十分
$P_{1}$ と $P_{2}$ をそれぞれ $V$ の部分空間 $V_{1}$ と $V_{2}$ の上への射影行列とする。
このとき、
任意の $\mathbf{x}, \mathbf{y} \in V$ に対して、
が成り立つ。
内積と転置行列の関係と
射影行列の定義から
が成り立つが、
右辺は $V_{1}$ のベクトルと $V_{2}$ のベクトル同士の内積であるので、
これらが直交する部分空間であるならば、
すなわち、
であるならば、
が成り立つ。
任意のベクトル $\mathbf{x}, \mathbf{y}$ に対して、
この関係が成立するので、
である
(「
内積により行列が等しいことを表す」を参考)。
交換可能な積
部分空間 $V_{1}$ 上への射影行列 $P_{1}$ と、
部分空間 $V_{2}$ 上への射影行列 $P_{2}$ が交換可能な場合、
すなわち、
の場合には、
$P_{1}P_{2}$ が $V_{1}$ と$V_{2}$ の
共通部分の上への射影行列になる。
証明
$P_{1}$ と $P_{2}$ をそれぞれ部分空間 $V_{1}$ と $V_{2}$ の上への
射影行列とする。
すなわち、$P_{1}$ と $P_{2}$ は、
を満たし、
任意のベクトル $\mathbf{x}$ に対して、
$
P_{1}\mathbf{x} \in V_{1}
$
と
$
P_{2}\mathbf{x} \in V_{2}
$
であるとする。
このとき、$P_{1}$ と $P_{2}$ が
を満たすならば、
積の転置行列 の性質 から
が成立するので、$P_{1}P_{2}$ は
射影行列である。
また、
$\mathbf{y}$ を任意のベクトルとすると、
であり、
$(3)$ を用いると、
同じベクトルが
であるので、
$P_{1}P_{2} \mathbf{y} $ は、
部分空間 $V_{1}$ のベクトルであり、
なおかつ、
部分空間 $V_{2}$ のベクトルでもある。
このことは、
$P_{1}P_{2} \mathbf{y} $ が
$V_{1}$ と $V_{2}$ の共通部分 $V_{1} \cap V_{2}$ に属するベクトルであると言い表される。
すなわち、
である。
以上の $(1)$ $(2)$ $(3)$ から、
$P_{1}P_{2}$ は $V_{1}$ と $V_{2}$ の共通部分の部分空間 $V_{1} \cap V_{2}$ の上への射影行列である。
スペクトル分解
正規行列 $A$ は、
固有値 $\overline{\lambda}_{i}$ の固有空間 $E_{\overline{\lambda}_{i}}$ 上への射影行列 $P_{\overline{\lambda}_{i}}$ によって、
と表すことができる。
ここで、$r$ は、値の異なる固有値の数である。
これを行列の
スペクトル分解と呼ぶ。