本記事では、ベクトルの射影において、直交補空間への射影を扱います。また、これと関連の深いベクトルの直交分解についても解説します。
射影の基礎知識として、「【線形代数】ベクトルの直交射影」で解説している内容を前提とします。
直交補空間への直交射影
\(\mathbf{y} \in R^n\)、\(V\)を\(R^n\)の部分空間とする。さらに、\(\mathbf{y}\)から\(V\)への射影ベクトルを\(\mathbf{y}_1\)、射影行列を\(P_V\)とすれば、\(\mathbf{y}_1 = P_V\mathbf{y}\)。\\
一方で、射影の定義より、\(\mathbf{y} – \mathbf{y}_1 \in V^\perp\)であるが、
\begin{align*}
\mathbf{y} – \mathbf{y}_1 &= \mathbf{y} – P_V\mathbf{y} \\
&= I_n\mathbf{y} – P_V\mathbf{y} \\
&= (I_n – P_V)\mathbf{y} \\
\end{align*}
より、\((I_n – P_V)\mathbf{y} \in V^\perp\)となる。これより、\((I_n – P_V)\)は、\(\mathbf{y}\)から\(V^\perp\)への射影行列となる。
直交補空間への射影行列
【定理】
\(V\)を\(R^n\)の部分空間とし、\(P_V\)を\(V\)への射影行列とする。このとき、
\[I_n – P_V = I_n – A(A^\top A)^{-1}A^\top\]
は、\(V^\perp\)への射影行列である。
\textbf{証明}
\(Q = I_n – P_V\)とおく。\(Q\)が\(V^\perp\)への射影行列であることを示すには、射影の定義の定義に照らして、任意の\(\mathbf{y} \in R^n\)に対して、
- \(Q\mathbf{y} \in V^\perp\)
- \(\mathbf{y} – Q\mathbf{y} \in V \:\:(\mathbf{y} – Q\mathbf{y} \perp V^\perp)\)
が成り立っていることを証明すればよい。
まず、\(Q\mathbf{y} \in V^\perp\)を示す。\(V^\perp\)は、
\[V^\perp = \{\mathbf{y} \in R^n |\: \mathrm{任意の}\mathbf{u} \in V \mathrm{に対して、}\langle \mathbf{u}, \mathbf{y} \rangle = 0\}\]
と定義されるので、任意の\(\mathbf{u} \in V\)に対して、\(\langle Q\mathbf{y}, \mathbf{u} \rangle = 0\)となることを確認する。
\begin{align*}
&\langle Q\mathbf{y}, \mathbf{u} \rangle\\
=&(Q\mathbf{y})^\top \mathbf{u} \\
=&\mathbf{y}^\top(I_n – P_V)^\top \mathbf{u} \\
=&\mathbf{y}^\top(I_n – P_V) \mathbf{u} \\
=&\mathbf{y}^\top(\mathbf{u} – P_V\mathbf{u}) \\
=&\mathbf{y}^\top(\mathbf{u} – \mathbf{u}) \\
=&\mathbf{y}^\top \mathbf{0} \\
=& 0
\end{align*}
以上より、任意の\(\mathbf{u} \in V\)に対して、\(\langle Q\mathbf{y}, \mathbf{u} \rangle = 0\)なので、\(Q\mathbf{y} \in V^\perp\)である。
次に、\(\mathbf{y} – Q\mathbf{y} \in V \:\:(\mathbf{y} – Q\mathbf{y} \perp V^\perp)\)を示す。
\begin{align*}
&\mathbf{y} – Q\mathbf{y} \\
=&\mathbf{y} -(I_n – P_V)\mathbf{y} \\
=&\mathbf{y} -(\mathbf{y} – P_V\mathbf{y}) \\
=& P_V\mathbf{y}
\end{align*}
以上より、\(\mathbf{y} – Q\mathbf{y} = P_V\mathbf{y} \in V\)
ベクトルの一意的な直交分解
【定理】
\(V\)を\(R^n\)の部分空間とする。このとき、任意の\(\mathbf{y} \in R^n\)は、
\[\mathbf{y} = \mathbf{u} + \mathbf{v}\:\:\: (\mathbf{u} \in V,\:\: \mathbf{v} \in V^\perp)\]
と一意的に分解される。すなわち、\(R^n\)は、\(V\)と\(V^\perp\)に直和分解できる。
【証明】
まず、分解可能性を示す。\(V\)への射影行列を\(P_V\)とすれば、\(V^\perp\)への射影行列は\(I_n – P_V\)と表せて、
\[P_V\mathbf{y} \in V,\:\:\:\: (I_n – P_V)\mathbf{y} \in V^\perp \]
を満たす。さらに、これらの和をとれば
\begin{align}
&P_V\mathbf{y} + (I_n – P_V)\mathbf{y} \\
=& P_V\mathbf{y} + \mathbf{y} -P_V\mathbf{y} \\
=&\mathbf{y}
\end{align}
より、\(\mathbf{y}\)が\(V\)に属するベクトルと\(V^\perp\)に属するベクトルに分解されることが示された。\\
次に、分解の一意性を示す。まず、\(\mathbf{y} = \mathbf{u}_1 + \mathbf{v}_1 = \mathbf{u}_2 + \mathbf{v}_2\)と2通りに分解できたとする。ただし、\(\mathbf{u}_1,\mathbf{u}_2 \in V,\:\:\: \mathbf{v}_1, \mathbf{v}_2 \in V^\perp\)である。\\
ここで、\(\mathbf{u}_1 – \mathbf{u}_2,\:\:\: \mathbf{v}_2 – \mathbf{v}_1\)というベクトルを定めると、\(V,\: V^\perp\)は部分空間なので、和について閉じているから、
\[\mathbf{u}_1 – \mathbf{u}_2 \in V,\:\:\: \mathbf{v}_2 – \mathbf{v}_1 \in V^\perp\]
である。一方で、\(\mathbf{u}_1 + \mathbf{v}_1 = \mathbf{u}_2 + \mathbf{v}_2\)より\(\mathbf{u}_1 – \mathbf{u}_2 = \mathbf{v}_2 -\mathbf{v}_1\)であり、\(\mathbf{w} = \mathbf{u}_1 – \mathbf{u}_2 = \mathbf{v}_2 -\mathbf{v}_1\)とおけば、
\[\mathbf{w} \in V \:\:\mathrm{かつ} \mathbf{w} \in V^\perp\]
その上で、
\[||\mathbf{w}||^2 = \langle \mathbf{w}, \mathbf{w} \rangle \]
であり、\(\mathbf{w} \in V\)と\(\mathbf{w} \in V^\perp\)は直交するから、
\[\langle \mathbf{w}, \mathbf{w} \rangle = 0\]
以上より、
\[||\mathbf{w}||^2 = 0 \Rightarrow \mathbf{w} = \mathbf{0}\]
である。よって、
\[\mathbf{w} = \mathbf{u}_1 – \mathbf{u}_2 = \mathbf{v}_2 -\mathbf{v}_1 = \mathbf{0}\]
すなわち、
\[\mathbf{u}_1 = \mathbf{u}_2,\:\:\: \mathbf{v}_1 = \mathbf{v}_2\]
であり、これより分解が一意的であることが示された。
直交補空間への直交射影行列の性質
\(\mathbf{z} \in V\)ならば、\((I_n – P_V)\mathbf{z} = \mathbf{0}\)
\begin{align}
(I_n – P_V)\mathbf{z} &= \mathbf{z} – P_V\mathbf{z} \\
&= \mathbf{z} – \mathbf{z} \\
&= \mathbf{0}
\end{align}
\(\mathbf{z} \in V^\perp\)ならば\((I_n – P_V)\mathbf{z} = \mathbf{z}\)
\[(I_n – P_V)\mathbf{z} = \mathbf{z} – P_V\mathbf{z}\]
より、\(P_V\mathbf{z} = \mathbf{0}\)を確認すればよいことになる。
まず、\(V^\perp\)は\(R^n\)の部分空間であるから、仮定の\(\mathbf{z} \in V^\perp\)に加えて、\(\mathbf{z} \in R^n\)でもある。ここで、直交分解定理を適用すれば、\(\mathbf{z} \in R^n\)は、ある\(\mathbf{u} \in V\)が存在して、
\[\mathbf{z} = \mathbf{u} + \mathbf{z} \:\:\: (\mathbf{u} \in V \:\: \mathbf{z} \in V^\perp)\]
と一意的に分解されることになるが、上式から\(\mathbf{u} \in V\)に関して\(\mathbf{u} = \mathbf{0}\)であることが直ちに分かる。
よって、\(\mathbf{z} \in R^n\)に対して、\(V\)への直交射影ベクトルは、\(V\)への直交射影行列\(P_V\)を用いて、
\[P_V\mathbf{z} = \mathbf{u} = \mathbf{0}\]
以上より、
\[(I_n – P_V)\mathbf{z} = \mathbf{z} – P_V\mathbf{z} = \mathbf{z} – \mathbf{0} = \mathbf{z}\]
で第意を得る。
