【線形代数】ベクトルの直交射影

本記事では、ベクトルの直交射影について解説します。

直交射影とは

 

 

1次元部分空間への直交射影ベクトル

$\mathbf{a},\, \mathbf{b} \in R^n$とし、$\mathbf{b}$は$R^n$の1次元部分空間の基底とする。また、$\mathbf{a} \notin \mathrm{span}\mathbf{b}$である。

このとき、$\mathbf{a}$から$\mathrm{span} \mathbf{b}$への直交射影ベクトルを$\acute{\mathbf{a}}$とすると、$\acute{\mathbf{a}}$は、直交射影の定義より、

$$\acute{\mathbf{a}} \in \mathrm{span} \mathbf{b}, \:\:\: \mathrm{かつ} \:\:\: \mathbf{a} – \acute{\mathbf{a}} \perp \mathrm{span} \mathbf{b}$$

を満たす。

まず、$\acute{\mathbf{a}} \in \mathrm{span} \mathbf{b}$より、ある定数$k$が存在して、$\acute{\mathbf{a}} = k \mathbf{b}$と表せる。以降では、この定数$k$を求めて、$\acute{\mathbf{a}}$を具体的な形で表すことを目指す。

 

次に、$\mathbf{a} – \acute{\mathbf{a}} \perp \mathrm{span} \mathbf{b}$より、$\mathbf{a} – \acute{\mathbf{a}}$は$\mathrm{span} \mathbf{b}$に属する任意のベクトルと直交するから、当然$\mathbf{b}$とも直交する。よって、$\mathbf{a} -\acute{\mathbf{a}}$と$\mathbf{b}$の内積は$0$となる。

$$\langle \mathbf{a} -\acute{\mathbf{a}}, \mathbf{b} \rangle = 0$$

これを展開していく。

$$\begin{align*} &\langle \mathbf{a} -\acute{\mathbf{a}}, \mathbf{b} \rangle = 0 \\ &\langle (\mathbf{a} – k \mathbf{b}), \mathbf{b} \rangle = 0 \\ &\langle\mathbf{a}, \mathbf{b}\rangle – k\langle \mathbf{b}, \mathbf{b} \rangle = 0 \\ &k||\mathbf{b}||^2 = \langle \mathbf{a}, \mathbf{b} \rangle \\ & k = \frac{\langle \mathbf{a}, \mathbf{b} \rangle}{||\mathbf{b}||^2} \end{align*}$$

よって、$\mathbf{a}$から$\mathrm{span} \mathbf{b}$への直交射影ベクトル$\acute{\mathbf{a}}$は、

$$\acute{\mathbf{a}} = \frac{\langle\mathbf{a}, \mathbf{b} \rangle}{||\mathbf{b}||^2}\mathbf{b}$$

であり、この$k = \langle\mathbf{a}, \mathbf{b} \rangle/||\mathbf{b}||^2$を、$\mathrm{span} \mathbf{b}$に沿う$\mathbf{a}$の成分(座標)という。ここで、$\mathbf{b}$が正規化されているならば、$||\mathbf{b}|| = 1$より、$k=\langle\mathbf{a}, \mathbf{b}\rangle$となり、

$$\acute{\mathbf{a}} = \langle\mathbf{a}, \mathbf{b} \rangle \mathbf{b}$$

とより関係に表せる。

多次元部分空間への直交射影

概要

$p$次元ユーグリッド空間$R^p \: (\dim R^p = p)$において、$n$個の$p$次元ベクトル${\mathbf{a_1}, \mathbf{a_2}, \cdots, \mathbf{a_n}}$によるスパン$\mathrm{Span}[\mathbf{a_1}, \mathbf{a_2}, \cdots, \mathbf{a_n}]$が生成する部分空間を想定する。

ここで、$\dim \mathrm{Span}[\mathbf{a_1}, \mathbf{a_2}, \cdots, \mathbf{a_n}] = n$、つまり、${\mathbf{a_1}, \mathbf{a_2}, \cdots, \mathbf{a_n}}$は$n$個全てが線形独立とし、また、$n < p$、つまり、$\mathrm{Span}[\mathbf{a_1}, \mathbf{a_2}, \cdots, \mathbf{a_n}]$は、$R^p$の部分空間ではあるが、$R^p$とは完全には一致しないとする。

さらに、行列$A$を、$A = (\mathbf{a_1}, \mathbf{a_2}, \cdots, \mathbf{a_n})$と定めれば、$A$は$p \times n$行列となり、$R^n \to R^p$の(標準基底に関する)線形写像の表現行列となる。$R^n$は$A$の定義域、$R^p$は$A$の終域で、$\mathrm{Im}\,  A = \mathrm{Span}[\mathbf{a_1}, \mathbf{a_2}, \cdots, \mathbf{a_n}]$となる。

以上の設定の下、任意の$\mathbf{y}  \in R^p$に対し、$\mathbf{y}  \notin \mathrm{Im}\,  A$であるとして、$\mathbf{y}$から$\mathrm{Im}\,  A$への直交射影を考える。

理論展開（証明）

まず、$\mathbf{y}$ から $\mathrm{Im}\, A$ への直交射影ベクトルを $\mathbf{p}$ とすると、 $\mathbf{p}$ は直交射影ベクトルの定義より、

$$\mathbf{p} \in \mathrm{Im}\, A \:\:\: \mathrm{かつ} \:\:\: \mathbf{y}  – \mathbf{p} \perp \mathrm{Im}\, A$$

と満たす。

まず、 $\mathbf{p} \in \mathrm{Im}\, A$ より、 $\mathbf{p}$ は、あるn次元ベクトル $\mathbf{x}$ が存在して、 $\mathbf{p} = A \mathbf{x}$ と表せる。

次に、 $\mathbf{y}  – \mathbf{p} \perp \mathrm{Im}\, A$ より、任意の $\mathbf{u} \in \mathrm{Im}\, A$ と $\mathbf{y}  – \mathbf{p}$ は直交するので、 $\mathbf{u}$ と $\mathbf{y}  – \mathbf{p}$ の内積は0となり、以下の関係式を得る。

$$\langle \mathbf{u}, \mathbf{y}  – \mathbf{p} \rangle  = 0$$

以下では、この関係式を展開していく。なお、何らかのn次元ベクトル $\mathbf{c} = (c_1, c_2, \cdots, c_n)^\top$ があって、 $\mathbf{u} = A\mathbf{c}$ であるとする。

$$\begin{align*} \langle \mathbf{u}, \mathbf{y}  – \mathbf{p}\rangle  = 0 \\ \langle  A\mathbf{c}, \mathbf{y}  – A\mathbf{x}\rangle = 0 \\ \langle\mathbf{c}, A^\top(\mathbf{y}  – A\mathbf{x})\rangle = 0\\ \langle\mathbf{c}, A^\top \mathbf{y}  – A^\top A\mathbf{x}\rangle = 0 \end{align*}$$

ここで、 $\mathbf{u} \in \mathrm{Im}\, A$ は任意であるので、それの $\mathrm{Im}\, A$ における座標ベクトル $\mathbf{c}$ も任意となる。よって、関係式 $\langle \mathbf{c}, A^\top \mathbf{y}  – A^\top A\mathbf{x}\rangle = 0$ を満たすには、 $A^\top \mathbf{y}  – A^\top A\mathbf{x}$ がゼロベクトルである必要があるので、

$$\begin{align*} A^\top \mathbf{y}  – A^\top A\mathbf{x} &= \mathbf{0}\\ A^\top A\mathbf{x} &= A^\top \mathbf{y} \end{align*}$$

という関係式を得る。

ここで$(A^\top A)^{-1}$に逆行列が存在すれば、すなわち、$A^\top A$が正則であるなら、両辺に左から$(A^\top A)^{-1}$をかけることで、求めたい$\mathbf{x}$ が求まる。そこで、$A^\top A$の正則性の確認を行う。

まず一般論として、$A^\top A$は、n次対称行列(正方行列)であり、正則であるため十分条件は$\mathrm{rank}\, A^\top A = n$で、さらに$\mathrm{rank}\, A^\top A = \mathrm{rank}\, A$が成り立つ。

仮定より、$\dim \mathrm{span} [\mathbf{a}_1, \mathbf{a}_2, \cdots, \mathbf{a}_n] = n$であり、また、$\dim \mathrm{span} [\mathbf{a}_1, \mathbf{a}_2, \cdots, \mathbf{a}_n] = \dim \mathrm{Im}\, A = \mathrm{rank}\, A$であるから、$\mathrm{rank}\, A = n$である。すなわち、

$$\mathrm{rank}\, A = \mathrm{rank}\, A^\top A = n$$

以上より、$A^\top A$は正則なので、その逆行列が存在する。よって、

$$\begin{align*} A^\top A\mathbf{x} &= A^\top \mathbf{y} \\ (A^\top A)^{-1}A^\top A\mathbf{x} &= (A^\top A)^{-1}A^\top \mathbf{y} \\ \mathbf{x} &= (A^\top A)^{-1}A^\top \mathbf{y} \end{align*}$$

以上より、$\mathbf{y}$ の $\mathrm{Im}\, A$ に沿う成分(座標) $\mathbf{x}$ は、

$$\mathbf{x} = (A^\top A)^{-1}A^\top \mathbf{y}$$

また、$\mathbf{y}$ から $\mathrm{Im}\, A$ への直交射影ベクトル $\mathbf{p} = A\mathbf{x}$ は、 $\mathbf{x}$ に今得られた結果を代入することで、

$$\mathbf{p} = A(A^\top A)^{-1}A^\top \mathbf{y}$$

以上の議論を定理としてまとめると以下になる。

直交射影行列

直交射影行列の定義

$p \times n$行列$A$について、$\mathrm{rank}\, A = n$であるとする。このとき、以下に定まるn次正方行列

$$P_V = A(A^\top A)^{-1}A^\top$$

を、$V = \mathrm{Im}\, A$への直交射影行列という。

1次元部分空間への直交射影行列

 

直交射影行列の性質

 

$\mathbf{y} \in V$ならば$P_V\mathbf{y} = \mathbf{y}$

$V = \mathrm{Im}\, A$とする。仮定より$\mathbf{y} \in \mathrm{Im}\, A$であるから、ある係数ベクトル$\mathbf{x} \in R^n$が存在して、

$$\mathbf{y} = A\mathbf{x}$$

このとき、

$$\begin{align} P_V\mathbf{y} &= A(A^\top A)^{-1}A^\top A\mathbf{x} \\ &= A\mathbf{x} \\ &= \mathbf{y} \end{align}$$