本記事では、コーシー・シュワルツの不等式に関して、証明を含めて解説します。
シュワルツの不等式の特別なケース
以下では、\(\mathbf{b}\)を２つの単位ベクトルの場合からスタートして、最終的に\(\mathbf{b}\)に制約を課さない一般的なケースを証明する。
特別なケース1
\(\mathbf{e_i} \in R^n\)を、i番目の要素が1で、それ以外が全て0のベクトルとして、\(\mathbf{a} \in R^n\)を任意のベクトルとして、それぞれ以下のように定める。
\[\mathbf{e_i} = \begin{pmatrix}0\\ \vdots \\ 0\\ 1\\ 0\\ \vdots \\ 0
\end{pmatrix}\:\:\:\:\mathbf{a} = \begin{pmatrix}a_1\\ a_2\\ \vdots \\ a_n
\end{pmatrix}\]
ここで、\(\mathbf{a}\)から\(\mathrm{Span}[ \mathbf{e_i}]\)に直交射影をして、\(\mathrm{Span}[ \mathbf{e_i}]\)に沿う\(\mathbf{a}\)の成分(座標)を抽出すると、それは、\(||\mathbf{e_i}||=1\)より、\(\mathbf{e_i}\)と\(\mathbf{a}\)の内積で求まり、
\[<\mathbf{a}, \mathbf{e_i}> = a_i\]
となる。\(a_i\)は\(\mathbf{a}\)の第i成分であり、
\[|a_i| = \sqrt{a_i^2} \leq \sqrt{a_1^2 + a_2^2 + \cdots + a_i^2 + \cdots + a_n^2} = \sqrt{<\mathbf{a},\mathbf{a}>} = ||\mathbf{a}||\]
すなわち、
\[|\langle \mathbf{a}, \mathbf{e_i}\rangle | = |a_i| \leq ||\mathbf{a}||\]
ここから、\(\mathbf{a}\)の各成分\(a_i(i=1,2,\cdots, n)\)の絶対値は\(\mathbf{a}\)のノルムを超えないことが分かる。
特別なケース2
\(\mathbf{u} \in R^n\)を、\(R^n\)の一次元部分空間の正規化された基底、つまり\(||\mathbf{u}|| = 1\)とし、\(\mathbf{a} \in R^n\)を任意のn次元ベクトルとする。
ここで、\(\mathbf{a}\)から\(\mathrm{Span}[ \mathbf{u}]\)へ直交射影を考える。\(c = <\mathbf{a}, \mathbf{u}>\)は\(\mathrm{Span}[ \mathbf{u}]\)に沿う\(\mathbf{a}\)の成分(座標)であり、\(c\mathbf{u}\)は、\(\mathbf{a}\)から\(\mathrm{span} \mathbf{u}\)への直交射影ベクトルで\(c\mathbf{u} \in \mathrm{span} \mathbf{u}\)、\(\mathbf{a} – c\mathbf{u}\)は誤差ベクトルとして、スパン\(\mathbf{u}\)の直交補空間\((\mathrm{span} \mathbf{u})^\perp\)に属する。
よって、\(\mathbf{a}\)は、
\[\mathbf{a} = c\mathbf{u} + (\mathbf{a} – c\mathbf{u}), \:\:\:\:\:\: c\mathbf{u} \in \mathrm{span} \mathbf{u}, \:\:\:\:\: \mathbf{a} – c\mathbf{u} \in (\mathrm{span} \mathbf{u})^\perp\]
と直交分解され、\( <c\mathbf{u}, (\mathbf{a} – c\mathbf{u})>=0 \)なので、ピタゴラスの定理を適応でき、
\begin{align*}
||\mathbf{a}||^2 &= ||c\mathbf{u}||^2 + ||(\mathbf{a} – c\mathbf{u})||^2 \\
&= c^2||\mathbf{u}||^2 + ||(\mathbf{a} – c\mathbf{u})||^2 \\
&= c^2 + ||(\mathbf{a} – c\mathbf{u})||^2 \\
&\geq c^2
\end{align*}
すなわち、
\[c^2 \leq ||\mathbf{a}||^2 \Rightarrow |c| \leq ||\mathbf{a}|| = |<\mathbf{a}, \mathbf{u}>| \;\leq ||\mathbf{a}||\]
以上より、任意の単位ベクトルにおいても、\(\mathbf{a}\)の各成分の絶対値は\(\mathbf{a}\)のノルムを超えないことが分かる。
シュワルツの不等式
\(\mathbf{a}, \mathbf{b} \in R^n\)を2つの異なる任意のn次元ベクトルとする。このとき、
\[|\langle\mathbf{a},\mathbf{b}\rangle| \leq ||\mathbf{a}||\cdot||\mathbf{b}||\]
シュワルツの不等式の証明
\(\mathbf{b} = \mathbf{0}\)ならば、不等式の両辺はともに\(0\)なので、不等式は成立する。
\(\mathbf{b} \neq \mathbf{0}\)とする。\(\mathbf{b}\)を正規化したベクトルを\(\mathbf{e_b}\)とすれば、
\[\mathbf{e_b} = \frac{1}{||\mathbf{b}||}\mathbf{b}\]
一つ前の【特別なケース2】より、任意の単位ベクトル\(\mathbf{u}\)に対して、\(|<\mathbf{a}, \mathbf{u}>| \leq ||\mathbf{a}||\)が成り立つから、
\[|\langle\mathbf{a}, \mathbf{e_b}\rangle | \leq ||\mathbf{a}||\]
この不等式の左辺は、
\[|\langle \mathbf{a}, \mathbf{e_b}\rangle | = |\langle \mathbf{a}, \frac{\mathbf{b}}{||\mathbf{b}||}\rangle | = \frac{1}{||\mathbf{b}||}|\langle \mathbf{a}, \mathbf{b}\rangle |\]
であるから、結局のところ、
\[ \frac{|\langle \mathbf{a}, \mathbf{b}\rangle |}{||\mathbf{b}||} \leq ||\mathbf{a}|| \]
となり、両辺に\(||\mathbf{b}||\)をかければ、
\[|\langle \mathbf{a},\mathbf{b}\rangle | \leq ||\mathbf{a}||\cdot||\mathbf{b}||\]
シュワルツの不等式の等号成立の必要十分条件
ユーグリッド空間の角度
\(|<\mathbf{a},\mathbf{b}>| \leq ||\mathbf{a}||\cdot||\mathbf{b}||\)に対して、両辺を\(||\mathbf{a}||\cdot||\mathbf{b}||\)で割れば、
\[\frac{|<\mathbf{a},\mathbf{b}>|}{||\mathbf{a}||\cdot||\mathbf{b}||} \leq 1\]
すなわち、
\[-1 \leq \frac{<\mathbf{a},\mathbf{b}>}{||\mathbf{a}||\cdot||\mathbf{b}||} \leq 1\]
ここで、\(−1 \leq \cos \theta \leq 1\)であり、\(0 \leq \theta \leq \pi\)とすれば、
\[\cos \theta = \frac{<\mathbf{a},\mathbf{b}>}{||\mathbf{a}||\cdot||\mathbf{b}||}\]
は、\(\cos \theta\)の逆関数であり、\((<\mathbf{a},\mathbf{b}> / \,||\mathbf{a}||\cdot||\mathbf{b}||)\)から\(\theta\)がただ一つ定まる。この\(\theta\)を、2つのベクトル\(\mathbf{a}, \mathbf{b}\)の角度と定義し、\(\mathbf{a}\)と\(\mathbf{b}\)の\textbf{線形関係の程度}の指標として用いる。
角\(\theta\)が1に近いければ近いほど、\(\mathbf{a},\mathbf{b}\)は同じ向きで近づいていき、\(\theta = 1\)で完全に重なる。他方、角\(\theta\)が\(-1\)に近いければ近いほど、\(\mathbf{a},\mathbf{b}\)は反対の向きで近づいていき、\(\theta = -1\)で完全に重なる。さらに、\(\theta\)が\(\pi/2\)に近づくほど、\(\mathbf{a},\mathbf{b}\)の関係は薄くなり、\(\theta = \pi / 2\)で、\(\mathbf{a}, \mathbf{b}\)の線形的な関係性は0になる。
\(\mathbf{a}\)と\(\mathbf{b}\)は完全な正の線形関係
\(\theta = 0\)で、\(\mathbf{a}, \mathbf{b}\)は完全な正の線形関係になり、幾何学的には、\(\mathbf{a}, \mathbf{b}\)は同じ方向を向いてピッタリと重なっている。
\begin{align*}
&\theta = 0 \:\: (\mathbf{a},\mathbf{b}\mathrm{のなす角度は}0) \\
\Leftrightarrow & \cos 0 = \frac{<\mathbf{a},\mathbf{b}>}{||\mathbf{a}||\cdot||\mathbf{b}||} = 1\\
\Leftrightarrow & <\mathbf{a},\mathbf{b}> = ||\mathbf{a}||\cdot||\mathbf{b}|| (\mathrm{シュワルツの不等式で等号成立})\\
\Leftrightarrow & \mathrm{ある実数}t>0\mathrm{が存在して} \mathbf{b} = t\mathbf{a} \: \\
\Leftrightarrow &\mathbf{b} \in \mathrm{span} \mathbf{a} (\mathbf{a},\mathbf{b}\mathrm{は線形従属})\\
\end{align*}
統計学においては、データベクトル\(\mathbf{a}, \mathbf{b}\)の相関係数が\(1\)のときに相当し、\(\mathbf{a}\)の成分が増えれば、\(\mathbf{b}\)の成分も増えて、\(\mathbf{a}\)から\(\mathbf{b}\)、または、\(\mathbf{b}\)から\(\mathbf{a}\)を完全に説明できてしまう状況。
\(\mathbf{a}\)と\(\mathbf{b}\)は完全な負の線形関係
\(\theta = \pi\)で、\(\mathbf{a}, \mathbf{b}\)は完全な負の線形関係になり、幾何学的には、\(\mathbf{a}, \mathbf{b}\)は正反対の方向を向いてピッタリと重なっている。
\begin{align*}
&\theta = \pi \:\: (\mathbf{a},\mathbf{b}\mathrm{のなす角度は}\pi) \\
\Leftrightarrow & \cos \pi = \frac{<\mathbf{a},\mathbf{b}>}{||\mathbf{a}||\cdot||\mathbf{b}||} = -1\\
\Leftrightarrow & <\mathbf{a},\mathbf{b}> = -||\mathbf{a}||\cdot||\mathbf{b}|| (\mathrm{シュワルツの不等式で等号成立})\\
\Leftrightarrow & \mathrm{ある実数}t<0 \mathrm{が存在して} \mathbf{b} = t\mathbf{a}\\
\Leftrightarrow &\mathbf{b} \in \mathrm{span} \mathbf{a} (\mathbf{a},\mathbf{b}\mathrm{は線形従属})\\
\end{align*}
