特異値分解

定理 4..7  

$A$を$m$行$n$列の行列とすると，

$$A = U \Sigma V^{*}$$

という$A$の分解が存在する．$U$は$m$行$m$列のユニタリ行列，行列$\Sigma$は$m$行$n$列の対角行列成分は非負，$V^*$はユニタリ行列$V$の随伴行列．この分解を 特異値分解という．

2次形式

任意の $n$ 次の実正方行列 $A$, ベクトル ${\mathbf x},{\mathbf y} \in {\mathcal R}^{n}$ が与えられたとき,

$$A({\mathbf x},{\mathbf y}) = {\mathbf x}^{t}A{\mathbf y} = (x_{1},x_{2},\ldots,x_{n})\left(\be... ...ght)\left(\begin{array}{r} y_{1}\\ y_{2}\\ \vdots\\ y_{n} \end{array}\right)$$

$$= \sum_{i,j=1}^{n}a_{ij}x_{i}y_{j} = a_{11}x_{1}y_{1} + a_{12}x_{1}y_{2} + \cdots + a_{nn}x_{n}y_{n}$$

を行列 $A$ に関する 双1次形式(bilinear form) といいます．

また, $A$ が $n$ 次の実対称行列, ${\mathbf x} = {\mathbf y}$ のとき,

$$A({\mathbf x},{\mathbf x}) = {\mathbf x}^{t}A{\mathbf x} = (x_{1},x_{2},\ldots,x_{n})\left(\be... ...ght)\left(\begin{array}{r} x_{1}\\ x_{2}\\ \vdots\\ x_{n} \end{array}\right)$$

$$= a_{11}x_{1}^{2} + a_{22}x_{2}^{2} + \cdots + a_{nn}x_{n}^{2} + 2\sum_{i<j}a_{ij}x_{i}x_{j}$$

を行列 $A$ に関する 2次形式(quadratic form) といいます．

例題 4..5  

$x_{1}^2 + x_{2}^2 -2x_{1}x_{2} + 4x_{1}x_{3} - 4x_{2}x_{3}$ を行列を用いて表そう．

解 $a_{11} = a_{22} = 1, a_{12} = a_{21} = -1, a_{13} = a_{31} = 2, a_{23} = a_{32} = -2, a_{33} = 0$ であるから

$$(x_{1},x_{2},x_{3})\left(\begin{array}{rrr} 1&-1&2\\ -1&1&-2\\ ... ...array}\right)\left(\begin{array}{r} x_{1}\\ x_{2}\\ x_{3} \end{array}\right)$$

と表せる． $\ \blacksquare$

つぎに変数の変換を考えてみましょう．$A$ が実対称行列ならば定理4.6より $A$ は直交行列で対角化可能です．そこで直交行列 $P$ を $P^{-1}AP$ が対角行列になるように選び, ${\mathbf x} = P{\mathbf y}$ とおくと

$${\mathbf x}^{t}A{\mathbf x} = {\mathbf y}^{t}(P^{t}AP){\mathbf y} = (y_{1},\ldots,y_{n})\left(\begin{array}{rrr} \lambda_{1}&\cdots&0... ...array}\right)\left(\begin{array}{r} y_{1}\\ \vdots\\ y_{n} \end{array}\right)$$

$$= \lambda_{1}y_{1}^{2} + \lambda_{2}y_{2}^{2} + \cdots + \lambda_{n}y_{n}^{2}$$

となります．これより次の定理を得ます．

定理 4..8  

実2次形式 ${\mathbf x}^{t}A{\mathbf x}$ は適当な直交変換 ${\mathbf x} = P{\mathbf y}$ により標準形

$${\mathbf x}^{t}A{\mathbf x} = {\mathbf y}^{t}(P^{t}AP){\mathbf y} = \lambda_{1}y_{1}^{2} + \lambda_{2}y_{2}^{2} + \cdots + \lambda_{n}y_{n}^{2}$$

にできる．ただし, $\lambda_{i} (i = 1,2,\ldots,n)$ は $A$ の固有値．

また, これより次のことが分かります．
$(1)$ $A$ の固有値がすべて正であるならば, すべての ${\mathbf x} \neq 0$ に対して, ${\mathbf x}^{t}A{\mathbf x} > 0$ である．このような2次形式を 正値2次形式(positive definite) といいます．
$(2)$ $A$ の固有値がすべて負であるならば, すべての ${\mathbf x} \neq 0$ に対して, ${\mathbf x}^{t}A{\mathbf x} < 0$ である．このような2次形式を 負値2次形式(negative definite) といいます．

例題 4..6  

実2次形式 $A({\mathbf x},{\mathbf x}) = x_{1}^{2} + x_{2}^{2} + x_{3}^{2} + 4x_{1}x_{2} + 4x_{2}x_{3} + 4x_{3}x_{1}$ を行列を用いて表し, 正値2次形式か調べよう．また標準形を求めよう．

解 この2次形式の行列は

$$A = \left(\begin{array}{rrr} 1&2&2\\ 2&1&2\\ 2&2&1 \end{array}\right)$$

である． $\Phi_{A}(t) = \det(A - tI) = -(t+1)^{2}(t-5)$より, $A$ の固有値は $-1$(重複度2),$5$ であるから, この2次形式は正値ではない．また$A$ は実対称行列なので直交行列 $P$ によって対角化されるから, ${\mathbf x} = P{\mathbf y}$ とおくと標準形

$${\mathbf x}^{t}A{\mathbf x} = -y_{1}^{2} - y_{2}^{2} + 5y_{3}^{2}$$

を得る． $\ \blacksquare$

例題 4..7  

実2次形式 $A({\mathbf x},{\mathbf x}) = x_{1}^{2} + 5x_{2}^{2} + 8x_{3}^{2} + 4x_{1}x_{2} - 8x_{2}x_{3} - 6x_{3}x_{1}$ を行列を用いて表し, 標準形を求めよう．

解 この2次形式の行列は

$$A = \left(\begin{array}{rrr} 1&2&-3\\ 2&5&-4\\ -3&-4&8 \end{array}\right)$$

である． $\Phi_{A}(t) = \det(A - tI) = -t^3 + 14t^2 - 24t - 5$より, $A$ の固有値は簡単に求められない．そこで次のような固有値を求めず標準形を求める方法を考える．

もともと正則行列は基本行列の積なので, 実際に対角化を行なう方法として基本変形を使う方法があった．

$$A = \left(\begin{array}{rrr} 1&2&-3\\ 2&5&-4\\ -3&-4&8 \end{array}\right)$$

より $A$ は対称行列．そこでまず, $R_{2}$ と $R_{3}$ に $-2R_{1}+R_{2},3R_{1}+R_{3}$ を行なうと

$$[A:I] = \left(\begin{array}{rrrrrr} \!\!1&\!\!2&\!\!-3&1&0&0\\ \!\!2&\!\... ...\!1&0&0\\ 0&1&\!\!2&\!\!-2&1&0\\ 0&2&\!\!-1&\!\!3&0&1 \end{array}\right) = B.$$

次に, 行 $R_{2}, R_{3}$ に行なった基本操作と同じものを列 $C_{2}, C_{3}$ に行なうと

$$B \longrightarrow \left(\begin{array}{rrrrrr} 1&2&-3&1&0&0\\ 0&1&2&-2&1&0\\ 0&0&-5&7&-2&1 \end{array}\right)$$

次に，$R_3$に $-2R_2 + R_3$を行い，行列$A$の列$C_3$に $-2C_2 + C_3$を行うと，

$$\left(\begin{array}{rrrrrr} 1&0&0&1&0&0\\ 0&1&2&-2&1&0\\ 0&0&-5&7&-2&1 \end{array}\right)$$

$$\longrightarrow \left(\begin{array}{rrrrrr} 1&0&0&1&0&0\\ 0&1&0&-2&1&0\\ 0&0&-5&7&-2&1 \end{array}\right).$$

ここで $A$ は対角行列に変形された．そこで, $P^{t} = \left(\begin{array}{rrr} 1&0&0\\ -2&1&0\\ 7&-2&1 \end{array}\right)$ とおくと,

$$P^{t}AP = \left(\begin{array}{rrr} 1&0&0\\ 0&1&0\\ 0&0&-5 \end{array}\right)$$

となり

$${\mathbf x}^{t}A{\mathbf x} = {\mathbf y}^{t}(P^{t}AP){\mathbf y} = {\mathbf y}^{t}\left(\begin{array}{rrr} 1&0&0\\ 0&1&0\\ 0&0&-5 \end{array}\right){\mathbf y}$$

$$= y_{1}^2 + y_{2}^2 - 5y_{3}^2 . \ensuremath{ \blacksquare}$$

$A$ が複素正方行列のときも同じようなことができます．

任意の $n$ 次の複素正方行列 $A$, ベクトル ${\mathbf x},{\mathbf y} \in { C}^{n}$ が与えられたとき,

$$A({\mathbf x},{\mathbf y}) = {\mathbf x}^{*}A{\mathbf y} = (\bar{x_{1}},\bar{x_{2}},\ldots,\ba... ...ght)\left(\begin{array}{r} y_{1}\\ y_{2}\\ \vdots\\ y_{n} \end{array}\right)$$

$$= \sum_{i,j=1}^{n}a_{ij}\bar{x_{i}}y_{j}$$

$$= a_{11}\bar{x_{1}}y_{1} + a_{12}\bar{x_{1}}y_{2} + \cdots + a_{nn}\bar{x_{n}}y_{n}$$

を行列 $A$ に関する エルミート形式(Hermitian form) といいます．

また, $A$ が $n$ 次のエルミート行列で ${\mathbf x} = {\mathbf y}$ のとき,

$$A({\mathbf x},{\mathbf x}) = {\mathbf x}^{*}A{\mathbf x} = (\bar{x_{1}},\bar{x_{2}},\ldots,\ba... ...ght)\left(\begin{array}{r} x_{1}\\ x_{2}\\ \vdots\\ x_{n} \end{array}\right)$$

$$= a_{11}\bar{x_{1}}{x_{1}} + a_{22}\bar{x_{2}}{x_{2}} + \cdots + a_{nn}\bar{x_{n}}{x_{n}} + 2\sum_{i<j}a_{ij}\bar{x_{i}}x_{j}$$

を行列 $A$ に関する 複素2次形式(complex quadratic form) といいます．この場合$A$ はエルミート行列, つまり正規行列なので定理4.5より $A$ はユニタリ行列で対角化可能です．そこでユニタリ行列 $U$ を $U^{-1}AU$ が対角行列になるように選び, ${\mathbf x} = U{\mathbf y}$ とおくと

$${\mathbf x}^{*}A{\mathbf x} = {\mathbf y}^{*}(U^{*}AU){\mathbf y} = (\bar{y_{1}},\ldots,\bar{y_{n}})\left(\begin{array}{rrr} \lambda_... ...array}\right)\left(\begin{array}{r} y_{1}\\ \vdots\\ y_{n} \end{array}\right)$$

$$= \lambda_{1}\bar{y_{1}}{y_{1}} + \lambda_{2}\bar{y_{2}}{y_{2}} + \cdots + \lambda_{n}\bar{y_{n}}{y_{n}}$$

となります．これより次の定理を得ます．

定理 4..9  

複素2次形式 ${\mathbf x}^{*}A{\mathbf x}$ は変数の適当なユニタリ行列による変換 ${\mathbf x} = U{\mathbf y}$ により標準形

$${\mathbf x}^{*}A{\mathbf x} = {\mathbf y}^{*}(U^{*}AU){\mathbf y}... ..._{1}} + \lambda_{2}\bar{y_{2}}{y_{2}} + \cdots + \lambda_{n}\bar{y_{n}}{y_{n}}$$

にできる．ただし, $\lambda_{i} (i = 1,2,\ldots,n)$ は $A$ の固有値．

演習問題4-4

1. 次の行列をユニタリ行列により対角行列に変換せよ．

$$\left(\begin{array}{cc} 1&1-i\\ 1+i&2 \end{array}\right)$$

2. 次の行列を直交行列により対角行列に変換せよ．

$$\left(\begin{array}{rrr} 1&0&-1\\ 0&-1&0\\ -1&0&1 \end{array}\right)$$

3. $A = \left(\begin{array}{rr} 0&a_{1}\\ a_{2}&0 \end{array}\right)$ がユニタリ行列により対角行列に変換される条件を求めよ．

4. 次の2次形式を直交行列による変換により標準化せよ．

$$x_{1}^2 + 2x_{2}^{2} - 3x_{3}^{2} + 2x_{1}x_{2}$$

5. 次のエルミート行列をユニタリ行列による変換により標準化せよ．

$$x_{1}\bar{x_{1}} + (1 - i)x_{1}\bar{x_{2}} + (1 + i)x_{2}\bar{x_{1}} + 2x_{2}\bar{x_{2}}$$