Diagonalization

У диагональной матрицы \(\boldsymbol \Lambda = \mathrm{diag}\{\lambda_1, \ldots, \lambda_n\}\) всё просто с собственными числами и векторами. На главной диагонали у неё стоят собственные значения, а собственные векторы — это векторы из стандартного базиса в \(\mathbb R^n\):

\[ \boldsymbol \Lambda e_i = \lambda_i \boldsymbol e_i, \quad i = 1, \ldots, n. \]

Если матрица \(\boldsymbol A \in\mathbb R^{n\times n}\) подобна диагональной, то она называется диагонализируемой. Диагонализация матрицы эквивалентна наличию базиса из собственных векторов.

In other words, \(\boldsymbol A\) is diagonalizable if there exist an invertible matrix \(M\) and a diagonal matrix \(\boldsymbol \Lambda\) such that \(\boldsymbol M^{-1}\boldsymbol {AM} = \boldsymbol \Lambda\).

Теорема. Если у матрицы \(\boldsymbol A \in \mathbb R^{n\times n}\) есть \(n\) линейно независимых собственных векторов \(\boldsymbol x_1, \ldots, \boldsymbol x_n\), то матрица \(\boldsymbol X = [\boldsymbol x_1 \ldots \boldsymbol x_n]\) диагонализирует матрицу \(\boldsymbol A\):

(57)\[ \boldsymbol X^{-1} \boldsymbol A \boldsymbol X = \boldsymbol\Lambda = \mathrm{diag} \{\lambda_1, \ldots, \lambda_n\}.\]

Proof

Требуется проверить равенство \(\boldsymbol{AX} = \boldsymbol {X\Lambda}\). Имеем

\[ \boldsymbol{AX} = [\boldsymbol{Ax}_1 \ldots \boldsymbol {Ax}_n] = [\lambda_1\boldsymbol{x}_1 \ldots \lambda_n\boldsymbol {x}_n]. \]

С другой стороны,

\[ \boldsymbol{X\Lambda} = \boldsymbol X [\lambda_1 \boldsymbol e_1 \ldots \lambda_n \boldsymbol e_n] = [\lambda_1 \boldsymbol {Xe}_1 \ldots \lambda_n \boldsymbol {Xe}_n] = [\lambda_1\boldsymbol{x}_1 \ldots \lambda_n\boldsymbol {x}_n]. \]

Итак, \(\boldsymbol{AX} = \boldsymbol{X\Lambda}\), или \(\boldsymbol X^{-1} \boldsymbol A \boldsymbol X = \boldsymbol\Lambda\). Иногда также полезно представление \(\boldsymbol A = \boldsymbol X \boldsymbol\Lambda \boldsymbol X^{-1}\).

Матрица \(\boldsymbol A\) имеет простой спектр, если

\[ \mathrm{spec}(\boldsymbol A) = \{\lambda_1, \ldots, \lambda_n\}, \]

т.е. \(\mu_{\boldsymbol A}(\lambda) = 1\) для всех \(\lambda \in \mathrm{spec}(\boldsymbol A)\).

Диагонализируемость матрицы с простым спектром вытекает из следующего утверждения.

Лемма. Пусть \(\lambda_1, \ldots, \lambda_m\) — различные собственные значения матрицы \(\boldsymbol A \in \mathbb R^{n\times n}\), и \(\boldsymbol A\boldsymbol x_k = \lambda_k\boldsymbol x_k\), \(k=1,\ldots, m\). Тогда собственные векторы \(\boldsymbol x_1, \ldots,\boldsymbol x_m\) линейно независимы.

Proof

Рассуждение проведём индукцией по \(m\). При \(m=1\) утверждение, очевидно, верно. Пусть теперь \(m>1\) и

(58)\[ c_1\boldsymbol x_1 + \ldots + c_{m-1} \boldsymbol x_{m-1} + c_m\boldsymbol x_m = \boldsymbol 0. \]

Умножим это равенство на матирцу \(\boldsymbol A\) слева:

\[ c_1 \lambda_1\boldsymbol x_1 + \ldots + c_{m-1}\lambda_{m-1}\boldsymbol x_{m-1}+ c_m\lambda_m\boldsymbol x_m = \boldsymbol 0. \]

Вычтем отсюда равенство (58), умноженное на \(\lambda_m\):

\[ c_1 (\lambda_1 - \lambda_m)\boldsymbol x_1 + \ldots + c_{m-1}(\lambda_{m-1} - \lambda_m)\boldsymbol x_{m-1} = \boldsymbol 0. \]

По предположению индукции векторы \(\boldsymbol x_1, \ldots,\boldsymbol x_{m-1}\) линейно независимы, поэтому все коэффициенты линейной комбинации из последнего равенства равны нулю:

\[ c_k(\lambda_k - \lambda_m) = 0, \quad 1\leqslant k \leqslant m-1. \]

Все собственные значения различны, значит, \(c_k = 0\) при \(k=1, \ldots, m-1\). Но тогда (58) превращается в \(c_m\boldsymbol x_m = \boldsymbol 0\), откуда \(c_m = 0\). Итак, все коэффициенты линейной комбинации (58) обнулились, поэтому система собственных векторов \(\boldsymbol x_1, \ldots,\boldsymbol x_m\) линейно независима.

Применяя лемму к матрице \(\boldsymbol A \in \mathbb R^{n\times n}\) с простым спектром, заключаем, что у неё есть \(n\) линейно независимых собственных векторов \(\boldsymbol x_1, \ldots,\boldsymbol x_n\), которые и образуют собственный базис. Следовательно, матрица \(\boldsymbol A\) диагонализируема.

Ну а что насчёт диагонализируемости, если спектр не простой? Бывает по-разному. Например, у единичной матрицы спектр отнюдь не простой (все \(\lambda = 1\)), однако, она уже диагональна. А вот у матрицы

(59)\[\begin{split}\boldsymbol A = \begin{pmatrix} 1 & 1 \\ 0 & 1 \\ \end{pmatrix}\end{split}\]

есть одно собственное значение \(\lambda = 1\) кратности \(2\), но у него можно найти только один линейно независимый собственный вектор \((1, 0)\). Собственного базиса не построишь, матрица не диагонализируема.

Criterion of diagonalizability

В общем случае собственный базис и диагонализируемость матрицы \(\boldsymbol A \in \mathbb R^{n\times n}\) могут отсутствовать по двум причинам:

1. не хватает собственных значений:

   \[ \sum \limits_{ \lambda \in \mathrm{spec}(\boldsymbol A)}\mu_{\boldsymbol A}(\lambda) < n; \]

2. не хватает собственных векторов:

   \[ \gamma_{\boldsymbol A}(\lambda) < \mu_{\boldsymbol A}(\lambda) \text{ для некоторого }\lambda \in \mathrm{spec}(\boldsymbol A). \]

Если же у матрицы нет проблем 1 и 2, то она диагонализируема.

Теорема. Матрица \(\boldsymbol A \in \mathbb R^{n\times n}\) диагонализируема, если

\[ \sum \limits_{ \lambda \in \mathrm{spec}(\boldsymbol A)}\mu_{\boldsymbol A}(\lambda) = n \]

и \(\gamma_{\boldsymbol A}(\lambda) = \mu_{\boldsymbol A}(\lambda)\) для всех \(\lambda \in \mathrm{spec}(\boldsymbol A)\).

Proof

Пусть \(\lambda_1, \ldots, \lambda_m\) — все различные собственные значения матрицы \(\boldsymbol A\), имеющие кратности

\[ \mu_{\boldsymbol A}(\lambda_i)=\gamma_{\boldsymbol A}(\lambda_i) = k_i,\quad \sum\limits_{i=1}^m k_i = n. \]

Обозначим \(V^\lambda = N(\boldsymbol A - \lambda \mathcal I)\), тогда \(\dim V^{\lambda_i} = k_i\). В силу вышеприведённой леммы любой набор собственных векторов, отвечающих различным собственным значениям, линейно независим. Следовательно,

\[ V^{\lambda_i} \cap \big(V^{\lambda_1} + \ldots +V^{\lambda_{i-1}}+V^{\lambda_{i-1}} + V^{\lambda_m}\big) = \{\boldsymbol 0\}, \]

и поэтому сумма подпространств \(V^{\lambda_i}\) прямая,

\[ V^{\lambda_1} \oplus \ldots \oplus V^{\lambda_m} = V, \]

а поскольку \(\dim V = \sum\limits_{i=1}^m k_i = n\), то \(V = \mathbb R^n\). Выбирая базис в каждом пространстве \(V^{\lambda_i}\), получаем, что объединение этих базиов даёт базис всего пространства \(\mathbb R^n\). Таким образом, это и есть искомый собственный базис матрицы \(\boldsymbol A\), гарантирующий её диагонализируемость.

Обратное утверждение тоже верно, поэтому данная теорема представляет собой критерий диагонализируемости матрицы.

Spectral theorem

Если матрица симметричная, то все проблемы с комплексными собственными значениями улетучиваются.

Теорема. Если \(\boldsymbol A^\mathsf{T} = \boldsymbol A\) и \(\lambda\in\mathrm{spec}(\boldsymbol A)\), то \(\lambda \in \mathbb R\).

Proof

Если \(\boldsymbol{Ax} = \lambda \boldsymbol x\), то

\[ \overline{\boldsymbol x}^\mathsf{T} \boldsymbol{Ax} = \overline{\boldsymbol x}^\mathsf{T} \lambda\boldsymbol{x} = \lambda \overline{\boldsymbol x}^\mathsf{T} \boldsymbol{x}. \]

Транспонируя левую часть, получаем

\[ (\overline{\boldsymbol x}^\mathsf{T} \boldsymbol{Ax})^\mathsf{T} = \boldsymbol{x}^\mathsf{T} \boldsymbol A \overline{\boldsymbol x} = \boldsymbol{x}^\mathsf{T} \overline{\boldsymbol{Ax}} = \overline \lambda \boldsymbol{x}^\mathsf{T} \overline{\boldsymbol x}. \]

Транспонирование не меняет значения скаляра, поэтому правые части обеих равнеств одинаковы. Поскольку

\[ \overline{\boldsymbol x}^\mathsf{T} \boldsymbol{x} = \boldsymbol{x}^\mathsf{T} \overline{\boldsymbol x} = \sum\limits_{k=1}^n \vert x_k\vert^2 > 0, \]

получается, что \(\lambda = \overline \lambda\).

Итак, всякая симметричная матрица имеет \(n\) действительных собственных значений (с учётом кратности). Этим замечательные свойства собственных чисел и векторов таких матриц не исчерпываются. Оказывается, что любые два собственных вектора симметричной матрицы, отвечающие разным собственным значениям, ортогональны.

Теорема. Если \(\boldsymbol A^\mathsf{T} = \boldsymbol A\), \(\boldsymbol {Ax} = \lambda \boldsymbol x\), \(\boldsymbol {Ay} = \mu \boldsymbol y\), \(\lambda \ne \mu\), то \(\boldsymbol x^\mathsf{T}\boldsymbol y = 0\).

Proof

Имеем

\[ (\lambda\boldsymbol x)^\mathsf{T} \boldsymbol y = (\boldsymbol{Ax})^\mathsf{T}\boldsymbol y = \boldsymbol x^\mathsf{T} \boldsymbol A^\mathsf{T} \boldsymbol y = \boldsymbol x^\mathsf{T} (\boldsymbol A \boldsymbol y) = \boldsymbol x^\mathsf{T} \mu \boldsymbol y. \]

Поскольку \(\lambda \ne \mu\), отсюда следует, что \(\boldsymbol x^\mathsf{T} \boldsymbol y = 0\), т.е. собственные векторы ортогональны.

Как мы помним, матрица с простым спектром всегда может быть диагонализирована. Из предыдущей теоремы следует, что если матрица вдобавок ещё и симметрична, то у неё существует ортнонормированный собственный базис.

Theorem (Spectral theorem)

Если симметричная матрица \(\boldsymbol A\) имеет простой спектр

\[ \mathrm{spec}(\boldsymbol A) = \{\lambda_1, \ldots, \lambda_n\}, \]

то существует такая ортогональная матрица \(\boldsymbol Q\), что

(60)\[ \boldsymbol Q^\mathsf{T}\boldsymbol{AQ} = \boldsymbol \Lambda = \mathrm{diag}\{\lambda_1, \ldots, \lambda_n\}.\]

Можно показать, что спектральная теорема справедлива для любой симметричной матрицы, а не только для матриц с простым спектром.

Exercises

1. Let \(\boldsymbol A\) be a diagonalizable matrix. Show that \(\lim\limits_{k\to\infty} \boldsymbol A^k = \boldsymbol 0\) iff \(\vert \lambda \vert < 1\) for all \(\lambda \in \mathrm{spec}(\boldsymbol A)\).

2. Show that any symmetric matrix \(\boldsymbol A\) with eigenvalues \(\lambda_1, \ldots, \lambda_n\) can be written as

   \[ \boldsymbol A = \sum\limits_{i=1}^n \lambda_i \boldsymbol x_i\boldsymbol x_i^\mathsf{T},\quad \boldsymbol x_i^\mathsf{T}\boldsymbol x_j = \delta_{ij}. \]

3. Let \(\boldsymbol A\) be a symmetric matrix, \( \mathrm{spec}(\boldsymbol A) = \{\lambda_1, \ldots, \lambda_n\}\). Prove that \(\mathrm{tr}(\boldsymbol A^\mathsf{T} \boldsymbol A) = \sum\limits_{i=1}^n \lambda_i^2\).