Функциональный анализ

Прошлая глава закончилась обещанием: функции можно считать точками пространства, у которого бесконечно много измерений. Проверим, что это не красивая метафора, а рабочий инструмент. Какой угол между функциями $x$ и $\sin x$? Вопрос звучит как шутка, но у него есть точный ответ: около $38{,}8^\circ$. А какова длина «вектора» $\left(1, \frac12, \frac13, \frac14, \dots\right)$ с бесконечным числом координат? Она равна $\frac{\pi}{\sqrt6} \approx 1{,}2825$, и к концу главы мы это докажем теоремой Пифагора.

Такие вопросы в начале XX века всерьёз задали себе Давид Гильберт в Гёттингене, Фридьеш Рис в Венгрии, Морис Фреше в Париже, а в 1920–1930-е годы — компания математиков из Львова, которые больше любили работать не в университете, а за столиками Шотландского кафе. Из их вопросов выросла наука с неудачным названием: функциональный анализ. Её предмет — пространства, точки которых функции, и отображения между такими пространствами.

Отправимся туда на экскурсию и возьмём с собой багаж из линейной алгебры: всё, что мы узнали о векторах в главах о векторах, матрицах и ортогональности. На границе бесконечной размерности его досмотрят. Вот что везём:

Что из этого пропустят, а что задержат, выяснится по дороге. В конце сверим список.

Сколько бывает длин

Такси в городе с прямоугольной сеткой улиц едет от перекрёстка $(0;\,0)$ до перекрёстка $(3;\,4)$: три квартала на восток и четыре на север, всего семь, как ни петляй. Вертолёт летит по прямой и пролетает $\sqrt{3^2 + 4^2} = 5$. Шахматный король доходит за четыре хода: каждым ходом он сдвигается по диагонали, пока не выровняется по одной из координат. Три честных ответа на вопрос «как далеко», и каждый хорош для своей задачи.

Число $p \ge 1$ выбирает способ мерить. $p = 1$ — такси, $p = 2$ — вертолёт, а при $p \to \infty$ формула переходит в $\|x\|_\infty = \max_i |x_i|$ — шахматного короля: наибольшее слагаемое в сумме начинает подавлять остальные. Модули координат в степени $p$. Чем больше $p$, тем сильнее вес у крупных координат. Корень возвращает правильную размерность: если растянуть вектор вдвое, длина тоже удвоится. Пример: для $x = (3;\,4)$ получаем $\|x\|_1 = 7$, $\|x\|_2 = 5$, $\|x\|_3 = \sqrt[3]{27 + 64} \approx 4{,}498$ и $\|x\|_\infty = 4$.

Что общего у всех этих длин? Три свойства, без которых слово «длина» теряет смысл.

Удобнее всего увидеть норму через её единичный шар — множество векторов с $\|x\| \le 1$. У такси это ромб, у вертолёта круг, у короля квадрат. Норма любой точки прочитывается по шару: надо раздуть или сжать шар так, чтобы его граница прошла через точку, и коэффициент растяжения и есть норма.

При $p = \frac12$ шар превращается в четырёхлучевую звезду, и формула перестаёт давать норму. Проверим на векторах $e_1 = (1;\,0)$ и $e_2 = (0;\,1)$: у обоих «длина» $1$, а у суммы $\|(1;\,1)\|_{1/2} = (1 + 1)^2 = 4 > 1 + 1$. Дело в форме шара: у звезды есть вмятины, и в этом вся причина.

Хитрость в том, чтобы сжать $u$ и $v$ до единичной длины, взять точку на хорде между ними, а потом растянуть её обратно. На чертеже шар нарочно кривой: доказательство годится для любого выпуклого шара.

Если один из векторов нулевой, например $v = 0$, то обе части неравенства равны $N(u)$, и доказывать нечего. Пусть оба ненулевые, $a = N(u) > 0$ и $b = N(v) > 0$. Положим $\hat u = \frac{u}{a}$ и $\hat v = \frac{v}{b}$. По однородности $N(\hat u) = \frac{N(u)}{a} = 1$ и так же $N(\hat v) = 1$: обе точки лежат на границе шара. Запишем сумму через них: $u + v = a\hat u + b\hat v = (a + b)\,w$, где $w = \frac{a}{a + b}\,\hat u + \frac{b}{a + b}\,\hat v$. Два коэффициента неотрицательны и дают в сумме $1$, поэтому $w$ лежит на отрезке между $\hat u$ и $\hat v$ — на хорде шара. Шар выпуклый, а оба конца хорды ему принадлежат. Значит, и $w$ лежит в шаре: $N(w) \le 1$. По однородности $N(u + v) = N\bigl((a + b)w\bigr) = (a + b)\,N(w) \le a + b = N(u) + N(v)$. На чертеже $u + v$ — это $w$, растянутый в $a + b$ раз, и он не выходит из шара радиуса $a + b$. Обратно, пусть неравенство треугольника выполнено, $x, y \in B$ и $0 \le t \le 1$. Тогда $N\bigl(tx + (1 - t)y\bigr) \le N(tx) + N\bigl((1 - t)y\bigr) = tN(x) + (1 - t)N(y) \le t + (1 - t) = 1$, то есть весь отрезок от $x$ до $y$ лежит в $B$.

Теперь проверить, что формула $\|x\|_p$ при $p \ge 1$ задаёт норму, стало просто: достаточно убедиться, что её шар выпуклый. Самое трудное свойство, неравенство треугольника, называют неравенством Минковского: Герман Минковский использовал его в «Геометрии чисел» (1896).

На плоскости все эти нормы похожи друг на друга: шары вложены один в другой, как матрёшки.

Идея: неравенство между нормами — то же самое, что вложение шаров. Чем больше норма, тем меньше её единичный шар. Чертёж — для $n = 2$.

$\|x\|_\infty \le \|x\|_2$: наибольший из квадратов $x_i^2$ — одно из слагаемых суммы $x_1^2 + \dots + x_n^2$, а остальные слагаемые неотрицательны, так что $\max x_i^2 \le \sum x_i^2$; остаётся извлечь корень. На чертеже круг $B_2$ лежит внутри квадрата $B_\infty$. $\|x\|_2 \le \|x\|_1$: раскроем квадрат суммы, $(|x_1| + \dots + |x_n|)^2 = \sum x_i^2 + 2\sum_{i < j}|x_i|\,|x_j| \ge \sum x_i^2$, и снова извлечём корень. Ромб $B_1$ лежит внутри круга. $\|x\|_1 \le n\|x\|_\infty$: каждое из $n$ слагаемых $|x_i|$ не больше наибольшего. Квадрат $B_\infty$ помещается в ромб, раздутый в $n$ раз. Цепочка неравенств собрана. Точка $x$ на чертеже показывает её на числах: какую точку ни возьми, три нормы идут в одном порядке, и наибольшая не больше чем вдвое превосходит наименьшую.

В бесконечномерном мире эта идиллия кончается. Возьмём последовательность из $n$ единиц и дальше одних нулей: $(1, 1, \dots, 1, 0, 0, \dots)$. Её нормы: $\|\cdot\|_\infty = 1$, $\|\cdot\|_2 = \sqrt n$, $\|\cdot\|_1 = n$. При $n$, равном миллиону, это $1$, $1000$ и миллион. Никакая постоянная $C$ не даст $\|x\|_1 \le C\,\|x\|_\infty$ сразу для всех таких векторов. Первый предмет багажа задержан: в бесконечной размерности разные нормы описывают по-настоящему разные миры, и вопрос «сходится ли последовательность» зависит от того, какой нормой мерить.

Найдите $\|x\|_2$ для $x = (2;\,-6;\,3)$. Для сравнения прикиньте $\|x\|_1$ и $\|x\|_\infty$.

$\|x\|_2 = \sqrt{4 + 36 + 9} = \sqrt{49} = 7$. Заодно $\|x\|_1 = 2 + 6 + 3 = 11$ и $\|x\|_\infty = 6$. Цепочка $6 \le 7 \le 11 \le 3 \cdot 6$ выполняется.

Функции становятся точками

Сделаем первый шаг за границу: разрешим векторам иметь бесконечно много координат, $x = (x_1, x_2, x_3, \dots)$. Складывать и умножать на число можно по-прежнему покоординатно. Длину по Пифагору тоже можно записать, $\|x\|^2 = x_1^2 + x_2^2 + \dots$, только теперь это ряд, и он может расходиться.

Последовательность $\left(1, \frac12, \frac13, \dots\right)$ лежит в $\ell^2$: сумма квадратов $\sum\frac1{n^2}$ сходится, это задача Базеля из главы о рядах. А $\left(1, \frac1{\sqrt2}, \frac1{\sqrt3}, \dots\right)$ не лежит, хотя её координаты тоже стремятся к нулю: сумма их квадратов — гармонический ряд, и он расходится. Всё определение держится на двух проверках. Сумма двух векторов из $\ell^2$ снова в $\ell^2$, потому что $(a + b)^2 \le 2a^2 + 2b^2$. Ряд $\sum x_ny_n$ сходится абсолютно, потому что $|x_ny_n| \le \frac12(x_n^2 + y_n^2)$. Похожие пространства $\ell^1$ (сходится $\sum|x_n|$) и $\ell^\infty$ (координаты ограничены) устроены так же, но скалярного произведения у них нет — почему, скажет теорема о параллелограмме ниже.

С функциями на отрезке $[-\pi;\,\pi]$ происходит то же самое, только «координат» у функции столько, сколько точек на отрезке, и сумма превращается в интеграл. Скалярное произведение функций $\langle f, g\rangle = \int_{-\pi}^{\pi}f(x)g(x)\,dx$ появилось ещё в главе о рядах Фурье. Общее у всех примеров — три свойства.

Доказательство неравенства Коши — Буняковского $|\langle x, y\rangle| \le \|x\|\,\|y\|$ в главе об ортогональности опиралось только на эти три свойства, поэтому оно верно в любом таком пространстве, а с ним и неравенство треугольника: $\|x + y\|^2 = \|x\|^2 + 2\langle x, y\rangle + \|y\|^2 \le \|x\|^2 + 2\|x\|\,\|y\| + \|y\|^2 = (\|x\| + \|y\|)^2$. Так что $\sqrt{\langle x, x\rangle}$ — норма, и в пространстве функций есть и расстояния, и углы.

С функциями есть одна тонкость. Если $f$ отлична от нуля в одной-единственной точке, то $\int f^2 = 0$, и третье свойство скалярного произведения ломается. Выход подсказала глава о мере: функции, которые совпадают почти всюду, то есть везде, кроме множества меры нуль, считают одной и той же точкой пространства.

Есть ли скалярное произведение, которое порождает норму $\|\cdot\|_1$ или $\|\cdot\|_\infty$? Есть простой тест.

Для $\|\cdot\|_p$ проверим тождество на $u = e_1$, $v = e_2$: слева $\|(1;\,1)\|_p^2 + \|(1;\,-1)\|_p^2 = 2 \cdot 2^{2/p}$, справа $4$. Равенство выполняется только при $2^{2/p} = 2$, то есть при $p = 2$. Значит, из всех норм $\|\cdot\|_p$ только евклидова приходит из скалярного произведения, и только в ней есть углы. В виджете выше строка «параллелограмм» становится зелёной лишь при $p = 2$.

Найдите скалярное произведение $\langle x, \sin 2x\rangle$ на отрезке $[-\pi;\,\pi]$. Ответ можно записать через $\pi$, например 2pi.

Интегрируем по частям: $\int_{-\pi}^{\pi}x\sin 2x\,dx = \Bigl[-\frac{x\cos 2x}{2}\Bigr]_{-\pi}^{\pi} + \frac12\int_{-\pi}^{\pi}\cos 2x\,dx = -\frac{\pi}{2} - \frac{\pi}{2} + 0 = -\pi$. Угол между $x$ и $\sin 2x$ тупой: пила и вторая гармоника на большей части отрезка смотрят в разные стороны.

Пифагор с бесконечным числом катетов

В главе 39 координаты вектора в ортонормированном базисе находились без всяких систем уравнений: $c_k = \langle x, e_k\rangle$. В бесконечномерном пространстве базис из конечного числа векторов не построить, но попарно перпендикулярных единичных векторов может быть бесконечно много.

В $\ell^2$ такая система — векторы $e_1 = (1, 0, 0, \dots)$, $e_2 = (0, 1, 0, \dots)$ и так далее. В $L^2[-\pi;\,\pi]$ — гармоники из главы о рядах Фурье, поделённые на свои длины:

$$\frac{1}{\sqrt{2\pi}},\quad \frac{\cos x}{\sqrt\pi},\quad \frac{\sin x}{\sqrt\pi},\quad \frac{\cos 2x}{\sqrt\pi},\quad \frac{\sin 2x}{\sqrt\pi},\quad \dots$$

Их попарная ортогональность — теорема из главы 33, а деление на $\sqrt\pi$ и $\sqrt{2\pi}$ делает длины единичными. Координаты функции в этой системе отличаются от коэффициентов $a_n$, $b_n$ только множителем: $\langle f, \frac{\cos nx}{\sqrt\pi}\rangle = \sqrt\pi\,a_n$. Ряд Фурье оказывается разложением вектора по базису — тем же, что запись стрелки через $\vec\imath$ и $\vec\jmath$, только осей бесконечно много.

Теорема о ближайшей точке из главы 39 тоже использовала только свойства скалярного произведения. Поэтому лучшее приближение вектора $f$ комбинациями $e_1, \dots, e_N$ — его проекция $P_Nf = c_1e_1 + \dots + c_Ne_N$, и в пространстве функций это частичная сумма ряда Фурье. Отсюда первая оценка.

Идея: $f$, его проекция и перпендикуляр образуют прямоугольный треугольник, а катет, лежащий в плоскости, снова раскладывается по Пифагору. Чертёж — для $N = 2$ в трёхмерном пространстве; в любом другом всё пишется теми же формулами.

Проекция $P_Nf = c_1e_1 + \dots + c_Ne_N$ лежит в подпространстве $W_N$, натянутом на $e_1, \dots, e_N$. На чертеже её координаты $c_1$ и $c_2$ отложены вдоль осей. Разность $f - P_Nf$ перпендикулярна каждому $e_j$ при $j \le N$. По линейности $\langle f - P_Nf, e_j\rangle = \langle f, e_j\rangle - \sum_{k \le N}c_k\langle e_k, e_j\rangle$. В сумме выживает только слагаемое с $k = j$, где $\langle e_j, e_j\rangle = 1$, поэтому получается $c_j - c_j = 0$. Значит, $f - P_Nf$ перпендикулярна и любой комбинации $e_1, \dots, e_N$, в том числе самой $P_Nf$. Теорема Пифагора в пространстве со скалярным произведением: для перпендикулярных $a$ и $b$ имеем $\|a + b\|^2 = \|a\|^2 + 2\langle a, b\rangle + \|b\|^2 = \|a\|^2 + \|b\|^2$. С $a = P_Nf$ и $b = f - P_Nf$ получаем $\|f\|^2 = \|P_Nf\|^2 + \|f - P_Nf\|^2$. Внутри $W_N$ векторы $c_ke_k$ попарно перпендикулярны, и та же теорема, применённая $N - 1$ раз, даёт $\|P_Nf\|^2 = c_1^2 + \dots + c_N^2$. Подставив, получаем $\|f - P_Nf\|^2 = \|f\|^2 - \sum_{k \le N}c_k^2$. Левая часть неотрицательна, поэтому частичные суммы ряда $\sum c_k^2$ не превосходят $\|f\|^2$. Ряд с неотрицательными членами и ограниченными частичными суммами сходится, и его сумма тоже не больше $\|f\|^2$.

Неравенство Бесселя говорит, что координаты не могут унести больше энергии, чем есть у сигнала. Сколько они уносят на самом деле, покажет следующий виджет. Полоса под графиком — квадрат длины $\|f\|^2$, разрезанный на квадраты координат $c_k^2$; заштрихованный остаток — квадрат ошибки.

Полоса у всех сигналов заполняется до конца: ошибка уходит в ноль. Если так бывает для каждого вектора, в неравенстве Бесселя стоит знак равенства.

Квадрат длины вектора, у сигнала — его энергия, интеграл квадрата. Координаты по полной ортонормированной системе. Равенство — теорема Пифагора, у которой катетов бесконечно много. То же самое для тригонометрической системы через обычные коэффициенты Фурье: $c_0^2 = \frac{\pi a_0^2}{2}$, а для гармоник $c^2 = \pi a_n^2$ и $\pi b_n^2$; делим обе части на $\pi$. Пример: у пилы $f(x) = x$ все $a_n = 0$, а $b_n = \frac{2(-1)^{n+1}}{n}$ (глава 33). Слева $\frac1\pi\cdot\frac{2\pi^3}{3} = \frac{2\pi^2}{3} \approx 6{,}580$, справа $4 + 1 + \frac49 + \frac14 + \dots$; первые десять слагаемых дают $6{,}199$.

Равенство носит имя Марка-Антуана Парсеваля, который записал родственное утверждение о рядах ещё в 1799 году, без строгого доказательства. Для тригонометрической системы и всех функций из $L^2$ оно верно, но мы докажем его для функций, с которыми работали в главе 33, — кусочно-гладких. Этого хватит, чтобы в третий раз за курс получить $\frac{\pi^2}{6}$.

Хитрость в том, чтобы сначала доказать равенство для непрерывных функций, где частичные суммы подходят равномерно, а потом заменить скачок крутым пандусом. Ошибка при такой замене маленькая, а лучшее приближение не хуже любого другого. Чертёж — для пилы $f(x) = x$ и $N = 6$.

Частичная сумма $S_Nf$ — проекция $f$ на подпространство, натянутое на $1, \cos x, \sin x, \dots, \cos Nx, \sin Nx$. По неравенству Бесселя $\|f - S_Nf\|^2 = \|f\|^2 - \pi\bigl(\frac{a_0^2}{2} + \sum_{n \le N}(a_n^2 + b_n^2)\bigr)$. Значит, равенство Парсеваля — ровно утверждение $\|f - S_Nf\| \to 0$. На чертеже закрашен промежуток между $f$ и $S_6f$: ошибка сидит прежде всего у скачка. Пусть сначала $g$ непрерывна, кусочно-гладкая и $g(-\pi) = g(\pi)$. Проинтегрируем по частям на каждом куске гладкости: $a_n(g) = -\frac{b_n(g')}{n}$, $b_n(g) = \frac{a_n(g')}{n}$. Слагаемые на границах кусков сокращаются: на внутренних стыках — потому что $g$ непрерывна, на концах — потому что $g(-\pi) = g(\pi)$, $\cos(-n\pi) = \cos n\pi$ и $\sin(\pm n\pi) = 0$. Получается, коэффициенты $g$ в $n$ раз меньше коэффициентов её производной. У пандуса $g$ на чертеже $b_n = \frac{2\sin n(\pi - \delta)}{\delta n^2}$. Из этого следует $\sum_n(|a_n| + |b_n|) < \infty$. По неравенству Коши — Буняковского для последовательностей $\sum\frac{|a_n(g')| + |b_n(g')|}{n} \le \sqrt{\sum\frac{2}{n^2}}\,\sqrt{\sum\bigl(a_n(g')^2 + b_n(g')^2\bigr)}$ (для конечных сумм это неравенство из главы 39, дальше переходим к пределу). Первый корень конечен (глава 30), второй — по неравенству Бесселя для кусочно-непрерывной $g'$. По теореме Дирихле (глава 33) ряд $g$ в каждой точке сходится к $g(x)$, поэтому $|g(x) - S_Ng(x)| = \bigl|\sum_{n > N}(a_n\cos nx + b_n\sin nx)\bigr| \le r_N$, где $r_N = \sum_{n > N}(|a_n| + |b_n|)$ — хвост сходящегося ряда, $r_N \to 0$. Оценка одна на весь период: $S_Ng$ не выходит из полосы. Отсюда $\|g - S_Ng\|^2 \le 2\pi r_N^2 \to 0$. Теперь пила $f$ со скачком. Заменим скачок пандусом: $g = f$ всюду, кроме отрезков длиной $\delta$ у концов, где $g$ линейно спускается до нуля. Функция $g$ непрерывна, кусочно-гладкая и $g(\pm\pi) = 0$. Разница $|f - g|$ не больше $\pi$ и отлична от нуля на отрезках общей длиной $2\delta$, поэтому $\|f - g\|^2 \le 2\delta\pi^2$. Для любой кусочно-гладкой функции со скачками поступаем так же у каждого скачка. Частичная сумма $S_Ng$ лежит в том же подпространстве, что и $S_Nf$, а $S_Nf$ — ближайшая к $f$ точка этого подпространства. Поэтому $\|f - S_Nf\| \le \|f - S_Ng\|$, и по неравенству треугольника $\|f - S_Ng\| \le \|f - g\| + \|g - S_Ng\|$. Возьмём $\varepsilon > 0$. Выберем $\delta$ так, чтобы $\|f - g\| < \frac\varepsilon2$, затем $N_0$, после которого $\|g - S_Ng\| < \frac\varepsilon2$ (шаг 3). При $N \ge N_0$ получаем $\|f - S_Nf\| < \varepsilon$. Значит, $\|f - S_Nf\| \to 0$, и по шагу 1 равенство Парсеваля доказано.

Для $f(x) = x^2$ на $[-\pi;\,\pi]$ коэффициенты Фурье равны $a_0 = \frac{2\pi^2}{3}$, $a_n = \frac{4(-1)^n}{n^2}$, $b_n = 0$ (глава 33). Найдите с помощью равенства Парсеваля сумму $\sum_{n=1}^{\infty}\frac1{n^4}$. Ответ запишите через $\pi$, например pi^4/90.

Слева $\frac1\pi\int_{-\pi}^{\pi}x^4\,dx = \frac{2\pi^4}{5}$. Справа $\frac{a_0^2}{2} + \sum a_n^2 = \frac{2\pi^4}{9} + 16\sum\frac1{n^4}$. Отсюда $16\sum\frac1{n^4} = \frac{2\pi^4}{5} - \frac{2\pi^4}{9} = \frac{8\pi^4}{45}$ и $\sum\frac1{n^4} = \frac{\pi^4}{90} \approx 1{,}0823$ — второй результат Эйлера из той же главы 30.

Для пилы $\|x - S_N\| \to 0$. Следует ли отсюда, что $S_N(x) \to x$ в каждой точке отрезка $[-\pi;\,\pi]$?

Да, раз ошибка стремится к нулю Нет: например, в точке $\pi$ все $S_N$ равны нулю Нет, ни в одной точке

Все синусы в точке $\pi$ обращаются в ноль, так что $S_N(\pi) = 0$ при любом $N$, а $f(\pi) = \pi$ (или $-\pi$, смотря как продолжить). Сходимость по норме $L^2$ — сходимость интегралов, а не значений: одна точка, и даже любое множество меры нуль, на неё не влияет. Самый сильный результат о поточечной сходимости — теорема Карлесона (1966) — упоминался в главе 33.

Шотландское кафе

Летом 1916 года краковский математик Гуго Штейнгауз гулял по городскому парку Планты и услышал, как двое молодых людей на скамейке упомянули Лебега. Он подсел к ним. Одним из собеседников был Стефан Банах, студент-самоучка, который так и не закончил инженерное образование. Штейнгауз предложил ему задачу, над которой бился сам, и через несколько дней Банах принёс решение. По словам Штейнгауза, Банах стал его величайшим математическим открытием.

В 1920 году Банах защитил во Львове диссертацию, опубликованную в 1922-м. В ней впервые аксиомами описаны пространства, которые теперь носят его имя: векторное пространство, норма и одно дополнительное требование — полнота. В 1932 году вышла его книга «Теория линейных операций», по которой функциональный анализ учили следующие полвека.

Львовская школа работала в кофейнях. Любимым местом было Шотландское кафе, где задачи писали карандашом прямо на мраморных столиках, а уборщица каждый вечер их стирала. Тогда жена Банаха купила толстую тетрадь, которую хранил официант и выдавал по первому требованию. С 1935 по 1941 год Банах, Штейнгауз, Станислав Мазур, Станислав Улам и их гости записали в «Шотландскую книгу» 193 задачи. За решения назначались призы — от кружки пива до бутылки вина. В 1936 году Мазур пообещал за задачу № 153 живого гуся. Задачу решил в 1972 году молодой швед Пер Энфло, приехал в Варшаву, и Мазур вручил ему гуся. Задача была тесно связана с вопросом из книги Банаха: у всякого ли «достаточно хорошего» (сепарабельного) банахова пространства есть базис — последовательность векторов, по которой любой вектор единственным образом раскладывается в сходящийся ряд. Энфло построил пространство, у которого базиса нет, и ответил на оба вопроса.

Что же такое полнота? В главе о строгом анализе действительные числа отличались от рациональных тем, что в них сходится каждая фундаментальная последовательность — та, члены которой неограниченно сближаются друг с другом. В нормированном пространстве определение то же, только расстояние меряется нормой: последовательность $x_1, x_2, \dots$ фундаментальна, если для любого $\varepsilon > 0$ найдётся номер, после которого $\|x_m - x_n\| < \varepsilon$.

Неполные пространства встречаются на каждом шагу. Возьмём непрерывные функции на $[-1;\,1]$ с нормой $\|f\| = \sqrt{\int f^2}$ и последовательность «ступенек со скатом»: $f_n(x) = -1$ при $x \le -\frac1n$, $f_n(x) = 1$ при $x \ge \frac1n$ и $f_n(x) = nx$ между ними. При $m > n$ функции $f_m$ и $f_n$ различаются только на интервале $\left(-\frac1n;\,\frac1n\right)$, и там не больше чем на $1$, так что $\|f_m - f_n\|^2 \le \frac2n$: последовательность фундаментальна. Но сходится она к разрывной ступеньке $\operatorname{sgn}x$: $\|f_n - \operatorname{sgn}\|^2 = 2\int_0^{1/n}(1 - nx)^2\,dx = \frac{2}{3n} \to 0$. Непрерывного предела нет: он совпадал бы со ступенькой почти всюду, а непрерывная функция не может быть равна $-1$ почти всюду слева от нуля и $1$ почти всюду справа. В пространстве непрерывных функций на месте ступеньки дыра.

Полнота нужна, чтобы работали пределы: без неё построенный итерациями объект может оказаться дырой. Для последовательностей её проверить нетрудно.

Идея: сначала найти кандидата в пределы по координатам, пользуясь полнотой прямой, а затем оценить хвосты через конечные суммы, для которых предел переносится без хлопот.

Каждая координата сходится. Для номера $k$ имеем $|x^{(m)}_k - x^{(l)}_k| \le \|x^{(m)} - x^{(l)}\|$: одно слагаемое суммы квадратов не больше всей суммы. Значит, числа $x^{(1)}_k, x^{(2)}_k, \dots$ образуют фундаментальную последовательность, и по критерию Коши (глава 53) у неё есть предел. Обозначим его $x_k$ и положим $x = (x_1, x_2, \dots)$. Возьмём $\varepsilon > 0$ и номер $M$, после которого $\|x^{(m)} - x^{(l)}\| < \varepsilon$. Для любого $K$ и любых $m, l \ge M$ конечная сумма $\sum_{k=1}^{K}|x^{(m)}_k - x^{(l)}_k|^2 < \varepsilon^2$. Зафиксируем $m$ и устремим $l$ к бесконечности: слагаемых конечное число, каждое стремится к $|x^{(m)}_k - x_k|^2$, поэтому $\sum_{k=1}^{K}|x^{(m)}_k - x_k|^2 \le \varepsilon^2$. Это верно при любом $K$, так что частичные суммы ряда $\sum_k|x^{(m)}_k - x_k|^2$ ограничены числом $\varepsilon^2$, ряд сходится, и его сумма не больше $\varepsilon^2$. Значит, вектор $x^{(m)} - x$ лежит в $\ell^2$ и $\|x^{(m)} - x\| \le \varepsilon$ при $m \ge M$. Вектор $x = x^{(m)} - (x^{(m)} - x)$ — разность двух векторов из $\ell^2$, поэтому и сам лежит в $\ell^2$. А $\|x^{(m)} - x\| \le \varepsilon$ при всех $m \ge M$ означает, что $x^{(m)} \to x$ по норме.

Пространство $L^2$ полно тоже, и ради этого его определяли через интеграл Лебега и классы почти всюду равных функций: интеграл Римана оставил бы дыры. Это теорема Риса — Фишера (1907), и её доказательство — хороший повод применить теоремы о пределах под знаком интеграла из главы 54.

Вместе с равенством Парсеваля это даёт сильное следствие. Каждой функции из $L^2[-\pi;\,\pi]$ соответствует последовательность её коэффициентов из $\ell^2$, и обратно: какую последовательность с конечной суммой квадратов ни возьми, по полноте ряд $\sum c_ke_k$ сходится к функции с такими коэффициентами. Длины и углы при этом сохраняются. Пространство сигналов и пространство последовательностей — одно и то же гильбертово пространство, записанное в двух системах координат. Этот факт через несколько страниц встретится в физике.

Карта на столе

Положите на стол карту города, в котором вы сидите. Утверждается, что ровно одна точка карты лежит точно над тем местом города, которое она изображает. Не важно, как карта повёрнута и где лежит, лишь бы целиком внутри города. Проверьте на игрушечном городе.

Что здесь происходит на языке этой главы? Каждой точке $x$ города сопоставлена точка $T(x)$ — то место, над которым лежит изображение $x$ на маленькой карте. Отображение $T$ уменьшает все расстояния в одно и то же число раз: во столько, во сколько карта мельче города. Булавка — точка, для которой $T(x) = x$. Чтобы говорить о таких отображениях в общем виде, нужно только расстояние.

Всякое нормированное пространство метрическое с $d(x, y) = \|x - y\|$, но метрические пространства бывают и без сложения: например, множество всех фигур на плоскости, о котором речь пойдёт чуть ниже.

Идея: шаги итераций укорачиваются в геометрической прогрессии, поэтому весь оставшийся путь помещается в круг, который сам сжимается в точку. Полнота гарантирует, что в этой точке что-то есть.

Обозначим $d_0 = d(x_0, x_1)$. Так как $x_{k+1} = T(x_k)$ и $x_{k+2} = T(x_{k+1})$, по определению сжатия $d(x_{k+1}, x_{k+2}) \le q\,d(x_k, x_{k+1})$, и по индукции $d(x_k, x_{k+1}) \le q^kd_0$. На чертеже каждый следующий шаг ломаной короче предыдущего хотя бы в $\frac1q$ раз. При $n > m$ по неравенству треугольника $d(x_m, x_n) \le d(x_m, x_{m+1}) + \dots + d(x_{n-1}, x_n) \le (q^m + q^{m+1} + \dots)\,d_0 = \frac{q^m}{1 - q}\,d_0$ — сумма геометрической прогрессии. Все точки после $x_m$ лежат в круге с центром $x_m$ и радиусом $\frac{q^m}{1 - q}d_0$. Обозначим этот круг $B_m$. Радиусы стремятся к нулю, так что последовательность фундаментальна. Круги вложены друг в друга, как матрёшки: $B_{m+1} \subset B_m$, потому что $d(x_m, x_{m+1}) + \frac{q^{m+1}}{1 - q}d_0 \le q^md_0 + \frac{q^{m+1}}{1 - q}d_0 = \frac{q^m}{1 - q}d_0$. Пространство полное, поэтому $x_k \to x^*$ для некоторой точки $x^* \in X$. Сжатие непрерывно: $d(Tx_k, Tx^*) \le q\,d(x_k, x^*) \to 0$. Значит, $x_{k+1} = Tx_k \to Tx^*$, но та же последовательность сходится к $x^*$, а предел единствен. Значит, $Tx^* = x^*$. Единственность. Если $Ty = y$ для другой точки, то $d(x^*, y) = d(Tx^*, Ty) \le q\,d(x^*, y)$. При $q < 1$ это возможно только при $d(x^*, y) = 0$, то есть $y = x^*$. На чертеже любая другая точка $y$ сдвигается отображением $T$. Оценка скорости: в неравенстве из шага 2 устремим $n$ к бесконечности; расстояние непрерывно, и $d(x_m, x^*) \le \frac{q^m}{1 - q}\,d(x_0, x_1)$.

Карта на столе — частный случай: город с обычным расстоянием на плоскости — полное пространство, а $T$ — сжатие в $q$ раз, где $q$ — отношение масштабов. Требование «карта целиком внутри города» нужно, чтобы $T$ отображало город в себя. Если маленькая карта свешивается со стола, теорема ничего не обещает, и неподвижная точка может уйти за край.

Точка после $m$ итераций. Коэффициент сжатия. Чем он ближе к $1$, тем медленнее сходимость и тем больше множитель $\frac1{1 - q}$. Длина первого шага: её можно измерить, ещё ничего не зная о $x^*$. Пример: уравнение $x = \cos x$ на отрезке $[0;\,1]$. Косинус переводит отрезок в $[\cos 1;\,1] \subset [0;\,1]$, а по теореме Лагранжа $|\cos x - \cos y| \le \sin 1 \cdot |x - y|$, так что $q = \sin 1 \approx 0{,}841$. Из $x_0 = 1$ получаем $x_1 = \cos 1 \approx 0{,}540$, $d(x_0, x_1) \approx 0{,}460$, и оценка гарантирует точность $0{,}001$ после $47$ шагов. На деле хватает $13$: оценка осторожная. Корень $x^* = 0{,}7390851\dots$

Эта теорема уже работала в курсе, не называя себя. Доказательство теоремы Пикара в главе 31 строило решение дифференциального уравнения итерациями $y_{n+1}(t) = y_0 + \int_{t_0}^tf(s, y_n(s))\,ds$ — это итерации сжатия в пространстве непрерывных функций. А в главе 38 матрица переходов сжимала распределения в норме $\|\cdot\|_1$, и стационарное распределение нашлось как её неподвижная точка.

Для $T(x) = \frac x2 + 1$ на прямой и $x_0 = 0$: сколько итераций гарантирует оценка скорости, чтобы ошибка стала не больше $0{,}001$? Назовите наименьшее такое $m$.

Здесь $q = \frac12$, $x_1 = 1$, $d(x_0, x_1) = 1$, и оценка равна $\frac{(1/2)^m}{1/2} = 2^{1-m}$. Нужно $2^{1-m} \le 0{,}001$, то есть $2^{m-1} \ge 1000$. Так как $2^9 = 512$, а $2^{10} = 1024$, получаем $m - 1 = 10$, $m = 11$. Неподвижная точка $x^* = 2$, и настоящая ошибка $|x_m - 2| = 2^{1-m}$ совпадает с оценкой: для этого отображения она точная.

Папоротник как неподвижная точка

Самое неожиданное применение теоремы — картинки. Возьмём несколько сжатий плоскости $f_1, \dots, f_k$ и будем действовать ими не на точки, а на целые фигуры: фигуре $A$ сопоставим фигуру $F(A) = f_1(A) \cup \dots \cup f_k(A)$ — объединение её уменьшенных копий. Такой набор сжатий называют системой итерированных функций, а фигуру, которая совпадает с объединением своих копий, $F(K) = K$, — её аттрактором.

Чтобы применить теорему Банаха, нужно расстояние между фигурами. Его придумал Феликс Хаусдорф в 1914 году.

Существование аттрактора тоже следует из теоремы Банаха: ограниченные замкнутые множества плоскости с расстоянием Хаусдорфа образуют полное метрическое пространство. Доказательство полноты занимает страницу и держится на теореме Больцано — Вейерштрасса; его можно найти в книге Майкла Барнсли «Фракталы повсюду» (1988). Барнсли же показал, сколько умещается в нескольких сжатиях: четыре аффинных отображения, то есть 24 числа, рисуют папоротник.

Посмотрите, как устроены четыре сжатия. Первое сплющивает всё в отрезок — это стебель. Второе чуть поворачивает и уменьшает весь лист до $0{,}85$ — так получается верхушка, которая повторяет целое. Третье и четвёртое делают нижние листочки слева и справа. Самопохожесть здесь не украшение, а определение: папоротник — это фигура, которая равна объединению четырёх своих уменьшенных копий, и такая фигура единственна.

Гостиница Гильберта

Отображения между бесконечномерными пространствами называют операторами. Линейный оператор $T$ ограничен, если $\|Tx\| \le C\|x\|$ для одного и того же $C$ и всех $x$; наименьшее такое $C$ — его норма $\|T\|$, то самое наибольшее растяжение, что и у нормы матрицы. В $\mathbb R^n$ каждое линейное отображение ограничено, а в бесконечной размерности нет. Производная $f \mapsto f'$ на гладких функциях линейна, но $\|(\sin nx)'\| = n\,\|\sin nx\|$, и никакое $C$ не подходит.

Самые простые операторы на $\ell^2$ — сдвиги. Сдвиг вправо $S(x_1, x_2, \dots) = (0, x_1, x_2, \dots)$ и сдвиг влево $L(x_1, x_2, \dots) = (x_2, x_3, \dots)$. Это та самая гостиница Гильберта из главы о бесконечностях: $S$ переселяет каждого гостя в следующий номер и освобождает первый, $L$ выселяет гостя из первого номера и сдвигает остальных.

В конечной размерности так не бывает: по теореме о ранге и дефекте (глава 37) линейное отображение $\mathbb R^n \to \mathbb R^n$ без ядра автоматически «на», а равенство $AB = E$ для квадратных матриц влечёт $BA = E$. Пятый предмет багажа задержан. Посмотрим, что стало с собственными значениями.

У матрицы собственные значения — корни характеристического многочлена, и над $\mathbb C$ они всегда есть. У $S$ их нет вовсе: из $Sx = \lambda x$ следует $\lambda x_1 = 0$, $\lambda x_2 = x_1$, $\lambda x_3 = x_2$, и так далее. Если $\lambda \ne 0$, отсюда по очереди $x_1 = 0$, $x_2 = 0$, …; если $\lambda = 0$, то $Sx = 0$ и $x = 0$. А у $L$ собственных значений, наоборот, континуум: для любого $|\lambda| < 1$ вектор $(1, \lambda, \lambda^2, \dots)$ лежит в $\ell^2$, ведь $\sum|\lambda|^{2n} = \frac1{1 - |\lambda|^2}$, и $L(1, \lambda, \lambda^2, \dots) = (\lambda, \lambda^2, \dots) = \lambda\,(1, \lambda, \dots)$. Чтобы разумно говорить о «собственных значениях» таких операторов, определение расширяют.

Слово «спектр» в этом смысле ввёл Гильберт в работах об интегральных уравнениях начала 1900-х годов. По воспоминаниям, позже его забавляло, что спектры его операторов оказались теми самыми спектрами, которые физики видят в излучении атомов.

Квантовая механика

В 1925 году Вернер Гейзенберг описал атом бесконечными таблицами чисел — матрицами, а в 1926-м Эрвин Шрёдингер — волновыми функциями, решениями дифференциального уравнения. Две теории давали одинаковые предсказания, и было непонятно почему. Ответ сформулировал Джон фон Нейман в книге «Математические основы квантовой механики» (1932): состояние системы — единичный вектор гильбертова пространства, а измеримая величина — оператор. Матрицы Гейзенберга — это координаты операторов в $\ell^2$, волновые функции Шрёдингера — векторы $L^2$, а по теоремам Риса — Фишера и Парсеваля это одно и то же пространство в двух системах координат.

Возможные результаты измерения — точки спектра оператора. Если у оператора есть ортонормированный базис из собственных векторов $e_k$ с собственными значениями $\lambda_k$ и состояние $\psi = \sum c_ke_k$, то измерение даёт $\lambda_k$ с вероятностью $|c_k|^2$ (правило Борна, 1926). Сумма всех вероятностей равна $\sum|c_k|^2 = \|\psi\|^2 = 1$ — это равенство Парсеваля. А у координаты и импульса частицы собственных векторов в $L^2$ нет вовсе, как у нашего сдвига $S$, и их спектр сплошной: для таких операторов понятие спектра шире понятия собственного значения стало не прихотью, а необходимостью.

Шар, в котором всем хватает места

Последний предмет багажа — теорема Больцано — Вейерштрасса (глава 53): из любой ограниченной последовательности в $\mathbb R^n$ можно выбрать сходящуюся подпоследовательность. На ней держатся теоремы о максимуме непрерывной функции, о сравнимости норм и многое другое. Множества, в которых это свойство выполняется (из любой последовательности точек множества можно выбрать подпоследовательность, сходящуюся к точке этого же множества), называют компактными; в $\mathbb R^n$ компактны ограниченные замкнутые множества, в частности шар. В $\ell^2$ контрпример лежит на поверхности: векторы $e_1, e_2, e_3, \dots$ все единичной длины, а расстояние между любыми двумя из них равно $\sqrt{1^2 + 1^2} = \sqrt2$. Они не сгущаются нигде.

Идея: в бесконечномерном пространстве найдётся бесконечно много попарно перпендикулярных единичных векторов, а перпендикулярные единичные векторы стоят далеко друг от друга.

Пространство бесконечномерно, значит, в нём есть бесконечная линейно независимая последовательность векторов $v_1, v_2, \dots$: иначе конечный набор независимых векторов был бы базисом. Процесс Грама — Шмидта (глава 39) делает из первых $n$ из них ортонормированные $e_1, \dots, e_n$, а на следующем шаге только добавляет $e_{n+1}$, ничего не меняя в уже построенных. Получаем бесконечную ортонормированную систему $e_1, e_2, \dots$ При $i \ne j$ векторы $e_i$ и $e_j$ перпендикулярны, и по теореме Пифагора $\|e_i - e_j\|^2 = \|e_i\|^2 + \|e_j\|^2 = 2$. Каждые два из них на расстоянии $\sqrt2$. Любая сходящаяся последовательность фундаментальна: её члены с большими номерами сколь угодно близки друг к другу. Но любые два члена любой подпоследовательности $e_{i_1}, e_{i_2}, \dots$ отстоят друг от друга на $\sqrt2$. Шарики радиуса $\frac{\sqrt2}{2}$ вокруг векторов $e_i$ не пересекаются, и в каждом лежит только один член. Из последовательности $e_1, e_2, \dots$ нельзя выбрать фундаментальную, а значит, и сходящуюся подпоследовательность, хотя все её члены лежат в единичном шаре.

Следствие неприятное. Непрерывная функция на единичном шаре $\ell^2$ может не достигать наибольшего значения. Возьмём $F(x) = \sum_n\left(1 - \frac1n\right)x_n^2$. При $\|x\| \le 1$, $x \ne 0$ имеем $F(x) = \|x\|^2 - \sum\frac{x_n^2}{n} < 1$, а $F(e_n) = 1 - \frac1n \to 1$. Точная верхняя грань $1$ не достигается. На языке операторов $F(x) = \langle Dx, x\rangle$ для диагонального оператора $D = \operatorname{diag}\left(0, \frac12, \frac23, \dots\right)$, и число $1$ лежит в его спектре, но собственным значением не служит: та же история, что со сдвигом.

Ограниченная последовательность в $\ell^2$: $x^{(n)} = e_n + \frac1n e_1$. Можно ли выбрать из неё сходящуюся подпоследовательность?

Да, как у любой ограниченной последовательности Нет: при $m \ne n$ расстояние $\|x^{(m)} - x^{(n)}\|$ не меньше $\sqrt2 - 1$ Да, она сходится к нулю

$\|x^{(m)} - x^{(n)}\| \ge \|e_m - e_n\| - \bigl\|\frac1me_1 - \frac1ne_1\bigr\| \ge \sqrt2 - 1$ при $m, n \ge 2$ по неравенству треугольника. Члены подпоследовательности не сближаются, и она не фундаментальна.

Пора сверить багаж.

Куда дальше

В «Шотландской книге» остались задачи, которые не решены до сих пор. Обычно это значит, что не нашлось подходящей идеи. Но бывает ли иначе — задача, которую нельзя решить в принципе, не из-за слабости математиков, а потому что ответ не выводится из аксиом? В главе о бесконечностях такой пример уже мелькнул: континуум-гипотезу нельзя ни доказать, ни опровергнуть. Может ли так случиться с простым утверждением о натуральных числах, которое при этом истинно? Всё ли, что верно, можно доказать? Ответ дали Курт Гёдель и Алан Тьюринг, и о нём следующая глава.