Функции многих переменных

Прошлая глава оставила нас на горном склоне с простым вопросом: куда идти, чтобы подниматься как можно быстрее? Все наши инструменты — производная, интеграл, дифференциальные уравнения — рассчитаны на функции одного числа. А высота на склоне зависит от двух: от того, сколько вы прошли на восток, и от того, сколько на север. Шаг на восток может вести вверх, шаг на север — вниз, а про шаг на северо-восток ничего не скажешь, пока не посчитаешь.

Таких функций вокруг больше, чем функций одной переменной. Температура в комнате зависит от трёх координат и от времени. Цена билета — от даты вылета, даты возвращения и числа уже проданных мест. Ошибка нейросети — от миллионов параметров сразу. Мы отправимся в экспедицию по местности, у которой всего две координаты: этого хватит, чтобы увидеть всё главное, а формулы потом переносятся на любое число переменных почти без изменений. С собой возьмём карту, лупу и компас. К концу пути с их помощью найдутся вершины и перевалы, самая высокая точка тропы, дорога вниз в тумане и даже площадь под кривой, у которой нет первообразной.

Карта вместо горы

Выберем на местности начало координат, ось $x$ направим на восток, ось $y$ — на север. Каждой точке $(x;\,y)$ соответствует высота $z = f(x, y)$.

Поверхность трудно нарисовать на бумаге так, чтобы по рисунку можно было что-то измерить. Картографы давно нашли выход: на топографической карте проводят горизонтали — линии, вдоль которых высота одна и та же, например 100, 200 и 300 метров над морем.

Линии уровня уже встречались нам в главе 11: прибыль $300x + 400y$ там была линейной функцией, и её линии уровня были параллельными прямыми. У настоящей горы они изгибаются. Возьмём для начала простой холм $f(x, y) = 6 - x^2 - 2y^2$: расстояния в километрах, высота в сотнях метров. Его линии уровня $x^2 + 2y^2 = 6 - c$ — вложенные эллипсы, вытянутые с запада на восток. Где горизонтали теснятся, склон крутой; где расходятся — пологий. На одном и том же расстоянии от вершины склон к северу здесь вдвое круче, чем к востоку.

Уровень воды — удобный способ увидеть все линии уровня по очереди. Опуская воду над архипелагом, вы заметите закономерность: число островов меняется не когда угодно. Новый остров появляется, когда из воды выходит вершина, а два острова сливаются в один, когда вода опускается ниже перевала между ними. Вершины и перевалы — особые точки карты, и к ним мы ещё вернёмся.

Могут ли пересечься две линии уровня одной функции: $f = 1$ и $f = 2$?

Нет, никогда Да, на перевале Да, на вершине

В точке пересечения функция была бы равна и $1$, и $2$ сразу, а у функции в каждой точке одно значение. Горизонтали разных высот на карте никогда не касаются и не пересекаются.

Разрезы

Самый простой способ измерить крутизну — идти строго на восток. Тогда $y$ не меняется, и высота становится функцией одного $x$. Мы разрезали гору вертикальной плоскостью $y = b$ и смотрим на профиль разреза, обычный график функции одной переменной. Его наклон мы умеем находить с главы 26.

Сдвигаем только первую координату, то есть шагаем строго на восток. Вторая координата заморожена: мы остаёмся в плоскости разреза $y = b$. Длина шага. В пределе получается наклон профиля — во сколько раз высота меняется быстрее, чем $x$. Пример: у холма $f = 6 - x^2 - 2y^2$ при замороженном $y$ слагаемое $-2y^2$ — константа, поэтому $f_x = -2x$; так же $f_y = -4y$. В точке $(1;\,1)$ получаем $f_x = -2$ и $f_y = -4$: на восток склон идёт вниз, на север — вниз вдвое круче.

Считать частные производные легко: все переменные, кроме одной, считаем числами и дифференцируем по старым правилам. Смысл у них вполне практический. Объём консервной банки $V(r, h) = \pi r^2 h$ зависит от радиуса и высоты, и $\frac{\partial V}{\partial r} = 2\pi rh$, $\frac{\partial V}{\partial h} = \pi r^2$. У банки с $r = 3$ см и $h = 10$ см это $60\pi \approx 188$ и $9\pi \approx 28$ кубических сантиметров на сантиметр. Прибавьте миллиметр к радиусу — объём вырастет примерно на $19$ см³, а миллиметр к высоте даст меньше $3$ см³: радиус почти в семь раз «дороже».

Найдите $\frac{\partial f}{\partial y}$ для $f(x, y) = x^3y^2 - 4xy + y$.

Считаем $x$ числом. Тогда $x^3y^2$ — это $x^3$, умноженное на $y^2$, и его производная по $y$ равна $2x^3y$; у $-4xy$ производная $-4x$; у $y$ — единица. Итого $\frac{\partial f}{\partial y} = 2x^3y - 4x + 1$.

Лупа

Под микроскопом из главы 26 гладкий график становился прямой. У поверхности то же самое: чем сильнее увеличение, тем больше кусок горы вокруг точки похож на плоскость. Эта плоскость проходит через касательные к обоим разрезам, а плоскость однозначно задаётся двумя пересекающимися прямыми.

Высота в самой точке: плоскость проходит через точку поверхности. Наклон на восток. При $y = b$ формула превращается в касательную к синему разрезу. Наклон на север: при $x = a$ получается касательная к оранжевому разрезу. Пример: для холма в точке $(1;\,1)$ получаем $z = 3 - 2(x - 1) - 4(y - 1)$. В точке $(1{,}1;\,0{,}9)$, в ста метрах к востоку и к югу, плоскость даёт $3 - 0{,}2 + 0{,}4 = 3{,}2$, а сам холм $6 - 1{,}21 - 1{,}62 = 3{,}17$. Ошибка $0{,}03$. Вдвое меньший сдвиг, в точку $(1{,}05;\,0{,}95)$, даёт ошибку вчетверо меньше, $0{,}0075$: она убывает быстрее самого сдвига.

Формула плоскости имеет смысл всегда, когда есть обе частные производные. Но «веер» показывает, что плоскость при этом может ничего не значить. Нужно требование, которое говорит о всех направлениях сразу.

Если функция дифференцируема, числа $A$ и $B$ — обязательно частные производные: положим $k = 0$, разделим на $h$ и устремим $h$ к нулю, получится $A = f_x(a, b)$; так же $B = f_y(a, b)$. «Веер» в нуле не дифференцируем: вдоль диагонали ошибка плоскости $z = 0$ равна $\frac12$ и не уменьшается. У конуса $\sqrt{x^2 + y^2}$ в вершине нет даже частных производных: слева и справа наклоны $-1$ и $1$. Как узнать дифференцируемость, не проверяя все направления? Достаточно непрерывности частных производных.

Идея: идти из точки в точку не напрямую, а лесенкой, по одной координате за раз. На каждой ступеньке работает теорема для функций одной переменной.

Возьмём точку $B = (a + h;\,b + k)$ так близко к $A$, чтобы вся картинка лежала в окрестности из условия, и промежуточную точку $C = (a;\,b + k)$. Изменение высоты разложится на две ступеньки: $f(B) - f(A) = \big(f(C) - f(A)\big) + \big(f(B) - f(C)\big)$. На отрезке $CB$ меняется только $x$. Функция $x \mapsto f(x, b + k)$ дифференцируема на нём, потому что там существует $f_x$. По теореме Лагранжа о среднем значении (глава 27) найдётся точка $M_1$ на отрезке $CB$, в которой $f(B) - f(C) = f_x(M_1)\,h$. На отрезке $AC$ меняется только $y$, и та же теорема для функции $y \mapsto f(a, y)$ даёт точку $M_2$ на нём, в которой $f(C) - f(A) = f_y(M_2)\,k$. Обе точки $M_1$ и $M_2$ лежат не дальше $|AB| = \sqrt{h^2 + k^2}$ от $A$ и вместе с $B$ стремятся к $A$. По непрерывности $f_x(M_1) = f_x(A) + \varepsilon_1$ и $f_y(M_2) = f_y(A) + \varepsilon_2$, где $\varepsilon_1, \varepsilon_2 \to 0$. Складываем ступеньки: $f(B) - f(A) = f_x(A)h + f_y(A)k + \varepsilon_1h + \varepsilon_2k$. Остаток по модулю не больше $(|\varepsilon_1| + |\varepsilon_2|)\sqrt{h^2 + k^2}$, так как $|h|$ и $|k|$ не больше $|AB|$. Это и есть определение дифференцируемости.

Многочлены, экспоненты, синусы и их комбинации имеют непрерывные частные производные всюду, где определены, поэтому касательная плоскость у них есть в каждой точке. «Веер» и конус — исключения, собранные нарочно.

Компас

Путник на склоне не обязан ходить только на восток или на север. Пусть он идёт в направлении единичного вектора $\mathbf u = (\cos\varphi;\,\sin\varphi)$ — векторы, как и в университетских главах дальше, пишем жирными буквами. Как быстро меняется высота?

Считать её по определению для каждого направления не придётся. Всё решает правило, которое связывает изменение функции с движением по любой кривой.

Для прямой $\gamma(t) = P + t\mathbf u$ скорость равна $\mathbf u = (\cos\varphi;\,\sin\varphi)$, поэтому $D_{\mathbf u}f = f_x\cos\varphi + f_y\sin\varphi$. Справа стоит скалярное произведение из главы 22 — вектора $\mathbf u$ и вектора из двух частных производных. Этот вектор заслуживает имени.

Градиент $\nabla f = (f_x;\,f_y)$ — один вектор, в котором записаны наклоны во всех направлениях сразу. Единичный вектор направления, в котором идёт путник. Угол между направлением и градиентом. Формула верна для дифференцируемой функции; у «веера» в нуле она неверна. Пример: холм $f = 6 - x^2 - 2y^2$ в точке $(1;\,1)$, $\nabla f = (-2;\,-4)$. Идём прямо на вершину, $\mathbf u = \frac{1}{\sqrt2}(-1;\,-1)$: $D_{\mathbf u}f = \frac{2 + 4}{\sqrt2} = 3\sqrt2 \approx 4{,}24$. А вдоль градиента подъём $|\nabla f| = \sqrt{20} \approx 4{,}47$ — круче, хотя градиент смотрит не на вершину.

Идея: скалярное произведение на единичный вектор — это проекция, а проекция не длиннее самого вектора.

По цепному правилу $D_{\mathbf u}f = \nabla f \cdot \mathbf u$. Отложим от $P$ градиент $\overrightarrow{PG} = \nabla f(P)$ и единичный вектор $\mathbf u$. Опустим из $G$ перпендикуляр на прямую, идущую вдоль $\mathbf u$; основание назовём $Q$. Скалярное произведение с единичным вектором равно проекции (глава 22), поэтому $D_{\mathbf u}f$ — длина $PQ$ со знаком: плюс, если $Q$ лежит по ту сторону от $P$, куда смотрит $\mathbf u$. $PQ$ — катет прямоугольного треугольника $PQG$ с гипотенузой $PG = |\nabla f|$, а катет не длиннее гипотенузы. Значит, $|D_{\mathbf u}f| \le |\nabla f|$, и равенство бывает только при $Q = G$, то есть когда $\mathbf u$ направлен вдоль $\nabla f$ (подъём $|\nabla f|$) или против него (спуск $-|\nabla f|$). Угол $PQG$ прямой, поэтому все точки $Q$ лежат на окружности с диаметром $PG$ — это «роза» компаса. $D_{\mathbf u}f = 0$, когда $Q$ совпадает с $P$, то есть $\mathbf u \perp \nabla f$ — ровно два направления. Вдоль линии уровня высота постоянна: $f(\gamma(t)) = c$, и по цепному правилу $\nabla f(P) \cdot \gamma'(0) = 0$. Касательная к линии уровня идёт вдоль $\gamma'(0)$, и она перпендикулярна градиенту.

Путь быстрейшего подъёма всё время идёт вдоль градиента и потому пересекает горизонтали под прямым углом. На нашем холме из точки $(1;\,1)$ он не ведёт по прямой к вершине. Условие «скорость направлена вдоль $\nabla f = (-2x;\,-4y)$» даёт уравнение $\frac{dy}{dx} = \frac{2y}{x}$, и его решение по методам прошлой главы — парабола $y = x^2$. Ручьи текут так же, только против градиента. Поэтому реки на картах пересекают горизонтали под прямым углом.

Путник стоит на склоне эллиптического холма $f = 6 - x^2 - 2y^2$ в точке $(1;\,1)$. Куда смотрит градиент?

Прямо на вершину Перпендикулярно горизонтали, проходящей через путника Вдоль горизонтали

Градиент всегда перпендикулярен линии уровня. На вершину он смотрит, только когда горизонтали — окружности вокруг неё.

Квадратичные формы из главы 38 дают поучительный пример. Для $Q(x, y) = ax^2 + 2bxy + cy^2 = \langle \mathbf x, S\mathbf x\rangle$ с симметричной матрицей $S = \left(\begin{smallmatrix} a & b \\ b & c \end{smallmatrix}\right)$ градиент равен $(2ax + 2by;\,2bx + 2cy) = 2S\mathbf x$. Поэтому концы осей эллипса $Q = \text{const}$ — точки, где нормаль $2S\mathbf x$ идёт вдоль радиуса, — лежат на собственных векторах $S$.

Найдите градиент функции $5x^2 + 4xy + 2y^2$ в точке $(1;\,1)$.

$f_x = 10x + 4y$, $f_y = 4x + 4y$; в точке $(1;\,1)$ получаем $\nabla f = (14;\,8)$. Проверка через матрицу: $S = \left(\begin{smallmatrix} 5 & 2 \\ 2 & 2 \end{smallmatrix}\right)$, $S\mathbf x = (7;\,4)$, и $2S\mathbf x = (14;\,8)$.

Вершины и перевалы

На вершине компас растерян: подниматься некуда. Это можно сказать точно.

Обратное неверно, и горы это хорошо знают. Возьмём $f(x, y) = x^3 - 3x - y^2$. Уравнения $f_x = 3x^2 - 3 = 0$ и $f_y = -2y = 0$ дают две стационарные точки: $(-1;\,0)$ и $(1;\,0)$. В первой $f = 2$, и это вершина. Во второй $f = -2$, но это не вершина и не яма: вдоль оси $x$ точка $x = 1$ — дно ложбины (у функции $x^3 - 3x$ там минимум), а поперёк, вдоль направления оси $y$, — гребень (у $-2 - y^2$ максимум). Горные дороги прокладывают именно через такие точки.

Чтобы отличать вершины, ямы и сёдла, нужен следующий член приближения после плоскости — вторые производные. Обозначим $f_{xx} = \frac{\partial^2 f}{\partial x^2}$, $f_{yy}$ и смешанную $f_{xy} = \frac{\partial}{\partial y}\frac{\partial f}{\partial x}$. Около стационарной точки $P$ поверхность похожа на график квадратичной формы $\frac12(Ah^2 + 2Bhk + Ck^2)$ с коэффициентами $A = f_{xx}(P)$, $B = f_{xy}(P)$, $C = f_{yy}(P)$, и всё решает одно число.

Изгиб профиля вдоль оси $x$: у вершины он отрицателен, у ямы положителен. Изгиб вдоль оси $y$. Смешанная производная: насколько поверхность «закручена», как скрученный лист бумаги. Она может превратить два изгиба одного знака в седло. Пример: для $x^3 - 3x - y^2$ имеем $f_{xx} = 6x$, $f_{yy} = -2$, $f_{xy} = 0$. В точке $(-1;\,0)$: $\Delta = (-6)(-2) - 0 = 12 > 0$ и $f_{xx} < 0$ — максимум. В точке $(1;\,0)$: $\Delta = 6 \cdot (-2) = -12 < 0$ — седло.

Идея: свести всё к функции одной переменной вдоль отрезка, а знак квадратичной формы узнать, выделив полный квадрат, как в главе 10.

Возьмём сдвиг $(h;\,k)$ и функцию $\varphi(t) = f(P + t(h;\,k))$. Дважды применив цепное правило, получим $\varphi'(t) = f_xh + f_yk$ и $\varphi''(t) = f_{xx}h^2 + 2f_{xy}hk + f_{yy}k^2$ (все производные — в точке $P + t(h;\,k)$; равенство $f_{xy} = f_{yx}$ доказано ниже, в «Глубже»). По формуле Тейлора с остатком в форме Лагранжа (глава 30) $\varphi(1) = \varphi(0) + \varphi'(0) + \frac12\varphi''(\theta)$ при некотором $0 < \theta < 1$. В стационарной точке $\varphi'(0) = 0$, поэтому $f(P + (h;\,k)) - f(P) = \frac12 Q_M(h, k)$, где $Q_M(h, k) = A_Mh^2 + 2B_Mhk + C_Mk^2$ — форма со вторыми производными в точке $M = P + \theta(h;\,k)$. Выделим полный квадрат: $A\,Q(h, k) = (Ah + Bk)^2 + (AC - B^2)k^2$. Если $\Delta > 0$, то $A \ne 0$, и правая часть положительна при $(h;\,k) \ne (0;\,0)$: при $k \ne 0$ за счёт второго слагаемого, при $k = 0$ за счёт первого. Значит, $Q$ всюду, кроме нуля, имеет знак $A$; её линии уровня — эллипсы. Вторые производные непрерывны, поэтому числа $A_M$ и $\Delta_M = A_MC_M - B_M^2$ при $M$, близких к $P$, сохраняют знаки $A$ и $\Delta$. Значит, для всех достаточно малых ненулевых сдвигов разность $f(P + (h;\,k)) - f(P) = \frac12Q_M(h, k)$ имеет знак $A$: при $A > 0$ точка $P$ — строгий минимум, при $A < 0$ — максимум. Пусть $\Delta < 0$. Если $A \ne 0$, то $Q(1, 0) = A$, а $Q(-B, A) = A(AC - B^2) = A\Delta$ — числа разных знаков. Если $A = 0$, то $B \ne 0$ (иначе $\Delta = 0$), и $Q(t, 1) = 2Bt + C$ меняет знак вместе с $t$. В обоих случаях есть векторы $\mathbf v$ и $\mathbf w$ с $Q(\mathbf v) > 0 > Q(\mathbf w)$. При малых $s$ форма $Q_M(s\mathbf v) = s^2Q_M(\mathbf v)$ по непрерывности сохраняет знак $Q(\mathbf v)$, и так же для $\mathbf w$. Поэтому рядом с $P$ есть точки и выше, и ниже её: седло.

Случай $\Delta = 0$ для признака действительно безнадёжен: у $x^4 + y^4$, у $x^4 - y^4$ и у «седла для обезьяны» $x^3 - 3xy^2$ в нуле все вторые производные равны нулю, а поведение разное — минимум, обычное седло и седло с тремя впадинами, для двух ног и хвоста. Его можно рассмотреть в первом виджете главы.

Почему смешанные производные не зависят от порядка

Если смешанные производные $f_{xy}$ и $f_{yx}$ существуют около точки $(a;\,b)$ и непрерывны в ней, то $f_{xy}(a, b) = f_{yx}(a, b)$.

Посчитаем одну величину двумя способами. Пусть $D = f(a + h, b + k) - f(a + h, b) - f(a, b + k) + f(a, b)$ — сумма высот в углах прямоугольника, с плюсом в двух противоположных углах и с минусом в двух других. Положим $u(x) = f(x, b + k) - f(x, b)$; тогда $D = u(a + h) - u(a)$. По теореме Лагранжа $D = u'(\xi)h = \big(f_x(\xi, b + k) - f_x(\xi, b)\big)h$ для некоторого $\xi$ между $a$ и $a + h$. Разность в скобках — приращение функции $y \mapsto f_x(\xi, y)$, и по той же теореме она равна $f_{xy}(\xi, \eta)k$. Получается, что $D = f_{xy}(\xi, \eta)hk$ для некоторой точки $(\xi;\,\eta)$ прямоугольника. Если начать с функции $v(y) = f(a + h, y) - f(a, y)$, то $D = v(b + k) - v(b)$, и так же получится $D = f_{yx}(\xi', \eta')hk$. Значит, $f_{xy}(\xi, \eta) = f_{yx}(\xi', \eta')$. При $h, k \to 0$ обе точки стремятся к $(a;\,b)$, и по непрерывности $f_{xy}(a, b) = f_{yx}(a, b)$.

Равенством пользовались ещё Эйлер и Клеро в XVIII веке, а строгое доказательство при непрерывных производных опубликовал Герман Шварц в 1873 году. Без непрерывности теорема неверна: у функции $\frac{xy(x^2 - y^2)}{x^2 + y^2}$, $f(0, 0) = 0$, в нуле $f_{xy} = -1$, а $f_{yx} = 1$.

Найдите стационарную точку функции $f(x, y) = x^2 + xy + y^2 - 3x$. Вершина это, яма или седло?

$f_x = 2x + y - 3 = 0$, $f_y = x + 2y = 0$. Из второго уравнения $x = -2y$, подставляем в первое: $-3y = 3$, $y = -1$, $x = 2$. Вторые производные: $A = 2$, $B = 1$, $C = 2$, $\Delta = 4 - 1 = 3 > 0$ и $A > 0$ — это минимум, $f(2, -1) = 4 - 2 + 1 - 6 = -3$.

Тропа

До вершины экспедиция не дойдёт: маршрут проложен по тропе, которая огибает гору. Какая точка тропы самая высокая? Это задача на условный экстремум: максимум $f(x, y)$ ищут не на всей карте, а только среди точек, удовлетворяющих условию $g(x, y) = c$ — уравнению тропы.

Посмотрим на карту. Там, где тропа пересекает горизонталь, шаг в одну сторону ведёт выше, в другую — ниже, и такая точка не может быть самой высокой. Высшая точка тропы там, где тропа горизонталь не пересекает, а касается её. У касающихся кривых общая касательная, а градиенты перпендикулярны своим линиям уровня. Значит, в этой точке градиенты $f$ и $g$ лежат на одной прямой.

Градиент функции, которую мы максимизируем или минимизируем. Градиент функции условия; он перпендикулярен тропе $g = c$ и должен быть ненулевым. Число $\lambda$ — множитель Лагранжа. Три неизвестных $x$, $y$, $\lambda$ и три уравнения: два по координатам и само условие. Пример: наибольшее значение $x + 2y$ на окружности $x^2 + y^2 = 5$. Уравнения $1 = 2\lambda x$ и $2 = 2\lambda y$ дают $y = 2x$, тогда $5x^2 = 5$ и $x = \pm 1$. В точке $(1;\,2)$ значение $5$ — максимум, в точке $(-1;\,-2)$ значение $-5$ — минимум; там $\lambda = \pm\frac12$.

Идея: разложить $\nabla f$ на часть вдоль кривой и часть поперёк. Часть вдоль кривой обязана исчезнуть.

Вдоль кривой $g(\gamma(t)) = c$, и по цепному правилу $\nabla g(P) \cdot \gamma'(0) = 0$: градиент $g$ перпендикулярен кривой, то есть направлен по нормали к ней. Разложим $\nabla f(P)$ на две части: вдоль касательной, направленной как $\gamma'(0)$, и вдоль нормали. Высота вдоль кривой $\varphi(t) = f(\gamma(t))$ имеет в $t = 0$ экстремум, поэтому $\varphi'(0) = 0$ по теореме Ферма. По цепному правилу $\varphi'(0) = \nabla f(P) \cdot \gamma'(0)$ — это касательная часть $\nabla f$, умноженная на $|\gamma'(0)|$. Будь она ненулевой, сдвиг вдоль кривой в её сторону поднимал бы $f$, а в противоположную — опускал. Значит, касательная часть равна нулю, и $\nabla f(P)$ лежит на нормали — на той же прямой, что и ненулевой вектор $\nabla g(P)$. Поэтому $\nabla f(P) = \lambda\nabla g(P)$. На карте это значит, что линия уровня $f$ касается кривой $g = c$.

Задачу про консервную банку мы решали в главе 27: выражали высоту через радиус и искали минимум функции одной переменной. Множители Лагранжа обходятся без выражений. Площадь поверхности $S = 2\pi r^2 + 2\pi rh$, объём $V = \pi r^2h$ задан. Уравнения $\nabla S = \lambda\nabla V$ по координатам $r$ и $h$:

$$4\pi r + 2\pi h = \lambda \cdot 2\pi rh, \qquad 2\pi r = \lambda\pi r^2.$$

Из второго $\lambda = \frac2r$; подставим в первое: $4\pi r + 2\pi h = 4\pi h$, то есть $h = 2r$. Высота равна диаметру, каким бы ни был объём. Для литровой банки $r = \sqrt[3]{500/\pi} \approx 5{,}42$ см, $h \approx 10{,}84$ см, и на неё уйдёт около $554$ см² жести.

Спуск в тумане

Пока светло, вершины и ямы можно найти на карте, решив уравнение $\nabla f = \mathbf 0$. Но такие уравнения часто не решаются явно, а переменных бывают миллионы. Тогда поступают, как путник в тумане: смотрят на склон под ногами и шагают туда, где он круче всего уходит вниз, то есть против градиента.

Где мы сейчас: точка после $k$ шагов. Длина шага, положительное число. Слишком маленький шаг — идём годами, слишком большой — перепрыгиваем через дно. Градиент в текущей точке. Минус перед ним разворачивает нас вниз по склону; на крутом склоне шаг длиннее, у дна короче. Пример: $f = \frac12(x^2 + 10y^2)$, $\nabla f = (x;\,10y)$, старт $(2;\,1)$, $\eta = 0{,}1$. Первый шаг: $(2;\,1) - 0{,}1 \cdot (2;\,10) = (1{,}8;\,0)$. Координата $y$ сразу обнулилась, а $x$ дальше будет уменьшаться всего на $10\,\%$ за шаг.

Метод предложил Коши в 1847 году для решения систем уравнений. Сегодня им, с разными усовершенствованиями, обучают нейросети: высота — это ошибка модели, а координаты — её параметры. Как это выглядит на деле, показывает глава «Спуск с горы» курса «Росток», где градиентным спуском учится маленькая языковая модель.

Овраг показывает главную беду спуска. Поперёк оврага склоны круты, и шаг, удобный для них, слишком мал для пологого дна: путник долго бредёт вдоль оврага. Сделаете шаг длиннее — начнутся прыжки со склона на склон, а ещё немного — и спуск разлетится. Где проходит граница, можно сказать точно.

Идея: в таком овраге координаты не мешают друг другу, и каждая превращается в геометрическую прогрессию.

Градиент $\nabla f = (ax;\,by)$, поэтому шаг спуска переводит $(x;\,y)$ в $\big((1 - \eta a)x;\,(1 - \eta b)y\big)$: каждая координата умножается на своё число. После $k$ шагов $x_k = (1 - \eta a)^kx_0$ и $y_k = (1 - \eta b)^ky_0$ — геометрические прогрессии (глава 13). Прогрессия с ненулевым первым членом стремится к нулю тогда и только тогда, когда модуль знаменателя меньше единицы. На рисунке шаг мал, оба знаменателя между $0$ и $1$, и точка ползёт к дну, не перепрыгивая его. Условие $|1 - \eta b| < 1$ равносильно $0 < \eta b < 2$. Если $1 < \eta b < 2$, знаменатель $1 - \eta b$ отрицателен: координата $y$ меняет знак на каждом шаге, путник прыгает с одного склона оврага на другой, но всё же приближается к дну. Если $\eta b > 2$, то $|1 - \eta b| > 1$, и при $y_0 \ne 0$ координата $y_k$ растёт по модулю — спуск разлетается; при $\eta b = 2$ она прыгает между $y_0$ и $-y_0$. То же для $x$ и $a$. Так что сходимость из любой точки требует $\eta a < 2$ и $\eta b < 2$, то есть $\eta < \frac{2}{\max(a, b)}$, и этого достаточно. Длину шага ограничивает самое крутое направление.

А быстроту определяет самое пологое. При наилучшем шаге $\eta = \frac{2}{a + b}$ обе координаты убывают не медленнее, чем в $\frac{\kappa - 1}{\kappa + 1}$ раз за шаг, где $\kappa = \frac{\max(a, b)}{\min(a, b)}$ — число обусловленности. При $\kappa = 100$ это $0{,}98$: чтобы уменьшить ошибку в миллион раз, нужно около $690$ шагов. Около невырожденного минимума гладкая функция похожа на квадратичную форму, а числа $a$ и $b$ — собственные значения её матрицы Гессе, поэтому вблизи дна вывод верен и для настоящих гор. Вот почему в обучении нейросетей спуск почти не используют в чистом виде: добавляют инерцию и подстраивают шаг под каждую координату.

Сколько земли в горе

Геологу экспедиции нужен объём горы: сколько земли лежит над участком карты. Площадь под графиком функции одной переменной мы собирали из узких прямоугольников (глава 28). Здесь соберём объём из столбиков. Разобьём прямоугольник $R$ на карте на клетки, над каждой поставим столбик высотой $f$ в какой-нибудь точке клетки и сложим объёмы.

Считать такие пределы напрямую не нужно: двойной интеграл сводится к двум обычным. Разрежем гору плоскостями $x = \text{const}$, найдём площадь каждого сечения и сложим сечения — это принцип Кавальери из главы 20, превращённый в теорему.

Идея: сложить те же столбики в другом порядке — сначала по полосам, потом полосы между собой.

Разобьём $R$ на $n \times n$ клеток со сторонами $\Delta x$ и $\Delta y$ и возьмём сумму $\sum_{i,j}f(x_i, y_j)\,\Delta x\,\Delta y$, где $x_i$ — середины столбцов клеток, $y_j$ — середины строк. Двойной интеграл — предел этих сумм при $n \to \infty$. Сложим сначала столбики одной полосы $x = x_i$. Получится $\Delta x \cdot \sum_j f(x_i, y_j)\,\Delta y$, а сумма по $j$ — сумма Римана для интеграла $A(x_i) = \int_c^d f(x_i, y)\,dy$, площади сечения горы плоскостью $x = x_i$. Непрерывная функция на прямоугольнике равномерно непрерывна (глава 53): для любого $\varepsilon > 0$ при достаточно мелкой сетке $|f(x_i, y) - f(x_i, y_j)| < \varepsilon$ для всех $y$ из $j$-й строки, сразу во всех полосах. Тогда $\left|\sum_j f(x_i, y_j)\Delta y - A(x_i)\right| \le \sum_j\int |f(x_i, y_j) - f(x_i, y)|\,dy \le \varepsilon(d - c)$, где интеграл берётся по $j$-й строке: столбики полосы почти не отличаются от её профиля. Значит, вся сумма отличается от $\sum_i A(x_i)\,\Delta x$ не больше чем на $\varepsilon(d - c)(b - a)$. Функция $A$ непрерывна: по той же равномерной непрерывности $|A(x) - A(x')| \le \varepsilon(d - c)$ при близких $x$ и $x'$. Поэтому $\sum_i A(x_i)\Delta x \to \int_a^b A(x)\,dx$. Устремляя $n \to \infty$, а затем $\varepsilon \to 0$, получаем $\iint_R f\,dA = \int_a^b A(x)\,dx$. Сложив столбики по полосам $y = y_j$, получим второй порядок интегрирования.

Вычислите $\iint_R (x + y^2)\,dA$ по прямоугольнику $R = [0;\,2] \times [0;\,1]$.

Внутренний интеграл по $y$: $\int_0^1(x + y^2)\,dy = x + \frac13$. Внешний: $\int_0^2\left(x + \frac13\right)dx = 2 + \frac23 = \frac83$.

Круглые горы удобнее резать не на клетки, а на кольца и секторы.

Кусочек кольца между радиусами $r$ и $r + \Delta r$ и углами $\varphi$ и $\varphi + \Delta\varphi$ имеет площадь ровно $\frac{\Delta\varphi}{2}\big((r + \Delta r)^2 - r^2\big) = \left(r + \frac{\Delta r}{2}\right)\Delta r\,\Delta\varphi$. Он почти прямоугольник со сторонами $\Delta r$ и $r\,\Delta\varphi$, и чем дальше от центра, тем он шире. Отсюда множитель $r$ в формуле.

Та же функция, записанная через расстояние и угол. Площадь маленького сектора кольца примерно $r\,\Delta r\,\Delta\varphi$: у далёких от центра секторов дуга длиннее. Забыть этот множитель — самая частая ошибка. Границы угла; для целого круга или кольца — от $0$ до $2\pi$. Так записываются области вида $r_1 \le r \le r_2$, $\alpha \le \varphi \le \beta$. Пример: объём под куполом $z = 1 - x^2 - y^2$ над единичным кругом равен $\int_0^{2\pi}\int_0^1(1 - r^2)\,r\,dr\,d\varphi = 2\pi\left(\frac12 - \frac14\right) = \frac{\pi}{2}$ — ровно половина цилиндра с тем же основанием и той же высотой. Этот результат о параболоиде знал ещё Архимед.

Колокол

Кривая $y = e^{-x^2}$ — знаменитый колокол, из которого вырастает нормальное распределение (глава 48). Площадь под ним конечна, но первообразную найти не выйдет: Лиувилль в 1830-х годах доказал, что её нельзя записать через элементарные функции, и решатель интегралов на ней честно сдаётся. И всё же площадь известна точно.

Хитрость в том, чтобы уйти на плоскость: квадрат интеграла — это объём под круглым колоколом $e^{-(x^2 + y^2)}$, а круглые тела удобно резать на кольца.

Пусть $I_R = \int_{-R}^R e^{-x^2}\,dx$. По теореме Фубини $I_R^2 = \int_{-R}^R e^{-x^2}\left(\int_{-R}^R e^{-y^2}\,dy\right)dx = \iint_{K_R} e^{-(x^2 + y^2)}\,dA$, где $K_R = [-R;\,R]^2$ — квадрат. Подынтегральная функция положительна, а круг радиуса $R$ лежит внутри квадрата, который сам лежит внутри круга радиуса $R\sqrt2$. Поэтому $J(R) \le I_R^2 \le J(R\sqrt2)$, где $J(\rho)$ — интеграл по кругу радиуса $\rho$. Интеграл по кругу считаем кольцами. Кольцо между радиусами $r$ и $r + \Delta r$ имеет площадь $\pi(r + \Delta r)^2 - \pi r^2 = 2\pi r\,\Delta r + \pi\,\Delta r^2$, а разрезанное и развёрнутое — почти полоска $2\pi r \times \Delta r$. На кольце $e^{-r^2}$ зажато между $e^{-(r + \Delta r)^2}$ и $e^{-r^2}$, поэтому $J(\rho)$ зажат между двумя суммами, которые при $\Delta r \to 0$ сходятся к одному числу: $\int_0^\rho 2\pi r\,e^{-r^2}\,dr = \left[-\pi e^{-r^2}\right]_0^\rho = \pi\left(1 - e^{-\rho^2}\right)$. Получилось $\pi\left(1 - e^{-R^2}\right) \le I_R^2 \le \pi\left(1 - e^{-2R^2}\right)$. При $R \to \infty$ обе границы стремятся к $\pi$, поэтому $I_R^2 \to \pi$. Интеграл положителен, и $\int_{-\infty}^{+\infty}e^{-x^2}\,dx = \lim\limits_{R \to \infty} I_R = \sqrt\pi$.

Заменой $x = \frac{t}{\sqrt2}$ из этой формулы получается $\int_{-\infty}^{+\infty}e^{-t^2/2}\,dt = \sqrt{2\pi}$. Отсюда множитель $\frac{1}{\sqrt{2\pi}}$ в формуле нормального распределения: с ним вся площадь под колоколом равна единице, как и положено сумме всех вероятностей.

Привал

Перед спуском в долину проверим снаряжение. В тренажёре три уровня: частные производные; градиент, производная по направлению и касательная плоскость; стационарные точки и их тип.

Куда дальше

Экспедиция возвращается, и на привале кто-то достаёт скрипку. Звук — это давление воздуха, которое меняется во времени: функция всего одной переменной, зато какая сложная. Скрипка и флейта, играя одну и ту же ноту «ля» с частотой 440 герц, рисуют совершенно разные кривые, и ухо их безошибочно различает. Ухо раскладывает звук на чистые тоны — синусоиды разных частот. Можно ли так разложить любой периодический сигнал? И как по кривой узнать, из каких синусоид она сложена и с какой громкостью звучит каждая? Ответ дадут ряды Фурье.