Часть VII · Случай и данные Глава 48 из 60
Случайные величины
Лаборатория случайности: бросаем кости и иглы, роняем шарики на гвозди, считаем удары копытом. Каждый закон сначала наблюдаем в опыте, потом доказываем — и видим, почему среднее многих случайных чисел почти не случайно.
Опирается на: 47 · Вероятность
Вы научитесь
- описывать случайную величину распределением и считать её ожидание и дисперсию
- пользоваться линейностью ожидания, даже когда величины зависимы
- узнавать биномиальное, пуассоновское, геометрическое и нормальное распределения
- объяснять, почему среднее многих наблюдений сходится и почему суммы складываются в колокол
Прошлая глава закончилась двумя наблюдениями, которые плохо уживаются друг с другом. Прохожий на прямой возвращается домой наверняка, но среднее время его ожидания не успокаивается, сколько прогулок ни усредняй. А средние очки кубика за десять тысяч бросков почти наверняка лежат между $3{,}4$ и $3{,}6$. Чтобы понять, какие средние предсказуемы и почему, нужно говорить не о событиях, а о случайных числах.
Эта глава — лабораторный журнал. В каждом опыте мы сначала смотрим, что происходит: бросаем кости и иглы, роняем шарики на гвозди, считаем удары копытом. Потом записываем закон и доказываем его. Опыты можно повторять сколько угодно: виджеты не устают.
Опыт первый: число, которое выпадает
Бросим две кости и запишем сумму очков. Результат опыта — пара чисел, а нас интересует одно число, которое по этой паре вычисляется. Сумма $2$ получается одним способом из $36$, сумма $7$ — шестью, сумма $12$ — снова одним. Этот список «значение — вероятность» и описывает сумму полностью.
Случайная величина — число, которое определяется исходом опыта, то есть функция $X \colon \Omega \to \mathbb R$. Для дискретной величины (с конечным или счётным набором значений $x_1, x_2, \ldots$) её распределение — список значений с вероятностями $p_i = P(X = x_i)$; все $p_i \ge 0$, а их сумма равна $1$.
| Сумма $S$ | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| $36 \cdot P(S = s)$ | 1 | 2 | 3 | 4 | 5 | 6 | 5 | 4 | 3 | 2 | 1 |
Опыт второй: справедливая цена
Казино предлагает игру: вы бросаете кость и получаете столько рублей, сколько выпало очков. Сколько честно брать за вход? Сыграем мысленно $6000$ раз. Каждая грань выпадет примерно $1000$ раз, и мы получим около $(1 + 2 + \ldots + 6) \cdot 1000 = 21\,000$ рублей, то есть в среднем $3{,}5$ рубля за игру. Это и есть справедливая цена.
Математическое ожидание дискретной случайной величины — сумма её значений, взвешенных вероятностями. Обозначение $\mathbb E X$; в российских учебниках пишут также $MX$, в англоязычных — $E X$ или $\mathbb E[X]$. Если значений бесконечно много, ожидание существует, когда ряд сходится абсолютно.
Главное свойство ожидания выглядит скромно и работает как волшебство: ожидание суммы равно сумме ожиданий, даже если слагаемые зависят друг от друга.
Если у случайных величин $X$ и $Y$ есть ожидания, то для любых чисел $a$ и $b$
$$\mathbb E(aX + bY) = a\,\mathbb E X + b\,\mathbb E Y.$$Хитрость в том, чтобы считать ожидание не по значениям, а по исходам опыта: тогда сумма величин превращается в столбики, поставленные друг на друга. Доказываем для конечного $\Omega$; для счётного всё то же с абсолютно сходящимися рядами.
Теперь задача о шляпах из главы о комбинаторике решается в две строки. Сколько гостей в среднем получат свою шляпу? Пусть $I_k = 1$, если $k$-й гость получил свою шляпу, и $I_k = 0$ иначе. Такую величину называют индикатором события; её ожидание равно вероятности события: $\mathbb E I_k = 1 \cdot \frac1n + 0 \cdot \frac{n - 1}{n} = \frac1n$. Число совпадений $I_1 + \ldots + I_n$ в среднем равно $n \cdot \frac1n = 1$ при любом числе гостей. Индикаторы сильно зависимы (если все, кроме одного, получили своё, то и последний тоже), но линейности это не мешает.
Так же ведут себя пары с общим днём рождения. Среди $23$ человек $\binom{23}{2} = 253$ пары, каждая совпадает с вероятностью $\frac1{365}$, и в среднем совпадающих пар $\frac{253}{365} \approx 0{,}69$. Это обещанный ответ из прошлой главы: в половине комнат совпадений нет, в других бывает одно, два и больше, а в среднем получается $0{,}69$.
На первом этаже десятиэтажного дома в лифт вошли $5$ человек. Каждый выходит на одном из этажей со второго по десятый наугад, независимо от других. Сколько в среднем будет остановок? Ответ дайте с точностью до сотых.
Пусть $I_k = 1$, если лифт остановился на $k$-м этаже. Он не остановится там, если все пятеро выбрали другие этажи: вероятность $\left(\frac89\right)^5$. Значит, $\mathbb E I_k = 1 - \left(\frac89\right)^5$, и по линейности среднее число остановок равно $9\left(1 - \frac{32\,768}{59\,049}\right) = \frac{26\,281}{6561} \approx 4{,}01$.
Опыт третий: разброс
Две игры с одинаковой справедливой ценой $3{,}5$: в первой вам всегда платят $3{,}5$ рубля, во второй бросают монету и платят $0$ или $7$. Ожидание одинаковое, а игры разные: во второй вы рискуете. Нужна мера того, насколько далеко значения разбегаются от среднего.
Дисперсия — ожидание квадрата отклонения от среднего: $\mathbb D X = \mathbb E(X - \mathbb E X)^2$ (в англоязычных книгах $\operatorname{Var} X$). Корень из неё, стандартное отклонение $\sigma = \sqrt{\mathbb D X}$, измеряет разброс в тех же единицах, что и сама величина.
Считать дисперсию удобнее другой формулой, и она следует из тождества, у которого есть честная картинка.
Для любой величины $X$ с конечной дисперсией и любого числа $c$: $\mathbb E(X - c)^2 = \mathbb D X + (\mathbb E X - c)^2$. В частности, $\mathbb D X = \mathbb E X^2 - (\mathbb E X)^2$ (при $c = 0$), а средний квадрат отклонения от точки $c$ меньше всего при $c = \mathbb E X$.
Хитрость в том, чтобы разбить отклонение от $c$ на два куска: от $c$ до среднего и от среднего до значения. Квадрат разбивается на четыре части, и две из них в среднем исчезают. Обозначим $\mu = \mathbb E X$.
Для любых чисел $a$ и $b$: $\mathbb D(aX + b) = a^2\,\mathbb D X$.
По линейности $\mathbb E(aX + b) = a\,\mathbb E X + b$, поэтому отклонение от среднего равно $aX + b - (a\,\mathbb E X + b) = a(X - \mathbb E X)$. Его квадрат $a^2(X - \mathbb E X)^2$, и ещё раз по линейности $\mathbb D(aX + b) = a^2\,\mathbb E(X - \mathbb E X)^2 = a^2\,\mathbb D X$.
Сдвиг не меняет разброса, растяжение в $a$ раз увеличивает его в $a^2$ раз. Со сложением сложнее: дисперсии складываются, только когда слагаемые не связаны.
Случайные величины $X$ и $Y$ независимы, если $P(X = x,\ Y = y) = P(X = x) \cdot P(Y = y)$ для всех значений $x$ и $y$: любое событие про $X$ независимо от любого события про $Y$.
Если $X$ и $Y$ независимы и имеют конечные дисперсии, то $\mathbb E(XY) = \mathbb E X \cdot \mathbb E Y$ и $\mathbb D(X + Y) = \mathbb D X + \mathbb D Y$.
Первое равенство — вычисление: $\mathbb E(XY) = \sum_{x, y} xy\,P(X = x, Y = y) = \sum_{x, y} x\,P(X = x) \cdot y\,P(Y = y)$, а двойная сумма произведений распадается на произведение сумм $\sum_x x\,P(X = x) \cdot \sum_y y\,P(Y = y)$. Для второго обозначим $X_0 = X - \mathbb E X$ и $Y_0 = Y - \mathbb E Y$; они тоже независимы (это просто сдвиги) и имеют нулевые ожидания. Тогда $\mathbb D(X + Y) = \mathbb E(X_0 + Y_0)^2 = \mathbb E X_0^2 + 2\,\mathbb E(X_0 Y_0) + \mathbb E Y_0^2$ по линейности, а средний член по первому равенству равен $2\,\mathbb E X_0 \cdot \mathbb E Y_0 = 0$.
Без независимости второе равенство ломается: если $Y = X$, то $\mathbb D(X + Y) = \mathbb D(2X) = 4\,\mathbb D X$, а не $2\,\mathbb D X$. У суммы двух костей дисперсия $\frac{35}{12} \cdot 2 = \frac{35}{6}$: ожидание $7$, разброс около $2{,}4$.
Опыт четвёртый: доска Гальтона
В 1870-х годах английский учёный Фрэнсис Гальтон построил доску: шарики сыплются сверху на ряды гвоздиков и на каждом гвоздике отскакивают влево или вправо. Внизу они собираются в лотки. Каждый отдельный шарик ведёт себя непредсказуемо, но горка в лотках раз за разом вырастает одинаковой, похожей на колокол.
Серия из $n$ независимых опытов, в каждом из которых «успех» наступает с одной и той же вероятностью $p$, называется схемой Бернулли. Число успехов в ней имеет биномиальное распределение. Шарик на доске Гальтона с $n$ рядами проходит схему Бернулли: «успех» — отскок вправо, номер лотка — число успехов.
В схеме Бернулли из $n$ опытов с вероятностью успеха $p$ число успехов $X$ равно $k$ с вероятностью $P(X = k) = \dbinom{n}{k} p^k (1 - p)^{n - k}$, $k = 0, 1, \ldots, n$.
Хитрость в том, чтобы следить не за лотком, а за путём шарика: пути в один лоток равновероятны, и их легко пересчитать.
Если $X$ — число успехов в схеме Бернулли, то $\mathbb E X = np$ и $\mathbb D X = np(1 - p)$.
Прямой счёт по формуле Бернулли громоздок; индикаторы делают его устным. Пусть $I_j$ — индикатор успеха в $j$-м опыте. Тогда $X = I_1 + \ldots + I_n$, $\mathbb E I_j = p$ и, так как $I_j^2 = I_j$, $\mathbb D I_j = \mathbb E I_j^2 - (\mathbb E I_j)^2 = p - p^2 = p(1 - p)$. По линейности $\mathbb E X = np$. Индикаторы независимы, поэтому по теореме о сумме независимых величин (применённой $n - 1$ раз) $\mathbb D X = np(1 - p)$.
На доске с $12$ рядами и $p = \frac12$ шарики в среднем попадают в лоток $6$, а стандартное отклонение $\sqrt{12 \cdot \frac14} = \sqrt3 \approx 1{,}73$ лотка. Колокол не случайно похож на кривую Гаусса; почему — объяснит центральная предельная теорема.
Опыт пятый: удары копытом
В 1898 году экономист и статистик Владислав Борткевич опубликовал книгу «Закон малых чисел». Самый знаменитый её пример — гибель солдат прусской кавалерии от удара копытом лошади. Событие редкое и в каждом корпусе за год случается от силы несколько раз. В самой известной выборке из его данных — десять корпусов за двадцать лет, с 1875 по 1894 год, всего $200$ «корпусо-лет» и $122$ гибели, в среднем $0{,}61$ в год на корпус.
| Гибелей за год в корпусе | 0 | 1 | 2 | 3 | 4 |
|---|---|---|---|---|---|
| Наблюдалось корпусо-лет | 109 | 65 | 22 | 3 | 1 |
| Предсказывает закон Пуассона | 108,7 | 66,3 | 20,2 | 4,1 | 0,6 |
Совпадение почти идеальное. Каждый из сотен кавалеристов корпуса за год погибает от копыта с крошечной вероятностью, независимо от других. Число погибших — биномиальная величина с огромным $n$ и маленьким $p$, и в пределе получается распределение, которое Симеон Дени Пуассон вывел в 1837 году в книге о вероятности судебных решений.
Величина $X$ с целыми неотрицательными значениями имеет распределение Пуассона с параметром $\lambda > 0$, если $P(X = k) = \dfrac{\lambda^k e^{-\lambda}}{k!}$ при $k = 0, 1, 2, \ldots$ Сумма этих вероятностей равна $e^{-\lambda} e^{\lambda} = 1$ по ряду для экспоненты.
Пусть в схеме Бернулли $p = \frac{\lambda}{n}$. Тогда при каждом фиксированном $k$ и $n \to \infty$ вероятность $\binom{n}{k} p^k (1 - p)^{n - k}$ стремится к $\dfrac{\lambda^k e^{-\lambda}}{k!}$.
Разложим биномиальную вероятность на множители, у каждого из которых легко найти предел:
$$\binom{n}{k}\frac{\lambda^k}{n^k}\left(1 - \frac{\lambda}{n}\right)^{n - k} = \frac{\lambda^k}{k!} \cdot \frac{n(n - 1)\cdots(n - k + 1)}{n^k} \cdot \left(1 - \frac{\lambda}{n}\right)^{n} \cdot \left(1 - \frac{\lambda}{n}\right)^{-k}.$$Второй множитель равен $\left(1 - \frac1n\right)\left(1 - \frac2n\right)\cdots\left(1 - \frac{k - 1}{n}\right)$: это $k - 1$ скобок (число $k$ фиксировано), каждая стремится к $1$, и произведение тоже. Третий стремится к $e^{-\lambda}$ по теореме о непрерывных процентах из главы об экспоненте: $\left(1 + \frac xn\right)^n \to e^x$ при $x = -\lambda$. Четвёртый — фиксированная степень числа, стремящегося к $1$, и сам стремится к $1$. Предел произведения равен произведению пределов: $\frac{\lambda^k}{k!} e^{-\lambda}$.
Если $X$ имеет распределение Пуассона с параметром $\lambda$, то $\mathbb E X = \mathbb D X = \lambda$.
В ряде для ожидания слагаемое с $k = 0$ равно нулю, а в остальных $k$ сокращается с $k!$: $\mathbb E X = \sum_{k \ge 1} k\,\frac{\lambda^k e^{-\lambda}}{k!} = \lambda \sum_{k \ge 1}\frac{\lambda^{k - 1} e^{-\lambda}}{(k - 1)!} = \lambda$, потому что последняя сумма — сумма всех вероятностей распределения. Так же, сократив $k(k - 1)$ с $k!$, получаем $\mathbb E\,X(X - 1) = \lambda^2$. Отсюда $\mathbb E X^2 = \lambda^2 + \lambda$ и по тождеству Штейнера $\mathbb D X = \mathbb E X^2 - (\mathbb E X)^2 = \lambda$.
Опыт шестой: сколько ждать
Бросаем кость до первой шестёрки. Сколько бросков понадобится? Иногда одна попытка, иногда двадцать. Номер броска с первой шестёркой $T$ равен $k$, если первые $k - 1$ бросков неудачны, а $k$-й удачен.
Величина $T$ с распределением $P(T = k) = (1 - p)^{k - 1} p$, $k = 1, 2, \ldots$, — номер первого успеха в схеме Бернулли — имеет геометрическое распределение: вероятности убывают в геометрической прогрессии.
Ожидание удобно считать через «хвосты» — вероятности того, что ждать придётся дольше $k$ шагов. Для геометрического распределения хвост совсем простой: $P(T > k) = (1 - p)^k$, ведь это значит, что первые $k$ бросков неудачны.
Если $T$ принимает значения $1, 2, 3, \ldots$, то $\mathbb E T = \sum_{k \ge 0} P(T > k)$ (обе части одновременно конечны или бесконечны).
Хитрость в том, чтобы одну и ту же фигуру разрезать двумя способами: на столбики и на полоски.
Если $T$ имеет геометрическое распределение с вероятностью успеха $p$, то $\mathbb E T = \dfrac1p$ и $P(T > m + n \mid T > m) = P(T > n)$ для любых целых $m, n \ge 0$.
По лемме $\mathbb E T = \sum_{k \ge 0} P(T > k) = \sum_{k \ge 0} (1 - p)^k = \frac{1}{1 - (1 - p)} = \frac1p$ по формуле суммы геометрической прогрессии. Для второго равенства: событие $T > m + n$ входит в $T > m$, поэтому по определению условной вероятности $P(T > m + n \mid T > m) = \frac{(1 - p)^{m + n}}{(1 - p)^m} = (1 - p)^n = P(T > n)$.
Шестёрку ждём в среднем $6$ бросков, пару шестёрок на двух костях — $36$. У геометрического распределения нет памяти: если шестёрки не было уже двадцать бросков, ждать её осталось в среднем те же шесть. Это та же ошибка игрока из прошлой главы, записанная формулой, и тот же радиоактивный атом, который не стареет, из главы об экспоненте.
Опыт седьмой: долг прохожего
Прошлая глава доказала, что прохожий на прямой возвращается домой, и оставила долг: плоскость и пространство. Путей там слишком много, чтобы пересчитывать их отражениями. Выручает среднее число возвращений. Обозначим $u_n = P(S_{2n} = 0)$ — вероятность оказаться дома ровно на шаге $2n$ (на нечётных шагах дома не бывают).
Прохожий возвращается домой с вероятностью $1$ тогда и только тогда, когда ряд $\sum_{n \ge 1} u_n$ расходится.
Пусть $N$ — число возвращений за всю бесконечную прогулку, а $q$ — вероятность хотя бы одного возвращения. Число $N$ — сумма индикаторов событий $\{S_{2n} = 0\}$ по всем $n \ge 1$. Для неотрицательных слагаемых линейность переносится и на бесконечные суммы (строго это доказывают в главе о мере), поэтому $\mathbb E N = \sum_{n \ge 1} u_n$.
Теперь посчитаем $\mathbb E N$ иначе. Вернувшись домой, прохожий продолжает гулять по тем же правилам, и его будущие шаги не зависят от прошлых: с этого момента всё начинается заново. Поэтому при условии $N \ge k$ событие $N \ge k + 1$ (вернуться ещё раз) имеет ту же вероятность $q$, и по индукции $P(N \ge k) = q^k$. Если $q < 1$, то по лемме о хвостах $\mathbb E N = \sum_{k \ge 1} q^k = \frac{q}{1 - q} < \infty$. Если $q = 1$, то $P(N \ge k) = 1$ при всех $k$, и $\mathbb E N = \infty$. Значит, ряд $\sum u_n$ расходится ровно тогда, когда $q = 1$.
Осталось оценить $u_n$. На прямой $u_n = a_n = \frac{1}{2^{2n}}\binom{2n}{n} = \frac{1 \cdot 3 \cdots (2n - 1)}{2 \cdot 4 \cdots 2n}$, и прошлая глава оценила это число сверху: $a_n < \frac{1}{\sqrt{2n + 1}}$. Теперь нужна оценка снизу.
$a_n \ge \dfrac{1}{2\sqrt n}$ при всех $n \ge 1$.
Тот же приём, что для оценки сверху: оцениваем квадрат, заменяя каждую дробь произведением двух соседних. При $k \ge 2$ верно $\left(\frac{2k - 1}{2k}\right)^2 \ge \frac{2k - 2}{2k - 1} \cdot \frac{2k - 1}{2k}$: после сокращения на $\frac{2k - 1}{2k}$ это $(2k - 1)^2 \ge 2k(2k - 2)$, то есть $4k^2 - 4k + 1 \ge 4k^2 - 4k$. Перемножим эти неравенства по $k = 2, \ldots, n$ и добавим множитель $\left(\frac12\right)^2$ от $k = 1$. Слева получится $a_n^2$, справа — $\frac14 \cdot \frac24 \cdot \frac46 \cdots \frac{2n - 2}{2n} = \frac14 \cdot \frac{2}{2n} = \frac{1}{4n}$: каждый числитель сокращается со знаменателем предыдущей дроби. Значит, $a_n^2 \ge \frac{1}{4n}$.
Прохожий, который на каждом шаге выбирает одно из соседних направлений с равными шансами, возвращается домой с вероятностью $1$ на прямой и на плоскости. В трёхмерном пространстве вероятность возвращения меньше $1$.
Хитрость — повернуть плоскость на $45°$: тогда блуждание по улицам распадается на два независимых блуждания по прямой. В пространстве мы проведём рассуждение для прохожего, который шагает по диагоналям кубиков, а о шести направлениях скажем в конце.
Заодно отдадим второй долг прошлой главы.
Пусть $T$ — номер шага, на котором прохожий на прямой впервые вернулся домой. Тогда $\mathbb E T = \infty$.
Событие $T > 2n$ означает, что за $2n$ шагов прохожий не вернулся; прошлая глава нашла его вероятность, это $a_n$ (при $n = 0$ — единица). На нечётном шаге вернуться нельзя, поэтому $P(T > 2n + 1) = P(T > 2n)$. По лемме о хвостах $\mathbb E T = \sum_{k \ge 0} P(T > k) = 2\sum_{n \ge 0} a_n$, а этот ряд расходится, так как $a_n \ge \frac{1}{2\sqrt n}$. Прохожий возвращается наверняка, но ждать его в среднем бесконечно долго, как петербургский выигрыш.
Опыт восьмой: колокол
У доски Гальтона при большом числе рядов лотки сливаются, и гистограмма превращается в плавную кривую. Для величин, которые принимают любые значения на прямой (рост, время ожидания автобуса, ошибка измерения), вероятность отдельного значения равна нулю, и распределение задают по-другому.
Величина $X$ имеет плотность распределения $f$, если $f \ge 0$ и $P(a \le X \le b) = \int_a^b f(x)\,dx$ для всех $a \le b$: вероятность — площадь под графиком плотности. Её ожидание $\mathbb E X = \int x f(x)\,dx$ — центр тяжести этой площади, а дисперсия $\mathbb D X = \int (x - \mathbb E X)^2 f(x)\,dx$.
Величина с такой плотностью имеет нормальное распределение $N(\mu, \sigma^2)$; при $\mu = 0$, $\sigma = 1$ его называют стандартным, а его плотность обозначают $\varphi(z) = \frac{1}{\sqrt{2\pi}}e^{-z^2/2}$.
Если $X$ имеет распределение $N(\mu, \sigma^2)$, то $\mathbb E X = \mu$ и $\mathbb D X = \sigma^2$.
Заменой $x = \mu + \sigma z$ интегралы для $X$ сводятся к интегралам для стандартной величины $Z$: $X = \mu + \sigma Z$, так что достаточно доказать $\mathbb E Z = 0$ и $\mathbb D Z = 1$ (тогда $\mathbb E X = \mu$ и $\mathbb D X = \sigma^2\,\mathbb D Z$). Плотность $\varphi$ чётна, а $z\varphi(z)$ нечётна и быстро убывает, поэтому $\int z\varphi(z)\,dz = 0$. Далее $\varphi'(z) = -z\varphi(z)$, и интегрирование по частям даёт $\int z^2\varphi(z)\,dz = \int z \cdot \bigl(-\varphi'(z)\bigr)\,dz = \bigl[-z\varphi(z)\bigr]_{-\infty}^{+\infty} + \int \varphi(z)\,dz = 0 + 1$.
Нормальный закон открыл Абрахам де Муавр в 1733 году как приближение к биномиальному при $p = \frac12$; Лаплас распространил его на любое $p$ в 1812 году. Гаусс в 1809 году вывел ту же кривую как закон ошибок астрономических измерений, и в итоге её назвали его именем.
Опыт девятый: бегущее среднее
Бросаем монету и после каждого броска записываем долю орлов. Сначала она мечется, потом успокаивается около $\frac12$. Так же успокаиваются средние очки кости около $3{,}5$. Но есть величины, для которых среднее не успокаивается никогда.
Почему среднее сходится? Первый шаг — простое неравенство: неотрицательная величина редко бывает намного больше своего среднего.
Если $X \ge 0$ и $a > 0$, то $P(X \ge a) \le \dfrac{\mathbb E X}{a}$.
Хитрость — лесенка из леммы о хвостах: площадь под графиком $P(X > t)$ равна $\mathbb E X$.
Если у $X$ конечная дисперсия, то для любого $\varepsilon > 0$: $P\bigl(|X - \mathbb E X| \ge \varepsilon\bigr) \le \dfrac{\mathbb D X}{\varepsilon^2}$.
Применим неравенство Маркова к неотрицательной величине $(X - \mathbb E X)^2$ и порогу $a = \varepsilon^2$. События $|X - \mathbb E X| \ge \varepsilon$ и $(X - \mathbb E X)^2 \ge \varepsilon^2$ совпадают, а ожидание квадрата отклонения — это дисперсия: $P \le \frac{\mathbb D X}{\varepsilon^2}$.
Пусть $X_1, X_2, \ldots$ независимы, одинаково распределены, $\mathbb E X_i = \mu$, $\mathbb D X_i = \sigma^2 < \infty$, и $\bar X_n = \frac{X_1 + \ldots + X_n}{n}$. Тогда для любого $\varepsilon > 0$ вероятность $P\bigl(|\bar X_n - \mu| \ge \varepsilon\bigr)$ не больше $\frac{\sigma^2}{n\varepsilon^2}$ и стремится к нулю при $n \to \infty$.
По линейности $\mathbb E \bar X_n = \frac{n\mu}{n} = \mu$. Слагаемые независимы, поэтому дисперсия суммы равна $n\sigma^2$, а деление на $n$ делит дисперсию на $n^2$: $\mathbb D \bar X_n = \frac{\sigma^2}{n}$. Неравенство Чебышёва для $\bar X_n$ даёт $P\bigl(|\bar X_n - \mu| \ge \varepsilon\bigr) \le \frac{\sigma^2}{n\varepsilon^2}$, а это стремится к нулю.
Условие «дисперсия конечна» можно ослабить до «ожидание существует» (Хинчин, 1929), но совсем отбросить нельзя. У «маяка» из виджета плотность $\frac{1}{\pi(1 + x^2)}$ убывает так медленно, что $\int |x|\,f(x)\,dx = \infty$: ожидания нет, и среднее $n$ наблюдений распределено точно так же, как одно наблюдение. Сколько ни усредняй — ничего не уточняется.
Опыт десятый: суммы кубиков
Закон больших чисел говорит, куда сходится среднее, и что отклонения порядка $\frac{\sigma}{\sqrt n}$. Но какой формы облако отклонений? Опыт отвечает неожиданно: всегда одной и той же.
Пусть $X_1, X_2, \ldots$ независимы, одинаково распределены, $\mathbb E X_i = \mu$, $0 < \mathbb D X_i = \sigma^2 < \infty$, и $S_n = X_1 + \ldots + X_n$. Тогда для любого $x$
$$P\left(\frac{S_n - n\mu}{\sigma\sqrt n} \le x\right) \xrightarrow[n \to \infty]{} \frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x} e^{-z^2/2}\,dz.$$Идея доказательства и почему полное не помещается в курс
Полного доказательства в этом курсе не будет: ему нужен аппарат, которого у нас нет. Идея такая. Распределение величины $Y$ можно закодировать функцией $\varphi_Y(t) = \mathbb E\,e^{itY}$ — это преобразование Фурье распределения. Для суммы независимых величин эти функции перемножаются, как было для ожиданий произведений. Пусть $Y_i = \frac{X_i - \mu}{\sigma}$: $\mathbb E Y_i = 0$, $\mathbb E Y_i^2 = 1$, и по формуле Тейлора $\varphi_Y(s) = 1 - \frac{s^2}{2} + o(s^2)$. Для нормированной суммы $Z_n = \frac{Y_1 + \ldots + Y_n}{\sqrt n}$ получаем $\varphi_{Z_n}(t) = \left(1 - \frac{t^2}{2n} + o\!\left(\frac1n\right)\right)^n \to e^{-t^2/2}$, а это функция стандартного нормального распределения. Недостающий кирпич — теорема Леви о непрерывности: из сходимости таких функций следует сходимость самих распределений. Её доказывают в курсе теории вероятностей на втором-третьем году.
Пример. Сумма $100$ бросков кости в среднем равна $350$, стандартное отклонение $\sqrt{100 \cdot \frac{35}{12}} \approx 17{,}08$. Вероятность набрать не меньше $380$ по теореме примерно равна $1 - \Phi\!\left(\frac{379{,}5 - 350}{17{,}08}\right) \approx 0{,}042$, где $\Phi$ — площадь под стандартным колоколом левее точки. Точный подсчёт по распределению суммы, как в виджете, даёт $0{,}0420$. Полуединица в числителе учитывает, что сумма целая и её столбик в $380$ тянется от $379{,}5$.
Опыт одиннадцатый: игла Бюффона
Пол расчерчен параллельными прямыми на расстоянии $d$ друг от друга. На него бросают иглу длины $l \le d$. Какова вероятность, что игла пересечёт линию? Задачу поставил натуралист Жорж-Луи Леклерк, граф де Бюффон, в 1733 году, а решение опубликовал в 1777-м. Ответ содержит число $\pi$, хотя никаких окружностей в задаче нет.
Если игла длины $l \le d$ падает в случайное место под случайным углом, то она пересекает линию с вероятностью $\dfrac{2l}{\pi d}$.
Хитрость, которую нашёл Жозеф-Эмиль Барбье в 1860 году: вместо вероятности считать среднее число пересечений и согнуть иглу в окружность. Линейность ожидания сделает всё остальное.
В 1901 году итальянский математик Марио Лаццарини сообщил, что бросил иглу $3408$ раз при $l = \frac56 d$ и насчитал $1808$ пересечений. Отсюда $\pi \approx \frac{2 \cdot 5 \cdot 3408}{6 \cdot 1808} = \frac{355}{113} = 3{,}141\,592\,9\ldots$ — шесть верных знаков после запятой. Слишком хорошо. Честная погрешность при $3408$ бросках — около $0{,}05$. Позднее заметили, что $3408 = 16 \cdot 213$: число бросков подобрано так, что оценка вообще может оказаться равной $\frac{355}{113}$, а если бросать сериями и остановиться в удачный момент, такой «результат» получается без всякого чуда. Урок пригодится в следующей главе.
Монте-Карло
Игла Бюффона — первый пример метода Монте-Карло: найти число, устроив опыт, где это число — вероятность или ожидание, и повторив опыт много раз. Метод придумал Станислав Улам в 1946 году. По его воспоминаниям, выздоравливая после болезни, он раскладывал пасьянс и задумался, как часто тот сходится; подсчитать было безнадёжно, а сыграть много раз и посчитать долю — легко. Вместе с Джоном фон Нейманом он применил эту идею к расчёту движения нейтронов в Лос-Аламосе, а название, в честь казино, предложил их коллега Николас Метрополис.
Центральная предельная теорема говорит, сколько это стоит: ошибка убывает как $\frac{1}{\sqrt n}$. У оценки Бюффона при $l = d$ стандартное отклонение около $\frac{2{,}37}{\sqrt n}$, и чтобы с вероятностью $95\,\%$ ошибиться меньше чем на $0{,}001$, нужно больше двадцати миллионов бросков. Для числа $\pi$ это ужасно медленно, но у метода есть козырь: скорость $\frac{1}{\sqrt n}$ не зависит от размерности задачи. Объём тела в пространстве ста измерений сеткой не посчитать, а случайными точками — можно. Поэтому Монте-Карло считает сегодня цены опционов, прохождение света в компьютерной графике и физику частиц.
Куда дальше
Во всех опытах этой главы мы знали распределение заранее: кость честная, монета симметричная, игла падает как угодно. В жизни всё наоборот. Опрос тысячи человек дал $52\,\%$ за — что это значит для всей страны? Лекарство помогло $60$ больным из $100$, а плацебо — $45$: это разница или случайность? Среднее выборки близко к среднему целого, но насколько близко и с какой уверенностью, и как не обмануть себя, как Лаццарини? Судить по выборке о целом учит следующая глава.