Проекции и метод наименьших квадратов
Проекция вектора на прямую, прямая по точкам методом наименьших квадратов, нормальные уравнения для несовместной системы и сингулярные числа.
Как решать
Если у системы нет решения, можно найти «почти решение» — то, при котором ошибка, сумма квадратов невязок, наименьшая. Геометрически это проекция: ближайшая к $\mathbf b$ точка подпространства, а невязка перпендикулярна ему.
По шагам
- Проекция $\mathbf b$ на прямую вектора $\mathbf a$: коэффициент $\frac{\mathbf a \cdot \mathbf b}{\mathbf a \cdot \mathbf a}$, умноженный на $\mathbf a$. Остаток $\mathbf b - \mathbf p$ перпендикулярен $\mathbf a$.
- Прямая $y = C + Dt$ по точкам: найдите средние $\bar t$ и $\bar y$, наклон $D = \frac{\sum (t - \bar t)(y - \bar y)}{\sum (t - \bar t)^2}$, затем $C = \bar y - D\bar t$.
- Несовместная система $A\mathbf x = \mathbf b$: решите нормальные уравнения $A^{\mathsf T}A\hat{\mathbf x} = A^{\mathsf T}\mathbf b$.
- Сингулярные числа: корни из собственных значений матрицы $A^{\mathsf T}A$.
Где ошибаются
- Делят в проекции на длину вектора, а не на её квадрат: в знаменателе $\mathbf a \cdot \mathbf a = |\mathbf a|^2$.
- В формуле наклона забывают вычесть средние.
- Пытаются решить $A\mathbf x = \mathbf b$ «как есть» — система несовместна; решать нужно нормальные уравнения.
- Берут сингулярными числами собственные значения $A$, а не корни из собственных значений $A^{\mathsf T}A$.