Най-добри приближения в линейни нормирани пространства

Дефиниция (метрично пространство)

$F$ - линейно пространство над полето $\mathbb{R}$. $F$ e метрично пространство, ако в него е въведена функция на разстояние $d(f,g): F \times F \to \mathbb{R}_+$:
(1) $d(f,g) \ge 0 \quad \forall f,g \in F \qquad d(f,g)=0 \iff f=g$
(2) $d(f,g) = d(g,f)$
(3) $d(f,g) \le d(f,h) + d(g,h) \quad \forall f,g,h \in F$

Дефиниция (норма)

Във $F$ е въведена норма ($\|.\|$) ако:
(1) $\|f\| \ge 0 \quad \forall f \in F \qquad "=" \iff f=\bar 0$ - нулевият елемент на пространството
(2) $\|\lambda f\| = |\lambda| \|f\| \quad \forall \lambda \in \mathbb{R} \quad \forall f \in F$
(3) $\|f+g\| \le \|f\| + \|g\| \quad \forall f,g \in F$ - неравенство на триъгълника.

Линейно пространство с въведена норма се нарича линейно нормирано пространство. Нормата поражда функция на разстоянието $d(f,g) = \|f-g\|$.

Означение

Нека $F$ - линейно нормирано пространство; $\Omega_n :=\!\ \{ \varphi = a_0 \varphi_0 + a_1 \varphi_1 + \dots a_n \varphi_n \}$ - където $(a_0, a_1 \dots a_n) \in \mathbb{R}^{n+1}$, а $\varphi_i$ са линейно независими елементи на $F$.

Дефиниция (най-добро приближение)

При фиксирано $f \in F$ търсим $E_n(f):=\!\ \displaystyle \inf_{\varphi \in \Omega_n}\|f-\varphi\|$. Забележете, че за разлика от $\min$, $\inf$ може и да не се достига. $E_n(f)$наричаме най-добро приближение за $f$ от $\Omega_n$.

Дефиниция (елемент на най-добро приближение)

Ако $E_n(f) = \|f-\varphi^*\|$ за някое $\varphi^* \in \Omega_n$, тогава $\varphi^*$ се нарича елемент на най-добро приближение за $f$ от $\Omega_n$.

Важни въпроси

(1) Дали съществува ел. на най-добро приближение?
(2) Ако съществува, дали е единствен?
(3) Ако съществува единствен такъв елемент, как да го разпознаем (ефективно да го намерим)?

Норми в Rn

$\mathbb{R}^n = \{\bar x=(x_1, \dots x_n)\}$ - $n$-мерното Евклидово пространство.
$\bar x+\bar y=(x_1+y_1, \dots x_n+y_n)$
$\lambda \bar x = (\lambda x_1, \dots \lambda x_n), \quad \lambda \in \mathbb{R}$
(1) $\|\bar f\|_\infty :=\!\ \displaystyle \max_{1 \le i \le n} |f_i|$
(2) $\|\bar f\|_1 :=\!\ \displaystyle \sum_{i = 1}^n |f_i|$ - единична норма
(3) $\displaystyle{\|\bar f\|_2 :=\!\ \left(\displaystyle \sum_{i = 1}^n (f_i)^2\right)^{\frac{1}{2}}}$ - Евклидова норма
(4) $\displaystyle{\|\bar f\|_p :=\!\ \left(\sum_{i = 1}^n (f_i)^p\right)^{\frac{1}{p}}, \quad p > 1}$ - обобщена норма, като при $p = 1 \rightarrow$ (2) , $p = 2 \rightarrow$ (3)

Ето как изглеждат единичните "кълба" $D=\{\bar x=(x_1, x_2) : \|\bar x\| \le 1 \}$ за $p = 1, 2, 3, 10$:
unit_circle

Теорема

Всяка норма в $\mathbb{R}^n$ е непрекъсната функция на координатите на елемента.

Ако векторът клони към определен вектор, оценката клони към оценката на определения вектор.
т.е като променяш малко координатите и нормата се променя малко.

Доказателство:

(1)
\begin{align} \bar f = (f_1 \dots f_n) \in \mathbb{R}^n \qquad \bar g = (g_1 \dots g_n) \in \mathbb{R}^n \end{align}

$\overline{e_i}=(0, \dots 0, \underbrace{1}_{i^{\mathrm{th}} \mathrm{position}}, 0, \dots 0) \quad i = \overline{1,n}$

(2)
\begin{eqnarray} f &=& f - g + g \\ \|f\| &\overset{\underset{\mathrm{triangle's\ inequality}}{}}{\le}& \|f-g\| + \|g\| \\ \|f\| - \|g\| &\le& \|f-g\| \end{eqnarray}
(3)
\begin{align} \|f-g\| = \left\| \displaystyle \sum_{i=1}^n(f_i - g_i) \overline{e_i} \right\| \le \displaystyle \sum_{i=1}^n |f_i - g_i| \| \overline{e_i} \| < \varepsilon \end{align}

Последното е вярно ако $|f_i - g_i|$ са достатъчно малки, с което теоремата е доказана:
$\|f\| - \|g\| < \varepsilon$

Дефиниция (еквивалентни норми)

Нека $\mu(.), \nu(.)$ са норми в линейното нормирано пространство $F$. Те са еквивалентни ако $\exists M > m > 0: m \mu(f) \le \nu(f) \le M \mu(f) \quad \forall f \in F$

Дефиниция (затворено множество)

Затвореното множество съдържа всичките си граници.
Тоест каквато и редица от елементи от множествот да вземем, която да клони към определен елемент, следва че елементът към който клони редицата е от множеството.

Дефиниция (компактно множество)

$S$ е компактно множество ако е ограничено и затворено.

Твърдение

Всеки две норми в $\mathbb{R}^n$ са еквивалентни.
Доказателство:
Достатъчно е да докажем, че всяка норма $\nu(.)$ е еквивалентна на Евклидовата норма $\|.\|_2$.
Нека $S= \{\bar f \in \mathbb{R}^n : \|f\|_2 = 1 \}$ - единичната сфера в $\mathbb{R}^n$ относно Евклидовата норма. $S$ е компактно множество.
$\nu(\bar f)$ зависи непрекъснато от координатите на $\bar f$.
Oт Теоремата на Вайерщрас (Анализ 1) $\Rightarrow \displaystyle \inf_{\bar f \in S} \nu(\bar f)$ се достига върху $S$, т.е.
$\exists m \quad m= \displaystyle \inf_{\bar f \in S} \nu(\bar f) = \nu(\overline{f^*})$ за някое $\overline{f^*} \in S$
$f^*$ не е единичният елемент за $\mathbb{R}^n \ - \ (0, \dots, 0)$. Значи
$\nu(\overline{f^*}) > 0 \Rightarrow m > 0$
$\nu(\bar f) \ge m > 0 \quad \forall \bar f \in S$
$\nu(\bar f) \ge m\|\bar f\|_2 \quad \forall \bar f \in \mathbb{R}^n: \|\bar f\|_2=1$

За $\bar f = (0, \dots 0)$ тривиално се проверява, че е вярно.

Нека сега $\|\bar f\|_2 \ne 1, f \ne (0, \dots 0)$
$\Big\| \frac{\bar f}{\|\bar f\|_2}\Big\| = \frac{1}{\|\bar f\|_2}\|\bar f\|_2 = 1$
$\frac{\bar f}{\|\bar f\|_2} \in S$
$m \le \nu \left (\frac{\bar f}{\|\bar f\|_2} \right ) = \frac{1}{\|\bar f\|_2}\nu(\bar f)$
$\nu(\bar f) \ge m\|\bar f\|_2$
Получихме $m>0, \quad m\|\bar f\|_2 \le \nu(\bar f) \quad \forall \bar f \in \mathbb{R}^n$
Аналогично се доказва, че $\exists M>0; \quad \nu(\bar f) \le M\|\bar f\|_2$ (като се вземе $\displaystyle \sup_{\bar f \in S} \nu(\bar f)$).

Следствие (за произволно кълбо)

Нека $r>0, \|.\|$ е произволна норма в $\mathbb{R}^n$ и $D_r = \{\bar f \in \mathbb{R}^n : \|\bar f\| \le r \}$. Тогава $D_r$ е компактно множество.
Доказателство:
От еквивалентността на $\|.\|$ с $\|.\|_\infty \Rightarrow \exists M > 0: \|\bar f\|_{\infty} \le M\|\bar f\| \quad \forall \bar f$, в частност за тези от $D_r$, т.е.
$\displaystyle \max_{1 \le i \le n} |f_i| \le M\|\bar f\| \le Mr$
Координатите на $\bar f \in D_r$ са ограничени $\Rightarrow D_r$ е ограничено.
Нека $\{\overline{f_m}\}_{m=1}^\infty$ е редица от елементи на $D_r: \displaystyle \lim_{m\rightarrow\infty} \overline{f_m} = \bar f$. Ще покажем, че $\bar f \in D_r$.
$\|\bar f\|=\|\bar f - \overline{f_m} + \overline{f_m}\| \le \|\bar f - \overline{f_m}\| + \|\overline{f_m}\|$
$\forall \varepsilon>0\ \exists m_0\in\mathbb{N}: \forall m>m_0\ \|\bar f - \overline{f_m}\| < \varepsilon$
Тогава при $m > m_0$
$\quad \|\bar f\| \le \underbrace{\|\bar f - \overline{f_m}\|}_{< \varepsilon} + \underbrace{\|\overline{f_m}\|}_{\le r} < r+\varepsilon$
$\|\bar f\| < r + \varepsilon \quad \forall \varepsilon>0$
$\|\bar f\| \le r \Leftrightarrow \bar f \in D_r$
Значи $D_r$ е затворено.

Теорема

$F$ - линейно нормирано пространство. $\forall f \in F$ съществува елемент на най-добро приближение за $f$ от $\Omega_n$ (по отношение на разстоянието, породено от нормата във $F$).
Доказателство:
Нека $f \in F$ - произволен
(1) $f = \bar 0 \in \Omega_n \rightarrow \bar 0$ е единствен елемент на най-добро приближение за себе си
(2) $f \ne \bar 0, \|f\|=r>0$
Допускаме, че елемента на най-добро приближение $\varphi \in \Omega_n$ е такъв, че $\|\varphi\| > 2r$. Но тогава $\|f - \varphi\| \ge \|\varphi\|-\|f\|>2r-r=r=\|f\|=\|f-\bar 0\|$, т.е оказа се, че нулата е по-близко до $f$ от колкотo $\varphi$. Следователно елемента на най-добро приближение е от множеството $D_{2r}=\{\varphi \in \Omega_n: \|\varphi\| \le 2r\}$. Но $D_{2r}$ е компактно и $\|f - \varphi\|$ е непрекъсната функция.
$\Rightarrow \displaystyle \inf_{\varphi \in \Omega_n} \|f-\varphi\|=\displaystyle \inf_{\varphi \in D_r} \|f-\varphi\|$ - този инфинум се достига.

Дефиниция (строго нормирано пространство)

$F$ - линейно нормирано пространство се нарича строго нормирано ако
$\|f+g\| = \|f\|+\|g\| \Rightarrow f=\lambda g, \ \lambda \in \mathbb{R}$
T.e. "=" в неравенството на триъгълника само ако елементите са линейно зависими.

Теорема (единственост на ел. на най-добро приближение)

$F$ - строго нормирано. Тогава ел. на най-добро приближение е единствен.
Доказателство:
Нека $f \in F$ - произволен и нека $p, q \in \Omega_n$ са два елемента на най-добро приближение за $f$ от $\Omega_n$, т.е. $E_n(f) = \|f-p\|=\|f-q\|$.
$\frac{p+q}{2} \in \Omega_n$

(4)
\begin{eqnarray} E_n(f) &\le& \|f - \frac{p+q}{2}\| \\ &=& \|\frac{1}{2}(f-p)+\frac{1}{2}(f-q)\| \\ &\le&\frac{1}{2}\|f-p\|+\frac{1}{2}\|f-q\| \\ &=& E_n(f) \end{eqnarray}

Имаме "=" в неравенството на триъгълника. $F$ - строго нормирано
$\overset{\underset{\mathrm{def}}{}}{\Rightarrow} f-p = \lambda(f-q)$ за някакво $\lambda \in \mathbb{R}$.

  1. $\lambda = 1 \Rightarrow p = q$
  2. $\lambda \ne 1 \quad f=\frac{1}{1-\lambda}, \ p = \frac{\lambda}{1-\lambda}q \in \Omega_n \Rightarrow f$ може да се приближи със себе си ($E_n(f) = 0$).
Unless otherwise stated, the content of this page is licensed under Creative Commons Attribution-NonCommercial-ShareAlike 3.0 License