Prob19

Тука сложи заглавие

страницата е пълна с грешки ооще не е преглеждана

Основна задача на Математическата статистика

Задача на параметрична и непараметрична статистика. Имаме извадка от наблюдения. Имаме признак на популация и той се характеризира с неизвестен параметър $\Theta = (\Theta_1,...,\Theta_n)$. Като знаем функцията на разпределение и $\Theta$ явно участва то говорим за задача на параметричната статистика. Ако не знаем функцията на разпределение то имаме задача на напараметричната статистика.

Дефиниция : Генерална съвкупност

Генерална съвкупност - съвкупност от всички възможни стойности на неизвестния признак, който се проявява в отделните индивиди на една полулация.

Дефиниция : Извадка

Извадка - част от данните за изледвания признак

Дефиниция : Наблюдение

Наблюдение - отделни стойности на признака в реда на тяхното получаване

Дефиниция : Обем на извадката

Обем на извадката - броя на наблюденията в извадка

• Ще считаме че популацията е безкрайна, издвадката е случайна, случаен избор и достатъчно голям обем. Трабва да планираме експеримента - как да си осигурим извадки, които да ни дават правдоподобни резултати.

Дефиниция : Извадково просранство

Извадково просранство - съвкупността на всички извадки, бележим с $\chi^n$

Дефиниция : Стойности на наблюдението?

$\vec{\xi} = (\xi_1,...,\xi_n)$ - независими, еднакво разпределени случайни величини; стойности на наблюдението

Плътност на разпределението $\vec{\xi}. L_{\vec{\xi}} = L_{\xi_1,...,\xi_n}(x_1,...,x_n)$. Тази плътност се нарича функция на правдоподобие на извадка $\vec{\xi}$.
В непрекъснатия случай $L_{\vec{\xi}}(\vec{x}) = \prod_{i=1}^{n} f_{\xi_i}(x_i)$
В дискретния случай $L_{\vec{\xi}}(\vec{x}) = \prod_{i=1}^{n} p_{\xi_i}$

Дефиниция : Оценка на параметър

Оценка на параметър $\Theta$ бележим с $\hat{\Theta}$
Има 3 начина за оценка
- токово оценяване(една точка на базата на наблюденията е нашата оценка т.е. има една стойност за $\Theta$
- интервално оценяване(или доверителен интервал) - посочваме един интервал, в който с определена вероятност попада резултата
- проверка на хипотези

• Ще използваме думите статистика или оценка като еквивалент на функция на наблюденията

Дефиниция : Точкова оценка

Точкова оценка $\hat{\Theta}$ наричаме неизместена оценка за параметър $\Theta$ ако $E\hat{\Theta} = \Theta$. Ако $E \hat{\Theta} \neq \Theta$ то ще казваме че $\Theta$ е изместена оценка

Теорема 1 : за неизместена оценка за средното

$\bar{\xi} = \frac{1}{n} \sum_{i=1}^{n} \xi_i$ - извадъчно средно
$\bar{\xi_n}$ е неизместена оценка за средното $\mu$ на популацията (т.е. $E\xi_i \mu$ за $i=1..n$)
Доказателство:
Използваме ЗГЧ т.е.
$E\bar{\xi_n} = E (\frac{1}{n} \sum_{i=1}^{n}\xi_i) = \frac{1}{n} \sum_{i=1}^{n} E\xi_i = \frac{1}{n}$ и $\mu = \mu$

Теорема 2 : изместени и неизместени оценки

$\hat{\nu_r} = \frac{1}{n} \sum_{i=1}^{n}(\xi_i - \bar{\xi_n}), r \geq 1$ (емперичен/ извадъчен централен момент от ред $r$) не са неизместени оценки за $E(\xi - E\xi)^r$ , а
$\hat(M_r) = \frac{n^{r-1}}{(n-1)...(n-r+1)} \frac{1}{n \sum_{i=1}^{n}(\xi_i-\bar{\xi_n})^r}$ са неизместена оценка за централния момент $E(\xi - E\xi)^r$

Доказателство:
при $r=2$ то означаваме

(1)

\begin{array} {} M_2 = \frac{1}{n-1}\sum_{i=1}^{n}(\xi_i-\bar{\xi_n}) = \\ = \frac{1}{n-1}[\sum_{i=1}^{n} \xi_i^2 - 2 \sum_{i=1}^{n} \xi_i \bar{\xi_n} + \sum_{i=1}^{n}\bar{\xi_i}^2] = \\ = \frac{1}{n-1}[\sum_{i=1}^{n} \xi_i^2 - 2\frac{n}{n}\bar{\xi_n} \sum_{i=1}^{n} \xi_i + n \bar{\xi_i}^2] = \\ = \frac{1}{n-1}[\sum_{i=1}^{n} \xi_i^2 - 2n \bar{\xi_n} \bar{\xi_n} + n \bar{\xi_i}^2] = \\ = \frac{1}{n-1}[\sum_{i=1}^{n} \xi_i^2 - n \bar{\xi_n}^2 ] = \\ = \frac{1}{n-1} \sum_{i=1}^{n} \xi_i^2 - \frac{n}{n-1} \bar{\xi_n}^2 = \\ = \frac{1}{n-1} \sum_{i=1}^{n} \xi_i^2 - \frac{1}{n^2} \frac{n}{n-1}(\sum_{i=1}^{n} \xi^2 + \sum_{i\neq j}\xi_i\xi_j ) = \\ \end{array}

тъй като $\bar{\xi} = \frac{1}{n} \sum_{i=1}^n \xi_i$ то $\bar{\xi^2} = \bar{\xi}\bar{\xi} = \sum_{i=1}^{n} \xi_i^2 + \sum_{i\neq j} \xi_i\xi_j$

$= \frac{1}{n} \sum_{i=1}^{n} \xi_i^2 - \frac{1}{n(n-1)} \sum_{i \neq j} \xi_i \xi_j$ следователно

(2)

\begin{array} {} E\hat{\mu_2} = \frac{1}{n} \sum_{i=1}^{n} E\xi_i^2 - \frac{1}{n(n-1)} \sum_{i \neq j} E\xi_i E\xi_j = \frac{n}{n}E\xi_i^2 - \frac{2}{n(n-1)}{n \choose 2} (E\xi_i)^2 = \\ = E\xi^2 - \frac{2}{n(n-1)}\frac{n(n-1)}{2} (E\xi_i)^2 = E\xi_i^2 - (E\xi_i)^2 = D_{\xi} \end{array}

Следователно $\hat{\mu_2}$ е неизместена оценка за $E(\xi - E\xi)^2$

за $\hat{\nu}_2$ аналогично
$\hat{\nu}_2 = ... = \frac{1}{n} \sum_{i=1}^n\xi_2 - \bar{\xi_n}^2 = ...= \frac{n-1}{n} \sum_{i = 1}^{n} \xi^2 - \frac{1}{n^2} \sum_{i \neq j}\xi_i\xi_j$
и $E \hat{\nu_2} = ... = \frac{n-1}{n} D_\xi$ тогава $\hat{\nu_2}$ не са неизместени оценки за $D_\xi = E(\xi - E\xi)^2$

Дефиниция : Асимптотично неизместена оценка

Асимптотично неизместена оценка $\hat{\Theta}$ е тази за която $E\hat{\Theta} \underset{n \to \infty}{\longrightarrow} \Theta$ т.е. $\hat{\nu_2}$ е асимптотично неизместена но е изместена оценка

Дефиниция : Състоятелна оценка

Една оценка $\hat{\Theta}$ е състоятелна оценка за $\Theta$ ако при $n \to \infty$ клони към $\Theta$ по вероятност
т.е. за $\forall \varepsilon > 0$ тo $P\{|\hat{\Theta} - \Theta| > \varepsilon \} \to 0$ при $n \to \infty$

Дефиниция : Силно състоятелна оценка

$\hat{\Theta}$ е силно състоятелна оценка за $\Theta$ ако при $n \to \infty$ клони към $\Theta$ почти сигурно т.е.
$\forall \varepsilon > 0, P\{ sup|\hat{\Theta} - \Theta| > \varepsilon \} \to 0$ при $n \to \infty$

Теорема 1 : Силно състоятелна оценка

$\hat{\xi_n}$ е силно състоятелна оценка за $\mu = E\xi$
Доказателство:
Следва от усиления закон за големите числа.

Теорема 2 : Силно състоятелна оценка

$\hat{\nu_n^2} = \frac{1}{n} \sum_{i=1}^{n}(\xi_i - \bar{\xi_n})^2$ е силно състоятелна оценка за $D_\xi$ ако $D_\xi < \infty$

Дефиниция : Ефективна оценка

Оценката $\Theta$ за неизвестния параметър $\Theta$ се нарича ефективна, ако е с минимална дисперсия

Теорема (Неравенство на Рао-Крамер)

Нека са изпълнени:
1. $\Theta$ е едномерен неизвестен параметър, които влиза в явен вид в разпределението на случайната величина на $\xi$ т.е. $L(x_1,...,x_n|\Theta) = L(\vec{x}|\Theta)$
2. $t_n(\xi)$ е неизместена оценка за $\tau(\Theta)$ т.е. $E_{\Theta}t_n(\xi) = \tau(\Theta)$
3. $l_m L(\vec{x} | \Theta)$ да е определен в една и съща област от стойности на $\vec{x} = (x_1,...,x_n)$ за $\forall \Theta \in \Omega$ където $\Omega$ е областта от допустиммите стойности на $\Theta$
4. Искаме $\tau(\Theta)$ и $L(\vec{x} | \Theta)$ да се диференцируеми функции по $\Theta \in \Omega$
5. $E_\Theta (\frac{\partial}{\partial \Theta} \ln L(\vec{x}| \Theta ) )^2 < \infty$ т.е. съществува
Тогава $t_n(\xi)$ удовлетворява

(3)

\begin{array} {} D_{\Theta} t_n(\xi) \geq \frac{(\tau'(\Theta))^2}{E_\Theta(\frac{\partial}{\partial \Theta} \ln L(\vec{x} | \Theta)) ^2} \end{array}

Равенство се достига т.с.т.к.
$\frac{\partial}{\partial \Theta} \ln L(\vec{x} | \Theta) = \varrho(\Theta)[- \tau(\Theta) + t_n(\xi)]$
и тогава $D_{\Theta}t_n(\xi) = | \frac{\tau'(\Theta)}{\varrho(\Theta)} |$
където $\varrho$ е функция на $\Theta$

Доказателство:

от $\int L(\vec{x}|\Theta) d \vec{x} = 1$ и $\int t_n(vec{x}) L(\vec{x} | \Theta) d\vec{x} = \tau(\Theta)$
следва $\int \frac{\partial}{\partial \theta} L(x|\theta) dx = 0$
от $\int t_n(\vec{x}) L(\vec{x} | \theta) d \vec{x} = \tau \Theta$ условие за неиззместеност
следователно $\tau'(\theta) = \int t_n(\vec{x}) \frac{\partial L(\vec{x} | \theta)}{\partial \theta} d\vec{x}$
$\tau'(\theta) = \int (t_n(\vec{x}) - \tau(\theta) \frac{\sigma L(\vec{x} | \theta }{\partial \theta} d \vec{x}$
и от $\frac{\partial}{\partial \theta} \ln L = \frac{1}{L} \frac{\partial}{\partial \theta} L$ то
$\tau'(\theta) = \int (t_n(\vec{x}) - \tau(\theta)) \frac{\partial}{\partial \theta} \ln L \sqrt{L} \sqrt{L} dx$
онзачаваме $\varphi(x) = (\frac{\partial}{\partial \theta} \ln L ) \sqrt{L}$ и
$\psi(x) = (t_n(\vec{x} ) - \tau(\theta))\sqrt{L}$
тогава получаваме
неравенстов на Коши от анализ

(4)

\begin{array} {} [\tau'(\theta)]^2 = (\int \varphi(\vec{x})\psi(\vec{x}) d \vec{x})^2 < \int \varphi^2(\vec{x}) d\vec{x} \int \psi^2(\vec{x} d\vec{x}) = \\ = \int (\sqrt{L} \frac{\partial \ln L_n}{\partial \theta})^2 d \vec{x} \int \sqrt{L}(t_n(\vec{x}) - \tau(\theta) ))^2 d \vec{x} \end{array}

но $\int x f(x) dx = E\xi \Rightarrow (t'(\theta))^2 \leq E_{\theta} (\frac{\partial}{\partial \theta } \ln L)^2 D_\theta t_n(\vec{\xi})$

За равенство
$\psi(\vec{x}) = \tau(t) \psi(\vec{x})$ то
$(\tau'(\theta))^2 = [ \int[t_n({\xi}) - \tau(\theta)]^2 \tau??(\theta).L dx ]^2 =$
$= [ k(\theta) P \theta t_n(\xi) ]^2 = (k(\theta))^2(D\theta t_n(\xi))^2$

Следтвие 1 от Неравенство на Рао-Крамер

$\xi_1,...,\xi_n$ - проста случайна извадка и нека $t_n(\vec{\xi})$ е неизместена оценка за $\tau(\theta)$ тогава
$D_{\theta} t_n(\vec{\xi})$ е неизместена оценка за $\tau(\theta)$
тогава

(5)

\begin{array} {} D_{\theta} t_n (\vec{\xi}) \geq \frac{[\tau'(\theta)]^2}{E_\theta(\frac{\partial}{\partial \theta} \ln L)^2} \end{array}

Следствие 2 от Неравенство на Рао-Крамер

Нека $\theta$ е едномерен параметър и $\xi_1,...,\xi_n$ е проста извадка и $t_n(\vec{\xi})$ е неизместена оценка.
Тогава

(6)

\begin{array} {} D_\theta t_n(\vec{\xi}) \geq [n E_{\theta}(\frac{\partial}{\partial \theta} \ln f(\xi | \theta))^2]^-1 \end{array}