Estymacja statystyczna — populacja, próba, estymatory i ich własności

Mgr inż.

Sebastian Dziarmaga-Działyński

Wirtualna kancelaria korepetytorska i konsultacyjna – wszechwiedza.pl

Estymacja statystyczna pozwala wnioskować o nieznanych cechach całej populacji na podstawie danych uzyskanych z próby. Jej celem nie jest mechaniczne obliczenie jednej liczby, lecz znalezienie takiego estymatora, który możliwie trafnie i stabilnie przybliża nieznany parametr populacji. W artykule wyjaśniamy podstawowe pojęcia teorii estymacji, własności dobrych estymatorów oraz ideę metody momentów i metody największej wiarygodności.

W praktyce często chcemy poznać pewną cechę dużej zbiorowości: średni dochód mieszkańców regionu, udział osób popierających określoną partię, przeciętny czas realizacji zamówienia, zmienność wyników egzaminu albo odsetek produktów wadliwych w partii produkcyjnej. Zbadanie wszystkich jednostek zwykle byłoby zbyt kosztowne, czasochłonne lub niemożliwe.

Z tego powodu badamy jedynie część populacji, czyli próbę. Następnie wykorzystujemy dane z próby do oszacowania nieznanego parametru opisującego całą populację. Właśnie tym zajmuje się teoria estymacji.

Czym jest estymacja statystyczna?

Estymacja statystyczna jest działem statystyki matematycznej zajmującym się szacowaniem nieznanych parametrów populacji na podstawie obserwacji pochodzących z próby. Parametrem może być między innymi średnia, wariancja, odchylenie standardowe, mediana, udział określonej kategorii w populacji albo parametr opisujący rozkład prawdopodobieństwa.

W teorii estymacji zakłada się zwykle, że obserwacje z próby mają określony rozkład probabilistyczny. Nie znamy jednak wszystkich jego parametrów. Dane pozwalają nam te parametry przybliżyć.

\[ X_1, X_2, \ldots, X_n \]

Powyższy zapis oznacza próbę losową o liczebności \(n\). Poszczególne obserwacje \(X_1, X_2, \ldots, X_n\) są traktowane jako zmienne losowe. Dopiero po przeprowadzeniu badania przyjmują one konkretne wartości liczbowe:

\[ x_1, x_2, \ldots, x_n \]

Różnica między tymi dwoma zapisami jest bardzo istotna. Wielkie litery odnoszą się do teoretycznego, losowego mechanizmu pobierania próby, a małe litery do faktycznie zaobserwanych danych.

Populacja, próba, parametr i statystyka z próby

Pojęcie	Znaczenie
Populacja	Cała zbiorowość jednostek, o której chcemy uzyskać informację.
Jednostka statystyczna	Pojedynczy element populacji, na przykład osoba, gospodarstwo domowe, firma, produkt lub transakcja.
Próba	Część populacji poddana badaniu.
Parametr populacji	Nieznana wartość liczbowa opisująca populację lub jej rozkład.
Statystyka z próby	Wielkość obliczona wyłącznie na podstawie obserwacji z próby.
Estymator	Statystyka z próby używana do szacowania określonego parametru populacji.

Parametry populacji najczęściej oznacza się literami greckimi. Przykładowo:

\[ \mu = E(X) \] \[ \sigma^2 = Var(X) \] \[ p = P(A) \]

Symbol \(\mu\) oznacza średnią populacji, \(\sigma^2\) wariancję populacji, a \(p\) udział lub prawdopodobieństwo wystąpienia określonego zjawiska. Wartości te są z reguły nieznane i właśnie dlatego wymagają oszacowania.

Najważniejsza idea

Parametr opisuje populację, natomiast estymator jest obliczany z próby. Estymator ma być narzędziem prowadzącym od danych częściowych do możliwie wiarygodnego wniosku o całości.

Estymator a oszacowanie

W języku potocznym pojęcia estymator i oszacowanie bywają stosowane zamiennie. W statystyce matematycznej oznaczają jednak dwie różne rzeczy.

Estymator jest funkcją zmiennych losowych tworzących próbę.
Oszacowanie jest konkretną wartością liczbową otrzymaną po podstawieniu rzeczywistych danych do wzoru estymatora.

Jeżeli \(\theta\) oznacza nieznany parametr populacji, to estymator tego parametru można ogólnie zapisać jako:

\[ \hat{\theta}=T(X_1,X_2,\ldots,X_n) \]

Symbol \(\hat{\theta}\) czytamy jako „theta z daszkiem”. Estymator jest zmienną losową, ponieważ jego wartość zależy od tego, jaka próba została wylosowana. Gdy po badaniu podstawimy za \(X_1, X_2, \ldots, X_n\) konkretne obserwacje \(x_1, x_2, \ldots, x_n\), otrzymamy oszacowanie parametru:

\[ \hat{\theta}=T(x_1,x_2,\ldots,x_n) \]

W teorii estymacji interesuje nas więc nie tylko konkretna liczba otrzymana z jednej próby. Równie ważne jest to, jak estymator zachowywałby się przy wielokrotnym losowaniu różnych prób z tej samej populacji.

Estymacja punktowa i przedziałowa

Estymacja punktowa polega na podaniu jednej wartości jako przybliżenia nieznanego parametru. Taką rolę pełni oszacowanie \(\hat{\theta}\).

Jedna liczba nie pokazuje jednak, jak duża jest niepewność związana z losowym doborem próby. Dlatego stosuje się także estymację przedziałową. Jej wynikiem jest przedział ufności, czyli zakres wartości wyznaczony na podstawie danych, przyjętego poziomu ufności oraz oszacowanej zmienności estymatora.

\[ \text{oszacowanie punktowe} \pm \text{margines błędu} \]

W praktyce szerokość przedziału ufności zależy przede wszystkim od liczebności próby, zróżnicowania danych oraz poziomu ufności. Szczegółowe metody budowania przedziałów ufności dla konkretnych parametrów wymagają odrębnego omówienia.

Metody wyznaczania estymatorów

W prostych sytuacjach wybór estymatora wydaje się naturalny. W bardziej zaawansowanych modelach potrzebujemy ogólnych metod, które pozwalają wyprowadzić estymator na podstawie założeń dotyczących rozkładu danych.

Do najważniejszych klasycznych metod należą:

metoda momentów,
metoda największej wiarygodności,
metoda najmniejszych kwadratów, szczególnie ważna w regresji i ekonometrii.

Dwie pierwsze metody są podstawowymi narzędziami teorii estymacji parametrów rozkładów prawdopodobieństwa.

Metoda momentów

Metoda momentów polega na przyrównaniu momentów teoretycznych rozkładu do odpowiadających im momentów empirycznych obliczonych z próby.

Moment pierwszy zwykły rozkładu jest wartością oczekiwaną:

\[ m_1=E(X) \]

Jego odpowiednikiem empirycznym jest średnia z próby:

\[ \overline{X}=\frac{1}{n}\sum_{i=1}^{n}X_i \]

Jeżeli model ma jeden nieznany parametr, często wystarcza przyrównanie pierwszego momentu teoretycznego do pierwszego momentu empirycznego. Przy większej liczbie parametrów wykorzystuje się odpowiednio więcej momentów.

Przykład: rozkład wykładniczy

Załóżmy, że zmienna losowa \(X\) ma rozkład wykładniczy z parametrem intensywności \(\lambda>0\). Dla tego rozkładu:

\[ E(X)=\frac{1}{\lambda} \]

W metodzie momentów przyrównujemy wartość oczekiwaną do średniej z próby:

\[ \overline{X}=\frac{1}{\lambda} \]

Po rozwiązaniu równania względem \(\lambda\) otrzymujemy estymator momentów:

\[ \hat{\lambda}_{MM}=\frac{1}{\overline{X}} \]

Metoda momentów jest zwykle prosta obliczeniowo i intuicyjna. Nie zawsze prowadzi jednak do estymatora o najlepszych możliwych własnościach.

Metoda największej wiarygodności

Metoda największej wiarygodności polega na wyborze takiej wartości parametru, przy której faktycznie zaobserwowana próba jest najbardziej prawdopodobna w ramach przyjętego modelu statystycznego.

Jeżeli obserwacje są niezależne, a ich funkcję gęstości lub funkcję prawdopodobieństwa oznaczymy przez \(f(x;\theta)\), funkcja wiarygodności ma postać:

\[ L(\theta)=\prod_{i=1}^{n}f(x_i;\theta) \]

Nie należy interpretować funkcji wiarygodności jako rozkładu prawdopodobieństwa parametru. Parametr \(\theta\) pozostaje tutaj ustaloną, choć nieznaną wartością. Funkcja wiarygodności pokazuje natomiast, które wartości parametru lepiej lub gorzej wyjaśniają zaobserwowane dane.

Przykład: rozkład wykładniczy

Dla rozkładu wykładniczego o parametrze \(\lambda\) funkcja gęstości wynosi:

\[ f(x;\lambda)=\lambda e^{-\lambda x}, \qquad x\geq 0 \]

Dla niezależnej próby \(x_1,x_2,\ldots,x_n\) funkcja wiarygodności przyjmuje postać:

\[ L(\lambda)=\lambda^n e^{-\lambda\sum_{i=1}^{n}x_i} \]

Wygodniej maksymalizować logarytm funkcji wiarygodności:

\[ \ln L(\lambda)=n\ln\lambda-\lambda\sum_{i=1}^{n}x_i \]

Różniczkując względem \(\lambda\) i przyrównując pochodną do zera, otrzymujemy:

\[ \frac{d\ln L(\lambda)}{d\lambda} = \frac{n}{\lambda}-\sum_{i=1}^{n}x_i=0 \]

Stąd wynika estymator największej wiarygodności:

\[ \hat{\lambda}_{MNW} = \frac{n}{\sum_{i=1}^{n}x_i} = \frac{1}{\overline{X}} \]

W tym konkretnym modelu metoda momentów i metoda największej wiarygodności prowadzą do tego samego estymatora. Nie jest to jednak regułą ogólną. W innych modelach obie metody mogą dawać różne wyniki.

Własności dobrego estymatora

Nie wystarczy, aby estymator dawał wynik łatwy do obliczenia. W teorii estymacji analizuje się, czy jego zachowanie jest pożądane przy wielokrotnym losowaniu prób. Najważniejsze własności dotyczą obciążenia, zmienności, zgodności i efektywności.

Nieobciążoność

Estymator \(\hat{\theta}\) parametru \(\theta\) jest nieobciążony, gdy jego wartość oczekiwana jest równa rzeczywistemu parametrowi:

\[ E(\hat{\theta})=\theta \]

Oznacza to, że gdybyśmy bardzo wiele razy losowali próbę o tej samej liczebności i za każdym razem wyznaczali oszacowanie, średnia z otrzymanych oszacowań byłaby równa rzeczywistej wartości parametru.

Jeżeli wartość oczekiwana estymatora nie jest równa parametrowi, mówimy o obciążeniu estymatora:

\[ B(\hat{\theta})=E(\hat{\theta})-\theta \]

Nieobciążoność jest ważną cechą, ale nie przesądza o tym, że estymator jest najlepszy. Estymator może być nieobciążony, lecz bardzo zmienny między kolejnymi próbami.

Wariancja i błąd standardowy estymatora

Wariancja estymatora opisuje, jak silnie jego wartości różnią się między próbami. Im mniejsza wariancja, tym bardziej stabilne są oszacowania.

\[ Var(\hat{\theta}) \]

Pierwiastek z wariancji estymatora nazywa się błędem standardowym:

\[ SE(\hat{\theta})=\sqrt{Var(\hat{\theta})} \]

W praktyce prawdziwa wariancja estymatora jest zwykle nieznana, dlatego zastępuje się ją jej oszacowaniem uzyskanym z próby. Błąd standardowy ma zasadnicze znaczenie przy budowaniu przedziałów ufności i przeprowadzaniu testów statystycznych.

Średni błąd kwadratowy

Do całościowej oceny dokładności estymatora wykorzystuje się średni błąd kwadratowy, oznaczany skrótem MSE:

\[ MSE(\hat{\theta}) = E\left[(\hat{\theta}-\theta)^2\right] \]

Wartość MSE można rozłożyć na wariancję estymatora i kwadrat jego obciążenia:

\[ MSE(\hat{\theta}) = Var(\hat{\theta}) + \left[B(\hat{\theta})\right]^2 \]

Wzór pokazuje, że dokładność estymatora zależy zarówno od jego przeciętnego przesunięcia względem parametru, jak i od jego losowej zmienności. Czasem niewielkie obciążenie może być akceptowalne, jeżeli prowadzi do wyraźnego zmniejszenia wariancji i w rezultacie do mniejszego MSE.

Zgodność

Estymator \(\hat{\theta}_n\) nazywamy zgodnym, jeżeli wraz ze wzrostem liczebności próby zbliża się on do prawdziwego parametru populacji:

\[ \hat{\theta}_n\xrightarrow{P}\theta \]

Symbol \(\xrightarrow{P}\) oznacza zbieżność według prawdopodobieństwa. Intuicyjnie mówi ona, że przy dużych próbach prawdopodobieństwo popełnienia dużego błędu staje się coraz mniejsze.

Zgodność jest własnością asymptotyczną. Nie oznacza, że dla każdej małej próby wynik będzie bliski prawdziwemu parametrowi. Oznacza natomiast, że wraz ze wzrostem liczebności próby estymator coraz lepiej wykorzystuje zawartą w danych informację.

Asymptotyczna nieobciążoność i asymptotyczna normalność

Estymator może być obciążony w małych próbach, ale wraz ze wzrostem \(n\) jego obciążenie może zanikać. Mówimy wtedy, że jest asymptotycznie nieobciążony:

\[ \lim_{n\to\infty}B(\hat{\theta}_n)=0 \]

W wielu modelach ważna jest również asymptotyczna normalność. Oznacza ona, że po odpowiednim przeskalowaniu rozkład estymatora zbliża się do rozkładu normalnego. Ta własność stanowi jedno z teoretycznych uzasadnień budowania przedziałów ufności oraz testowania hipotez przy odpowiednio dużych próbach.

Efektywność

W uproszczeniu estymator jest efektywny, gdy spośród porównywanych estymatorów tego samego parametru zapewnia dużą precyzję, czyli ma małą wariancję. Jeżeli dwa estymatory są nieobciążone, zwykle preferuje się ten, którego wariancja jest mniejsza.

W bardziej zaawansowanej teorii statystyki efektywność wiąże się między innymi z dolnym ograniczeniem Craméra – Rao, które określa granicę możliwej wariancji nieobciążonego estymatora w danym modelu.

Wystarczalność

Statystyka jest wystarczająca dla parametru \(\theta\), jeżeli zawiera całą informację o tym parametrze dostępną w badanej próbie. Jest to pojęcie bardziej zaawansowane, ale ważne przy konstruowaniu dobrych estymatorów i redukowaniu danych do najistotniejszych wielkości.

Jak wykazuje się zgodność estymatora?

Zgodność nie jest oceną opartą na jednej konkretnej próbie. Jest własnością teoretyczną estymatora, którą wykazuje się na podstawie jego rozkładu, wartości oczekiwanej i wariancji albo korzystając z odpowiednich twierdzeń rachunku prawdopodobieństwa.

Dobrym przykładem jest estymator proporcji. Załóżmy, że \(X_i\) przyjmuje wartość \(1\), gdy u \(i\)-tej jednostki występuje badana cecha, oraz \(0\), gdy jej nie ma. Wtedy:

\[ X_i\sim Bernoulli(p) \]

Naturalnym estymatorem parametru \(p\) jest średnia z takich zmiennych, czyli proporcja jednostek posiadających badaną cechę:

\[ \hat{p} = \overline{X} = \frac{1}{n}\sum_{i=1}^{n}X_i \]

Dla tego estymatora zachodzą zależności:

\[ E(\hat{p})=p \] \[ Var(\hat{p})=\frac{p(1-p)}{n} \]

Wariancja maleje wraz ze wzrostem liczebności próby. Z nierówności Czebyszewa wynika:

\[ P\left(\left|\hat{p}-p\right|\geq\varepsilon\right) \leq \frac{p(1-p)}{n\varepsilon^2} \]

Dla dowolnie ustalonego \(\varepsilon>0\) prawa strona tego wyrażenia dąży do zera, gdy \(n\) rośnie. Oznacza to, że prawdopodobieństwo dużego odchylenia estymatora od rzeczywistego parametru maleje wraz z liczebnością próby. W ten sposób wykazuje się zgodność estymatora \(\hat{p}\).

Ważne rozróżnienie

Nie można „sprawdzić zgodności” na podstawie jednego wyniku badania, ponieważ prawdziwy parametr populacji zazwyczaj pozostaje nieznany. Zgodność jest własnością wzoru estymatora oraz modelu probabilistycznego, a nie pojedynczej liczby uzyskanej z konkretnej próby.

Jakość próby a jakość estymacji

Nawet najlepszy teoretycznie estymator nie zagwarantuje wiarygodnego wyniku, jeżeli próba została dobrana wadliwie. Teoria estymacji opisuje przede wszystkim niepewność wynikającą z losowego doboru próby. Nie eliminuje natomiast błędów systematycznych powstałych na wcześniejszym etapie badania.

Próba może być zbyt mała, aby zapewnić dostateczną precyzję.
Badanie może pomijać część populacji, na przykład osoby niekorzystające z określonego kanału komunikacji.
Respondenci mogą odmawiać odpowiedzi lub udzielać odpowiedzi niezgodnych z prawdą.
Pytania mogą być sformułowane w sposób sugerujący odpowiedź.
Obserwacje mogą nie być niezależne, mimo że zastosowany model tego wymaga.

Dlatego poprawna estymacja wymaga jednocześnie dobrego modelu statystycznego, właściwego estymatora oraz prawidłowo zaprojektowanego badania.

Najczęściej estymowane parametry

W zastosowaniach dydaktycznych i praktycznych szczególnie często estymuje się trzy grupy parametrów:

miary położenia, przede wszystkim średnią populacji,
miary zróżnicowania, takie jak wariancja i odchylenie standardowe populacji,
wskaźniki struktury, czyli proporcje i udziały określonych kategorii w populacji.

Każdy z tych przypadków ma własne założenia, estymatory oraz procedury budowania przedziałów ufności. Właśnie dlatego szczegółowe obliczenia dla tych parametrów warto omawiać w oddzielnych materiałach.

Podsumowanie

Estymacja statystyczna umożliwia przechodzenie od danych z próby do wniosków o całej populacji. Jej podstawowymi pojęciami są populacja, próba, parametr, statystyka z próby, estymator i oszacowanie.

Estymator jest funkcją obserwacji z próby, a oszacowanie jest konkretną wartością otrzymaną po przeprowadzeniu badania.
Estymacja punktowa podaje jedną wartość parametru, natomiast estymacja przedziałowa uwzględnia niepewność oszacowania.
Metoda momentów oraz metoda największej wiarygodności należą do najważniejszych metod konstruowania estymatorów.
Dobry estymator powinien być możliwie precyzyjny, a jego najważniejsze własności to nieobciążoność, zgodność, mała wariancja i efektywność.
Wynik estymacji zależy nie tylko od użytego wzoru, lecz także od jakości próby i zasadności przyjętego modelu statystycznego.

Powiązane artykuły

Masz problem z tym tematem?

Wszechwiedza.pl pomaga zrozumieć matematykę, statystykę, ekonometrię, badania operacyjne, analizę danych, mechanikę, rachunkowość i wiele innych przedmiotów — spokojnie, konkretnie i krok po kroku.

Zapytaj o pomoc