Точечные оценки математического ожидания и дисперсии. Оценивание математического ожидания случайной величины
Оценки математического ожидания и дисперсии.
С понятием параметров распределения мы познакомились в теории вероятностей. Например, в нормальном законе распределения, задаваемом функцией плотности вероятности
параметрами служат а – математическое ожидание и а – среднее квадратическое отклонение. В распределении Пуассона параметром является число а = пр.
Определение. Статистической оценкой неизвестного параметра теоретического распределения называют его приближенное значение, зависящее от данных выборки (х 1 , х 2 , х 3 , ..., х k ; п 1 , п 2 , п 3 , ..., п k ), т. е. некоторую функцию этих величин.
Здесь х 1 , х 2 , х 3 , ..., х k – значения признака, п 1 , п 2 , п 3 , ..., п k –соответствующие частоты. Статистическая оценка является случайной величиной.
Обозначим через θ – оцениваемый параметр, а через θ * – его статистическую оценку. Величину |θ *–θ | называют точностью оценки. Чем меньше |θ *–θ |, тем лучше, точнее определен неизвестный параметр.
Чтобы оценка θ * имела практическое значение, она не должна содержать систематической ошибки и вместе с тем иметь возможно меньшую дисперсию. Кроме того, при увеличении объема выборки вероятность сколь угодно малых отклонений |θ *–θ | должна быть близка к 1.
Сформулируем следующие определения.
1. Оценка параметра называется несмещенной, если ее математическое ожидание М (θ *) равно оцениваемому параметру θ , т. е.
М (θ *) = θ, (1)
и смещенной, если
М (θ *) ≠ θ, (2)
2. Оценка θ* называется состоятельной, если при любом δ > 0
(3)
Равенство (3) читается так: оценка θ * сходится по вероятности к θ .
3. Оценка θ* называется эффективной, если при заданном п она имеет наименьшую дисперсию.
Теорема 1. Выборочная средняя Х В является несмещенной и состоятельной оценкой математического ожидания.
Доказательство. Пусть выборка репрезентативна, т. е.. все элементы генеральной совокупности имеют одинаковую возможность попасть в выборку. Значения признака х 1 , х 2 , х 3 ,...,х n можно принять за независимые случайные величины Х 1 , Х 2 , Х 3 , ...,Х n с одинаковыми распределениями и числовыми характеристиками, в том числе с равными математическими ожиданиями, равными а,
Так как каждая из величин Х 1 , Х 2 , Х 3 , …, Х п имеет распределение, совпадающее с распределением генеральной совокупности, то М (Х ) = а. Поэтому
откуда следует, что – состоятельная оценка М (Х ).
Используя правило исследования на экстремум, можно доказать, что является и эффективной оценкой М (Х ).
Пусть над случайной величиной с неизвестными математическим ожиданием и дисперсией произведено независимых опытов, давших результаты – 
. Вычислим состоятельные и несмещенные оценки для параметров и .
В качестве оценки для математического ожидания возьмем среднее арифметическое опытных значений
. (2.9.1)
Согласно закону больших чисел эта оценка является состоятельной , при величина по вероятности. Эта же оценка является и несмещенной , поскольку
. (2.9.2)
Дисперсия этой оценки равна
. (2.9.3)
Можно показать, что для нормального закона распределения эта оценка является эффективной . Для других законов это может быть и не так.
Оценим теперь дисперсию. Выберем сначала для оценки формулу для статистической дисперсии
. (2.9.4)
Проверим состоятельность оценки дисперсии. Раскроем скобки в формуле (2.9.4)
.
При первое слагаемое сходится по вероятности к величине 
, в второе – к . Таким образом наша оценка сходится по вероятности к дисперсии
,
следовательно, она является состоятельной .
Проверим несмещенность
оценки для величины . Для этого подставим в формулу (2.9.4) выражение (2.9.1) и учтем, что случайные величины независимы
,
. (2.9.5)
Прейдем в формуле (2.9.5) к флуктуациям случайных величин
Раскрывая скобки, получим
,
. (2.9.6)
Вычислим математическое ожидание величины (2.9.6), учитывая, что 
. (2.9.7)
Соотношение (2.9.7) показывает, что величина , вычисленная по формуле (2.9.4) не является несмещенной оценкой для дисперсии . Ее математическое ожидание не равно, а несколько меньше . Такая оценка приводит к систематической ошибке в сторону уменьшения. Для ликвидации такого смещения нужно ввести поправку, умножив не величину . Тогда такая исправленная статистическая дисперсия может служить несмещенной оценкой для дисперсии
. (2.9.8)
Эта оценка является состоятельной также как и оценка , поскольку при величина .
На практике, вместо оценки (2.9.8) иногда удобнее применять эквивалентную оценку, связанную со вторым начальным статистическим моментом
. (2.9.9)
Оценки (2.9.8), (2.9.9) не являются эффективными. Можно показать, что в случае нормального закона распределения они будут асимптотически эффективными (при будут стремиться к минимально возможному значению).
Таким образом, можно сформулировать следующие правила обработки ограниченного по объему статистического материала. Если в независимых опытах случайная величина принимает значения 
с неизвестными математическим ожиданием и дисперсией , то для определения этих параметров следует пользоваться приближенными оценками
(2.9.10)
Конец работы -
Эта тема принадлежит разделу:
Конспект лекций по математике теория вероятностей математическая статистика
Кафедра высшей математики и информатики.. конспект лекций.. по математике..
Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ:
Что будем делать с полученным материалом:
Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:
| Твитнуть |
Все темы данного раздела:
Теория вероятностей
Теория вероятностей – раздел математики, в котором изучаются закономерности случайных массовых явлений.
Случайным называется явление, которо
Статистическое определение вероятности
Событием называется случайное явление, которое в результате опыта может появится или не появится (двузначное явление). Обозначают события большими латинскими буквами
Пространство элементарных событий
Пусть с некоторым опытом связано множество событий, причем:
1) в результате опыта появляется одно и только одно
Действия на событиями
Суммой двух событий и
Перестановки
Число различных перестановок из элементов обозначается
Размещения
Размещением из элементов по
Сочетания
Сочетанием из элементов по
Формула сложения вероятностей для несовместных событий
Теорема. Вероятность суммы двух несовместных событий равна сумме вероятностей этих событий.
(1
Формула сложения вероятностей для произвольных событий
Теорема. Вероятность суммы двух событий равна сумме вероятностей этих событий без вероятности их произведения.
Формула умножения вероятностей
Пусть даны два события и. Рассмотрим событие
Формула полной вероятности
Пусть – полная группа несовместных событий, их называют гипотезами. Рассмотрим некоторое событие
Формула вероятностей гипотез (Байеса)
Рассмотрим снова – полную группу несовместных гипотез и событие
Асимптотическая формула Пуассона
В тех случаях, когда число испытаний велико, а вероятность появления события
Случайные дискретные величины
Случайной называется величина, которая при повторении опыта может принимать неодинаковые числовые значения. Случайная величина называется дискретной,
Случайные непрерывные величины
Если в результате опыта случайная величина может принимать любое значение из некоторого отрезка или всей действительной оси, то она называется непрерывной. Законо
Функция плотности вероятности случайной непрерывной величины
Пусть. Рассмотрим точку и дадим ей приращени
Числовые характеристики случайных величин
Случайная дискретная или непрерывная величины считаются полностью заданными, если известны их законы распределения. В самом деле, зная законы распределения можно всегда вычислить вероятность попада
Квантили случайных величин
Квантилем порядка случайной непрерывной величины
Математическое ожидание случайных величин
Математическое ожидание случайной величины характеризует ее среднее значение. Все значения случайной величины группируются вокруг этого значения. Рассмотрим сначала случайную дискретную величину
Среднеквадратичное отклонение и дисперсия случайных величин
Рассмотрим сначала случайную дискретную величину. Числовые характеристики мода, медиана, квантили и математическое ожида
Моменты случайных величин
Кроме математического ожидания и дисперсии в теории вероятностей используются числовые характеристики более высоких порядков, которые называются моментами случайных величин.
Теоремы о числовых характеристиках случайных величин
Теорема 1. Математическое ожидание неслучайной величины равно самой этой величине.
Доказательство:Пусть
Биномиальный закон распределения
Закон распределения Пуассона
Пусть случайная дискретная величина, принимающая значения
Равномерный закон распределения
Равномерным законом распределения случайной непрерывной величины называется закон функция плотности вероятности, которого
Нормальный закон распределения
Нормальным законом распределения случайной непрерывной величины называется закон функция плотност
Экспоненциальный закон распределения
Экспоненциальное или показательное распределение случайной величины применяется в таких приложениях теории вероятностей, как теория массового обслуживания, теория надежности
Системы случайных величин
На практике в приложениях теории вероятностей часто приходиться сталкиваться с задачами, в которых результаты эксперимента описываются не одной случайной величиной, а сразу несколькими случайными в
Система двух случайных дискретных величин
Пусть две случайные дискретные величины образуют систему. Случайная величина
Система двух случайных непрерывных величин
Пусть теперь систему образуют две случайные непрерывные величины. Законом распределения этой системы называется вероятно
Условные законы распределения
Пусть и зависимые случайные непрерывные велич
Числовые характеристики системы двух случайных величин
Начальным моментом порядка системы случайных величин
Система нескольких случайных величин
Полученные результаты для системы их двух случайных величии могут быть обобщены на случай систем, состоящих из произвольного числа случайных величин.
Пусть система образована совокупностью
Нормальный закон распределения системы двух случайных величин
Рассмотрим систему двух случайных непрерывных величин. Законом распределения этой системы является нормальный закон расп
Предельные теоремы теории вероятностей
Основной целью дисциплины теория вероятностей является изучение закономерностей случайных массовых явлений.
Практика показывает, что наблюдение массы однородных случайных явлений обнаружив
Неравенство Чебышева
Рассмотрим случайную величину с математическим ожиданием
Теорема Чебышева
Если случайные величины попарно независимы и имеют конечные ограниченные в совокупности дисперсии
Теорема Бернулли
При неограниченном увеличении числа опытов частота появления события сходится по вероятности к вероятности события
Центральная предельная теорема
При сложении случайных величин с любыми законами распределения, но с ограниченными в совокупности дисперсиями, закон расп
Основные задачи математической статистики
Рассмотренные выше законы теории вероятностей представляют собой математическое выражение реальных закономерностей, фактически существующих в различных случайных массовых явлениях.
Изучая
Простая статистическая совокупность. Статистическая функция распределения
Рассмотрим некоторую случайную величину, закон распределения которой неизвестен. Требуется на основании опытных данных о
Статистический ряд. Гистограмма
При большом числе наблюдений (порядка сотен) генеральная совокупность становится неудобной и громоздкой для записи статистического материала. Для наглядности и компактности статистический материал
Числовые характеристики статистического распределения
В теории вероятностей рассматривались различные числовые характеристики случайных величин: математическое ожидание, дисперсию, начальные и центральные моменты различных порядков. Аналогичные числов
Выбор теоретического распределения по методу моментов
Во всяком статистическом распределении неизбежно присутствуют элементы случайности, связанные с ограниченностью числа наблюдений. При большом числе наблюдений эти элементы случайности сглаживаются,
Проверка правдоподобия гипотезы о виде закона распределения
Пусть заданное статистическое распределение аппроксимировано некоторой теоретической кривой или
Критерии согласия
Рассмотрим один из наиболее часто применяемых критериев согласия – так называемый критерий Пирсона.
Предположи
Точечные оценки для неизвестных параметров распределения
В п.п. 2.1. – 2.7 мы подробно рассмотрели способы решения первой и второй основных задач математической статистики. Это задачи определения законов распределения случайных величин по опытным данным
Доверительный интервал. Доверительная вероятность
На практике при малом числе опытов над случайной величиной приближенная замена неизвестного параметра
Для того, чтобы статистические оценки давали хорошее приближение оцениваемых параметров, они должны быть несмещенные, эффективные и состоятельные.
Несмещенной
называется
статистическая оценка
параметра
,
математическое ожидание которой равно
оцениваемому параметру при любом объеме
выборки.
Смещенной
называется
статистическая оценка
параметра
,
математическое ожидание которой не
равно оцениваемому параметру.
Эффективной
называется
статистическая оценка
параметра
,
которая при заданном объеме выборки
имеет наименьшую дисперсию.
Состоятельной
называется статистическая оценка
параметра
,
которая при
стремится по вероятности к оцениваемому
параметру.
т.е.для
любого
.
Для выборок различного объема получаются различные значения среднего арифметического и статистической дисперсии. Поэтому среднее арифметическое и статистическая дисперсия являются случайными величинами, для которых существуют математическое ожидание и дисперсия.
Вычислим
математическое ожидание среднего
арифметического и дисперсии. Обозначим
через
математическое ожидание случайной
величины
Здесь
в качестве случайных величин
рассматриваются:
–
С.В., значения которой равны первым
значениям, полученным для различных
выборок объема
из генеральной совокупности,
–С.В.,
значения которой равны вторым значениям,
полученным для различных выборок объема
из генеральной совокупности, …,
–
С.В., значения которой равны
-м
значениям, полученным для различных
выборок объема
из генеральной совокупности. Все эти
случайные величины распределены по
одному и тому же закону и имеют одно и
то же математическое ожидание.
Из
формулы (1) следует, что среднее
арифметическое является несмещенной
оценкой математического ожидания, так
как математическое ожидание среднего
арифметического равно математическому
ожиданию случайной величины. Эта оценка
является также состоятельной. Эффективность
данной оценки зависит от вида распределения
случайной величины
.
Если, например,
распределена нормально, оценка
математического ожидания с помощью
среднего арифметического будет
эффективной.
Найдем теперь статистическую оценку дисперсии.
Выражение для статистической дисперсии можно преобразовать следующим образом
(2)
Найдем теперь математическое ожидание статистической дисперсии
.
(3)
Учитывая,
что
(4)
получим из (3)-
Из
формулы (6) видно, что математическое
ожидание статистической дисперсии
отличается множителем от дисперсии,
т.е. является смещенной оценкой дисперсии
генеральной совокупности. Это связано
с тем, что
вместо истинного значения
,
которое неизвестно, в оценке дисперсии
используется статистическое среднее
.
Поэтому введем исправленную статистическую дисперсию
(7)
Тогда математическое ожидание исправленной статистической дисперсии равно
т.е. исправленная статистическая дисперсия является несмещенной оценкой дисперсии генеральной совокупности. Полученная оценка является также состоятельной.
Важнейшими числовыми характеристиками случайной величины Х являются её математическое ожидание m x =M и дисперсия σ 2 x =D[x] = M[(X – m x) 2 ] = M – . Число m x является средним значением случайной величины, около которого разбросаны значения величин Х , мерой этого разброса являются дисперсия D[x] и среднеквадратическое отклонение:
s x = (1.11)
Мы будем в дальнейшем рассмотривать важную задачу для исследования наблюдаемой случайной величины. Пусть имеется некоторая выборка (будем обозначать её S ) случайной величины Х . Требуется по имеющейся выборке оценить неизвестные значения m x и .
Теория оценок различных параметров занимает в математической статистике значительное место. Поэтому рассмотрим сначала общую задачу. Пусть требуется оценить некоторый параметр a по выборке S . Каждая такая оценка a* является некоторой функцией a*=a*(S) от значений выборки. Значения выборки случайны, поэтому и сама оценка a* является случайной величиной. Можно построить множество различных оценок (то есть функций) a* , но при этом желательно иметь «хорошую» или даже «наилучшую», в некотором смысле, оценку. К оценкам обычно предъявляются следующие три естественных требования.
1. Несмещённость. Математическое ожидание оценки a* должно равняться точному значению параметра: M = a . Другими словами, оценка a* не должна иметь систематической ошибки.
2. Состоятельность. При бесконечном увеличении объёма выборки, оценка a* должна сходиться к точному значению, то есть при увеличении числа наблюдений ошибка оценки стремится к нулю.
3. Эффективность. Оценка a* называется эффективной, если она не смещена и имеет минимально возможную дисперсию ошибки. В этом случае минимален разброс оценки a* относительно точного значения и оценка в определённом смысле является «самой точной».
К сожалению, не всегда удаётся построить оценку, удовлетворяющую всем трём требованиям одновременно.
Для оценки математического ожидания чаще всего применяется оценка.
= , (1.12)
то есть среднее арифметическое по выборке. Если случайная величина X имеет конечные m x и s x , то оценка (1.12) не смещена и состоятельна. Эта оценка эффективна, например, если X имеет нормальное распределение (рис.п.1.4, приложение 1). Для других распределений она может оказаться неэффективной. Например, в случае равномерного распределения (рис.п.1.1, приложение 1) несмещённой, состоятельной оценкой будет
(1.13)
В то же время оценка (1.13) для нормального распределения не будет ни состоятельной, ни эффективной, и будет даже ухудшаться с ростом объёма выборки.
Таким образом, для каждого типа распределения случайной величины Х следовало бы использовать свою оценку математического ожидания. Однако в нашей ситуации тип распределения может быть известен лишь предположительно. Поэтому будем использовать оценку (1.12), которая достаточно проста и имеет наиболее важные свойства несмещённости и состоятельности.
Для оценки математического ожидания по группированной выборке используется следующая формула:
= , (1.14)
которую можно получить из предыдущей, если считать все m i значений выборки, попавших в i –й интервал, равными представителю z i этого интервала. Эта оценка, естественно, грубее, но требует значительно меньшего объёма вычислений, особенно при большом объёме выборки.
Для оценки дисперсии чаще всего используется оценка:
= 
, (1.15)
Эта оценка не смещена и состоятельна для любой случайной величины Х , имеющей конечные моменты до четвёртого порядка включительно.
В случае группированной выборки используется оценка:
= 
(1.16)
Оценки (1.14) и (1.16), как правило, смещены и несостоятельны, так как их математические ожидания и пределы, к которым они сходятся, отличны от m x и в силу замены всех значений выборки, попавших в i –й интервал, на представителя интервала z i .
Отметим, что при больших n, коэффициент n /(n – 1) в выражениях (1.15) и (1.16) близок к единице, поэтому его можно опустить.
Интервальные оценки.
Пусть точное значение некоторого параметра равно a и найдена его оценка a*(S) по выборке S . Оценке a* соответствует точка на числовой оси (рис.1.5), поэтому такая оценка называется точечной . Все оценки, рассмотренные в предыдущем параграфе, точечные. Практически всегда, в силу случайности
a* ¹ a , и мы можем надеяться только на то, что точка a* находится где–то вблизи a . Но насколько близко? Любая другая точечная оценка будет иметь тот же недостаток – отсутствие меры надёжности результата.
Рис.1.5. Точечная оценка параметра.
Более определённым в этом отношении являются интервальные оценки . Интервальные оценка представляет собой интервал I b = (a , b) , в котором точное значение оцениваемого параметра находится с заданной вероятностью b . Интервал I b называется доверительным интервалом , а вероятность b называется доверительной вероятностью и может рассматриваться как надёжность оценки .
Доверительный интервал состоится по имеющейся выборке S , он случаен в том смысле, что случайны его границы a(S) и b(S) , которые мы будем вычислять по (случайной) выборке. Поэтому b есть вероятность того, что случайный интервал I b накроет неслучайную точку a . На рис. 1.6. интервал I b накрыл точку a , а I b * - нет. Поэтому не совсем правильно говорить, что a « попадает» в интервал.
Если доверительная вероятность b велика (например, b = 0,999 ), то практически всегда точное значение a находится в построенном интервале.
 |
Рис.1.6. Доверительные интервалы параметра a для различных выборок.
Рассмотрим метод построения доверительного интервала для математического ожидания случайной величины Х, основанный на центральной предельной теореме .
Пусть случайная величина Х имеет неизвестное математическое ожидание m x и известную дисперсию . Тогда, в силу центральной предельной теоремы, среднее арифметическое:
= , (1.17)
результатов n независимых испытаний величины Х является случайной величиной, распределение которой при больших n , близко к нормальному распределению со средним m x и среднеквадратическим отклонением . Поэтому случайная величина
(1.18)
имеет распределение вероятностей, которое можно считать стандартным нормальным с плотностью распределения j(t) , график которой изображён на рис.1.7 (а также на рис.п.1.4, приложение 1).
 |
Рис.1.7. Плотность распределения вероятностей случайной величины t .
Пусть задана доверительная вероятность b и t b - число, удовлетворяющее уравнению
b = Ф 0 (t b) – Ф 0 (-t b) = 2 Ф 0 (t b), (1.19)
где 
- функция Лапласа
. Тогда вероятность попадания в интервал (-t b , t b)
будет равна заштрихованной на рис.1.7. площади, и, в силу выражения (1.19), равна b
. Следовательно
b = P(-t b < < t b) = P( – t b < m x < + t b ) =
= P( – t b < m x < + t b ) . (1.20)
Таким образом, в качестве доверительного интервала можно взять интервал
I b = ( – t b ; + t b ) , (1.21)
так как выражение (1.20) означает, что неизвестное точное значение m x находится в I b с заданной доверительной вероятностью b . Для построения I b нужно по заданному b найтиt b из уравнения (1.19). Приведём несколько значений t b , необходимых в дальнейшем :
t 0,9 = 1,645; t 0,95 = 1,96; t 0,99 = 2,58; t 0,999 = 3,3.
При выводе выражения (1.21) предполагалось, что известно точное значение среднеквадратического отклонения s х . Однако оно известно далеко не всегда. Воспользуемся поэтому его оценкой (1.15) и получим:
I b = ( – t b ; + t b ) . (1.22)
Соответственно, оценки и , полученные по группированной выборке, дают следующую формулу для доверительного интервала:
I b = ( – t b ; + t b ) . (1.23)
Пусть имеется случайная величина Х с математическим ожиданием m и дисперсией D , при этом оба эти параметра неизвестны. Над величиной Х произведено N независимых экспериментов, в результате которых была получена совокупность N численных результатов x 1 , x 2 , …, x N . В качестве оценки математического ожидания естественно предложить среднее арифметическое наблюдаемых значений
| (1) |
Здесь в качестве x i рассматриваются конкретные значения (числа), полученные в результате N экспериментов. Если взять другие (независимые от предыдущих) N экспериментов, то, очевидно, мы получим другое значение . Если взять еще N экспериментов, то мы получим еще одно новое значение . Обозначим через X i случайную величину, являющуюся результатом i -го эксперимента, тогда реализациями X i будут числа, полученные в результате этих экспериментов. Очевидно, что случайная величина X i будет иметь такую же плотность распределения вероятности, что и исходная случайная величина Х . Также считаем, что случайные величины X i и X j являются независимыми при i , не равном j (различные независимые друг относительно друга эксперименты). Поэтому формулу (1) перепишем в другом (статистическом) виде:
| (2) |
Покажем, что оценка является несмещенной:
Таким образом, математическое ожидание выборочного среднего равно истинному математическому ожиданию случайной величины m . Это достаточно предсказуемый и понятный факт. Следовательно, за оценку математического ожидания случайной величины можно принять выборочное среднее (2). Теперь возникает вопрос: что происходит с дисперсией оценки математического ожидания при увеличении числа экспериментов? Аналитические вычисления показывают, что
где - дисперсия оценки математического ожидания (2), а D - истинная дисперсия случайной величины X .
Из вышесказанного следует, что с ростом N (количества экспериментов) дисперсия оценки уменьшается, т.е. чем больше мы суммируем независимые реализации, тем ближе к математическому ожиданию мы получим оценку.
Оценки математического дисперсии
На первый взгляд наиболее естественной оценкой представляется
| (3) |
где вычисляется по формуле (2). Проверим, является ли оценка несмещенной. Формула (3) может быть записана следующим образом :
Подставим в эту формулу выражение (2):
Найдем математическое ожидание оценки дисперсии:
| (4) |
Так как дисперсия случайной величины не зависит от того, какое математическое ожидание у случайной величины, примем математическое ожидание равным 0, т.е. m = 0.
| (5) | |
| при . | (6) |