Закон больших чисел. Центральная предельная теорема

Рассмотренный выше закон больших чисел устанавливает факт приближения средней большого числа случайных величин к определен- н ы м ностоянн ы м. Но этим не ограничиваются закономерности, возникающие в результате суммарного действия случайных величии. Оказывается, что при некоторых весьма общих условиях совокупное действие большого числа случайных величин приводит к определен - н о м у, а именно - к н о р м а л ь н о м у закону распределения.

Центральная предельная теорема представляет собой группу теорем, посвященных установлению условий, при которых возникает нормальный закон распределения. Среди этих теорем важнейшее место принадлежит теореме Ляпунова.

Теорема Ляпунова. Если Х { , Х ъ ..., , у каждой из которых существует математическое ожидание М(Х г) = а ,

дисперсия 0(Хд =а 2 , абсолютный центральный момент третьего порядка и

то закон распределения суммы при п -> оо неограничен

но приближается к нормальному с математическим ожиданием и дисперсией

Теорему принимаем без доказательства.

Неограниченное приближение закона распределения суммы

к нормальному закону при п -> оо в соответствии со свойствами нормального закона означает, что

где Ф(г) - функция Лапласа (2.11).

Смысл условия (6.20) состоит в том, чтобы в сумме не было

слагаемых, влияние которых на рассеяние У п подавляюще велико по сравнению с влиянием всех остальных, а также не должно быть большого числа случайных слагаемых, влияние которых очень мало по сравнению с суммарным влиянием остальных. Таким образом, удельный вес каждого отдельного слагаемого должен стремиться к нулю при увеличении числа слагаемых.

Так, например, потребление электроэнергии для бытовых нужд за месяц в каждой квартире многоквартирного дома можно представить в виде п различных случайных величин. Если потребление электроэнергии в каждой квартире по своему значению резко не выделяется среди остальных, то на основании теоремы Ляпунова можно считать, что потребление электроэнергии всего дома, т.е. сумма п независимых случайных величин будет случайной величиной, имеющей приближенно нормальный закон распределения. Если, например, в одном из помещений дома разместится вычислительный центр, у которого уровень потребления электроэнергии несравнимо выше, чем в каждой квартире для бытовых нужд, то вывод о приближенно нормальном распределении потребления электроэнергии всего дома будет неправомерен, так как нарушено условие (6.20), ибо потребление электроэнергии вычислительного центра будет играть превалирующую роль в образовании всей суммы потребления.

Другой пример. При устойчивом и отлаженном режиме работы станков, однородности обрабатываемого материала и т.д. варьирование качества продукции принимает форму нормального закона распределения в силу того, что производственная погрешность представляет собой результат суммарного действия большого числа случайных величин: погрешности станка, инструмента, рабочего и т.д.

Следствие. Если Х { , Х 2 , ..., Х п - независимые случайные величины , у которых существуют равные математические ожидания М(Х {) = а , дисперсии 0(Х,) = а 2 и абсолютные центральные моменты третьего

порядка то закон распределения суммы

при п -> со неограниченно приближается к нормальному

закону.

Доказательство сводится к проверке условия (6.20):

следовательно, имеет место и равенство (6.21). ?

В частности, если все случайные величины Х } одинаково распределены , то закон распределения их суммы неограниченно приближается к нормальному закону при п -> оо.

Проиллюстрируем это утверждение па примере суммирования независимых случайных величин, имеющих равномерное распределение на интервале (0, 1). Кривая распределения одной такой случайной величины показана на рис. 6.2, а. На рис. 6.2, б показана плотность вероятности суммы двух таких случайных величин (см. пример 5.9), а на рис. 6.2, в - плотность вероятности суммы трех таких случайных величин (ее график состоит из трех отрезков парабол на интервалах (0; 1), (1; 2) и (2; 3) и но виду уже напоминает нормальную кривую).

Если сложить шесть таких случайных величин, то получится случайная величина с плотностью вероятности, практически не отличающейся от нормальной.

Теперь у нас имеется возможность доказать локальную и ипте- гральную теоремы Муавра - Лапласа (см. параграф 2.3).

Рассмотрим случайную величину - число появлений события в п независимых испытаниях, в каждом из которых оно может появиться с одной и той же вероятностью р, т.е. X = т - случайная величина, имеющая биномиальный закон распределения, для которого математическое ожидание М(Х) = пр и дисперсия О(Х) = пру.

Случайная величина 7, так же как случайная величина X, вообще говоря, дискретна, но при большом числе п испытаний ее значения расположены на оси абсцисс так тесно, что ее можно рассматривать как непрерывную с плотностью вероятности ср(х).

Найдем числовые характеристики случайной величины 7, используя свойства математического ожидания и дисперсии:

В силу того, что случайная величина X представляет собой сумму независимых альтернативных случайных величин (см. параграф 4.1), случайная величина 2 представляет также сумму независимых, одинаково распределенных случайных величин и, следовательно, на основании центральной предельной теоремы при большом числе п имеет распределение, близкое к нормальному закону с параметрами а = 0, с 2 = 1. Используя свойство (4.32) нормального закона, с учетом равенств (4.33) получим

Полагая , с учетом того, что получаем,

что двойное неравенство в скобках равносильно неравенству аВ результате из формулы (6.22) получим интегральную формулу Муавра - Лапласа (2.10):

Вероятность Р т п того, что событие А произойдет т раз в п независимых испытаниях, можно приближенно записать в виде

Чем меньше Ат, тем точнее приближенное равенство. Минимальное (целое) Ат - 1. Поэтому, учитывая формулы (6.23) и (6.22), можно записать:

где

При малых Дг имеем

где ф(г) - плотность стандартной нормально распределенной случайной величины с параметрами а = 0, а 2 = 1, т.е.

Полагая , из формулы

(6.25) с учетом равенства (6.24) получим локальную формулу Муавра - Лапласа (2.7):

Замечание. Необходимо соблюдать известную осторожность, применяя центральную предельную теорему в статистических исследованиях. Так, если сумма при п -> оо всегда имеет нормальный закон

распределения, то скорость сходимости к нему существенно зависит от типа распределения ее слагаемых. Так, например, как отмечено выше, при суммировании равномерно распределенных случайных величин уже при 6-10 слагаемых можно добиться достаточной близости к нормальному закону, в то время как для достижения той же близости при суммировании х 2 -распределенных случайных слагаемых понадобится более 100 слагаемых.

Опираясь на центральную предельную теорему, можно утверждать, что рассмотренные в гл. 4 случайные величины, имеющие законы распределения - биномиальный, Пуассона, гипергеометрический, у} («хи-квадрат»), Ь (Стьюдента), при п -> оо распределены асимптотически нормально.

Каков средний вес человека?

Основная идея статистики заключается в том, что о населении в целом можно сказать что-то, выяснив это для меньшей группы людей. Без этой идеи не было бы опросов общественного мнения или предвыборных прогнозов, не было бы возможности испытать новые медицинские препараты или исследовать безопасность мостов и т. д. В значительной степени за факт, что мы можем делать все это и уменьшать неопределенности прогнозов, отвечает центральная предельная теорема.

Чтобы понять, как работает теорема, представим, что нужно узнать средний вес жителя Великобритании. Вы выходите и измеряете вес, скажем, ста случайно выбранных людей, и находите средний вес человека для этой группы — назовем это выборочным средним. Теперь выборочное среднее должно дать достаточно точное представление о среднем по стране. Но что, если вам в выборке попались только полные люди или, наоборот, только очень худые?

Чтобы получить представление о том, насколько типичным будет полученное среднее значение, нужно знать, как средний вес выборки из 100 человек варьируется в зависимости от населения: если вы взяли очень много групп из 100 человек и нашли средний вес для каждой группы, то насколько будут различаться найденные числа? И насколько его среднее (среднее средних) будет совпадать с истинным средним весом человека в популяции?

Например, предположим, что если выбрать очень много групп из 100 человек и записать средний вес каждой группы, получатся бы все значения от 10 кг до 300 кг в равных количествах. Тогда ваш метод оценки общего среднего по одной выборке из 100 человек не очень хороший, потому что слишком большой разброс значений — вы можете получить любое из возможных значений, поэтому нельзя сказать, какое из них ближе всего к истинному среднему весу в популяции.

Примеры нормального распределения с различными средними значениями и дисперсиями.

Итак, как мы можем говорить что-либо о распределении средних значений масс 100 человек — называемом распределением выборки — когда мы ничего не знаем о распределении масс всего населения? В этом и заключается центральная предельная теорема: в ней говорится, что для достаточно большой выборки распределение выборки аппроксимируется нормальным распределением — это распределение, имеющее известную форму колокола. (Обычно считается, что размер выборки 30 достаточно хорош.)

Среднее этого нормального распределения (среднее из средних значений, соответствующих вершине колокола) такое же, как среднее по всему населению (средний вес популяции). Дисперсия этого нормального распределения, то есть насколько вес отклоняется от среднего (определяется шириной колокола), зависит от размера выборки: чем больше выборка, тем меньше дисперсия. Существует уравнение, которое дает точное соотношение.

Поэтому, если ваш размер выборки достаточно велик (100, конечно, подойдет, так как это больше 30), то относительно небольшая дисперсия нормального распределения выборки означает, что средний вес, который вы наблюдаете, близок к среднему значению этого нормального распределения (поскольку колокол довольно узкий). И так как среднее этого нормального распределения равно истинному среднему весу во всей популяции, наблюдаемый средний показатель является хорошим приближением к истинному среднему.
Вы можете сделать все это точно, например, вы можете сказать, насколько вы уверены в том, что истинное среднее значение удалено от выборочного среднего, и вы также можете использовать результат для расчета того, насколько большой образец вам нужен, чтобы получить оценку с определенной степенью точности. Именно центральная предельная теорема отвечает за точность статистического вывода, и именно она стоит за широкой распространенностью нормального распределения.
На самом деле, центральная предельная теорема немного более общая, чем здесь представлено. Вот ее точная формулировка.

Теорема. Пусть — бесконечная последовательность независимых одинаково распределённых случайных величин, имеющих конечное математическое ожидание и дисперсию . Пусть . Тогда

по распределению при .

Обозначив символом выборочное среднее первых величин, то есть , мы можем переписать результат центральной предельной теоремы в следующем виде.

Многие задачи ТВ связаны с изучением суммы независимых случайных величин, которая при определенных условиях имеет распределение, близкое к нормальному. Эти условия выражаются центральной предельной теоремой (ЦПТ).

Пусть ξ 1, ξ 2 , …, ξ n , …– последовательность независимых случайных величин. Обозначим

n η = ξ 1 + ξ 2 +…+ ξ n. Говорят, что к последовательности ξ 1, ξ 2 , …, ξ n , … применима ЦТП,

если при n → ∞ закон распределения η n стремится к нормальному:

Суть ЦПТ: при неограниченном увеличении числа случайных величин закон распределения их суммы стремится к нормальному.

Центральная предельная теорема Ляпунова

Закон больших чисел не исследует вид предельного закона распределения суммы случайных величин. Этот вопрос рассмотрен в группе теорем, называемых центральной предельной теоремой. Они утверждают, что закон распределения суммы случайных величин, каждая из которых может иметь различные распределения, приближается к нормальному при достаточ-но большом числе слагаемых. Этим объясняется важность нормального закона для практичес-ких приложений.

Характеристические функции.

Для доказательства центральной предельной теоремы используется метод характеристичес-ких функций.

Определение 14.1. Характеристической функцией случайной величины Х называется функция

g (t ) = M ( e itX ) (14.1)

Таким образом, g (t ) представляет собой математическое ожидание некоторой комплексной случайной величины U = e itX , связанной с величиной Х . В частности, если Х – дискретная случайная величина, заданная рядом распределения, то

. (14.2)

Для непрерывной случайной величины с плотностью распределения f (x )

(14.3)

Пример 1. Пусть Х – число выпадений 6 очков при одном броске игральной кости. Тогда по формуле (14.2) g (t ) =

Пример 2. Найдем характеристическую функцию для нормированной непрерывной случайной величины, распределенной по нормальному закону . По формуле (14.3) (использовалась формула и то, что i ² = -1).

Свойства характеристических функций.

1. Функцию f (x ) можно найти по известной функции g (t ) по формуле

(14.4)

(преобразование (14.3) называется преобразованием Фурье , а преобразование (14.4) – обратным преобразованием Фурье ).

2. Если случайные величины Х и Y связаны соотношением Y = aX , то их характеристические функции связаны соотношением

g y (t ) = g x (at ). (14.5)

3. Характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых: для

Теорема 14.1 (центральная предельная теорема для одинаково распределенных слагае-мых). Если Х 1 , Х 2 ,…, Х п ,… - независимые случайные величины с одинаковым законом распределения, математическим ожиданием т и дисперсией σ 2 , то при неограниченном увеличении п закон распределения суммы неограниченно приближается к нор-мальному.

Доказательство.

Докажем теорему для непрерывных случайных величин Х 1 , Х 2 ,…, Х п (доказательство для дискретных величин аналогично). Согласно условию теоремы, характеристические функции слагаемых одинаковы: Тогда по свойству 3 характеристическая функция суммы Y n будет Разложим функцию g x (t ) в ряд Маклорена:

, где при .

Если предположить, что т = 0 (то есть перенести начало отсчета в точку т ), то .

(так как т = 0). Подставив полученные результаты в формулу Маклорена, найдем, что

.

Рассмотрим новую случайную величину , отличающуюся от Y n тем, что ее дисперсия при любом п равна 0. Так как Y n и Z n связаны линейной зависимостью, достаточно доказать, что Z n распределена по нормальному закону, или, что то же самое, что ее характе-ристическая функция приближается к характеристической функции нормального закона (см. пример 2). По свойству характеристических функций

Прологарифмируем полученное выражение:

где

Разложим в ряд при п → ∞, ограничившись двумя членами разложения, тогда ln(1 - k ) ≈ - k .

Где последний предел равен 0, так как при . Следовательно, , то есть - характеристическая функция нормального распределения. Итак, при неограниченном увеличении числа слагаемых характеристическая функция величины Z n неограниченно приближается к характеристической функции нормального закона; следова-тельно, закон распределения Z n (и Y n ) неограниченно приближается к нормальному. Теорема доказана.

А.М.Ляпунов доказал центральную предельную теорему для условий более общего вида:

Теорема 14.2 (теорема Ляпунова). Если случайная величина Х представляет собой сумму очень большого числа взаимно независимых случайных величин, для которых выполнено условие:

где b k – третий абсолютный центральный момент величины Х к , а D k – ее дисперсия, то Х имеет распределение, близкое к нормальному (условие Ляпунова означает, что влияние каждого слагаемого на сумму ничтожно мало).

Практически можно использовать центральную предельную теорему при достаточно небольшом количестве слагаемых, так как вероятностные расчеты требуют сравнительно малой точности. Опыт показывает, что для суммы даже десяти и менее слагаемых закон их распределения можно заменить нормальным.

Так как многие случайные величины в приложениях формируются под влиянием нескольких слабо зависимых случайных факторов, их распределение считают нормальным. При этом должно соблюдаться условие, что ни один из факторов не является доминирующим. Центральные предельные теоремы в этих случаях обосновывают применение нормального распределения.

Энциклопедичный YouTube

• 1 / 5

  Пусть есть бесконечная последовательность независимых одинаково распределённых случайных величин, имеющих конечное математическое ожидание и дисперсию . Обозначим последние μ {\displaystyle \mu } и σ 2 {\displaystyle \sigma ^{2}} , соответственно. Пусть также

  . S n − μ n σ n → N (0 , 1) {\displaystyle {\frac {S_{n}-\mu n}{\sigma {\sqrt {n}}}}\to N(0,1)} по распределению при ,

  где N (0 , 1) {\displaystyle N(0,1)} - нормальное распределение с нулевым математическим ожиданием и стандартным отклонением , равным единице. Обозначив символом выборочное среднее первых n {\displaystyle n} величин, то есть X ¯ n = 1 n ∑ i = 1 n X i {\displaystyle {\bar {X}}_{n}={\frac {1}{n}}\sum \limits _{i=1}^{n}X_{i}} , мы можем переписать результат центральной предельной теоремы в следующем виде:

  n X ¯ n − μ σ → N (0 , 1) {\displaystyle {\sqrt {n}}{\frac {{\bar {X}}_{n}-\mu }{\sigma }}\to N(0,1)} по распределению при n → ∞ {\displaystyle n\to \infty } .

  Скорость сходимости можно оценить с помощью неравенства Берри - Эссеена .

  Замечания

  • Неформально говоря, классическая центральная предельная теорема утверждает, что сумма n {\displaystyle n} независимых одинаково распределённых случайных величин имеет распределение, близкое к N (n μ , n σ 2) {\displaystyle N(n\mu ,n\sigma ^{2})} . Эквивалентно, X ¯ n {\displaystyle {\bar {X}}_{n}} имеет распределение близкое к N (μ , σ 2 / n) {\displaystyle N(\mu ,\sigma ^{2}/n)} .
  • Так как функция распределения стандартного нормального распределения непрерывна , сходимость к этому распределению эквивалентна поточечной сходимости функций распределения к функции распределения стандартного нормального распределения. Положив Z n = S n − μ n σ n {\displaystyle Z_{n}={\frac {S_{n}-\mu n}{\sigma {\sqrt {n}}}}} , получаем F Z n (x) → Φ (x) , ∀ x ∈ R {\displaystyle F_{Z_{n}}(x)\to \Phi (x),\;\forall x\in \mathbb {R} } , где Φ (x) {\displaystyle \Phi (x)} - функция распределения стандартного нормального распределения.
  • Центральная предельная теорема в классической формулировке доказывается методом характеристических функций (теорема Леви о непрерывности).
  • Вообще говоря, из сходимости функций распределения не вытекает сходимость плотностей . Тем не менее в данном классическом случае это имеет место.

  Локальная Ц. П. Т.

  В предположениях классической формулировки, допустим в дополнение, что распределение случайных величин { X i } i = 1 ∞ {\displaystyle \{X_{i}\}_{i=1}^{\infty }} абсолютно непрерывно, то есть оно имеет плотность. Тогда распределение также абсолютно непрерывно, и более того,

  f Z n (x) → 1 2 π e − x 2 2 {\displaystyle f_{Z_{n}}(x)\to {\frac {1}{\sqrt {2\pi }}}\,e^{-{\frac {x^{2}}{2}}}} при n → ∞ {\displaystyle n\to \infty } ,

  где f Z n (x) {\displaystyle f_{Z_{n}}(x)} - плотность случайной величины Z n {\displaystyle Z_{n}} , а в правой части стоит плотность стандартного нормального распределения.

  Обобщения

  Результат классической центральной предельной теоремы справедлив для ситуаций гораздо более общих, чем полная независимость и одинаковая распределённость.

  Ц. П. Т. Линдеберга

  Пусть независимые случайные величины X 1 , … , X n , … {\displaystyle X_{1},\ldots ,X_{n},\ldots } определены на одном и том же вероятностном пространстве и имеют конечные математические ожидания и дисперсии : E [ X i ] = μ i , D [ X i ] = σ i 2 {\displaystyle \mathbb {E} =\mu _{i},\;\mathrm {D} =\sigma _{i}^{2}} .

  Пусть S n = ∑ i = 1 n X i {\displaystyle S_{n}=\sum \limits _{i=1}^{n}X_{i}} .

  Тогда E [ S n ] = m n = ∑ i = 1 n μ i , D [ S n ] = s n 2 = ∑ i = 1 n σ i 2 {\displaystyle \mathbb {E} =m_{n}=\sum \limits _{i=1}^{n}\mu _{i},\;\mathrm {D} =s_{n}^{2}=\sum \limits _{i=1}^{n}\sigma _{i}^{2}} .

  И пусть выполняется условие Линдеберга :

  ∀ ε > 0 , lim n → ∞ ∑ i = 1 n E [ (X i − μ i) 2 s n 2 1 { | X i − μ i | > ε s n } ] = 0 , {\displaystyle \forall \varepsilon >0,\;\lim \limits _{n\to \infty }\sum \limits _{i=1}^{n}\mathbb {E} \left[{\frac {(X_{i}-\mu _{i})^{2}}{s_{n}^{2}}}\,\mathbf {1} _{\{|X_{i}-\mu _{i}|>\varepsilon s_{n}\}}\right]=0,}

  где 1 { | X i − μ i | > ε s n } {\displaystyle \mathbf {1} _{\{|X_{i}-\mu _{i}|>\varepsilon s_{n}\}}} функция - индикатор.

  по распределению при n → ∞ {\displaystyle n\to \infty } .

  Ц. П. Т. Ляпунова

  Пусть выполнены базовые предположения Ц. П. Т. Линдеберга. Пусть случайные величины { X i } {\displaystyle \{X_{i}\}} имеют конечный третий момент . Тогда определена последовательность

  r n 3 = ∑ i = 1 n E [ | X i − μ i | 3 ] {\displaystyle r_{n}^{3}=\sum _{i=1}^{n}\mathbb {E} \left[|X_{i}-\mu _{i}|^{3}\right]} .

  Если предел

  lim n → ∞ r n s n = 0 {\displaystyle \lim \limits _{n\to \infty }{\frac {r_{n}}{s_{n}}}=0} (условие Ляпунова ), S n − m n s n → N (0 , 1) {\displaystyle {\frac {S_{n}-m_{n}}{s_{n}}}\to N(0,1)} по распределению при n → ∞ {\displaystyle n\to \infty } .

  Ц. П. Т. для мартингалов

  Пусть процесс (X n) n ∈ N {\displaystyle (X_{n})_{n\in \mathbb {N} }} является мартингалом с ограниченными приращениями. В частности, допустим, что

  E [ X n + 1 − X n ∣ X 1 , … , X n ] = 0 , n ∈ N , X 0 ≡ 0 , {\displaystyle \mathbb {E} \left=0,\;n\in \mathbb {N} ,\;X_{0}\equiv 0,}

  и приращения равномерно ограничены, то есть

  ∃ C > 0 ∀ n ∈ N | X n + 1 − X n | ≤ C {\displaystyle \exists C>0\,\forall n\in \mathbb {N} \;|X_{n+1}-X_{n}|\leq C} τ n = min { k | ∑ i = 1 k σ i 2 ≥ n } {\displaystyle \tau _{n}=\min \left\{k\left\vert \;\sum _{i=1}^{k}\sigma _{i}^{2}\geq n\right.\right\}} . X τ n n → N (0 , 1) {\displaystyle {\frac {X_{\tau _{n}}}{\sqrt {n}}}\to N(0,1)} по распределению при n → ∞ {\displaystyle n\to \infty } .

  Предельные теоремы теории вероятностей

  Неравенство Чебышева

  Рассмотрим ряд утверждений и теорем из большой группы так называемых предельных теорем теории вероятностей, устанавливающих связь между теоретическими и экспериментальными характеристиками случайных величин при большом числе испытаний над ними. Они составляют основу математической статистики. Предельные теоремы условно делят на две группы. Первая группа теорем, называемая законом больших чисел , устанавливает устойчивость средних значений, т.е. при большом числе испытаний их средний результат перестает быть случайным и может быть предсказан с достаточной точностью. Вторая группа теорем, называемая центральной предельной , устанавливает условия, при которых закон распределения суммы большого числа случайных величин неограниченно приближается к нормальному.

  В начале рассмотрим неравенство Чебышева, которое можно использовать для: а) грубой оценки вероятностей событий, связанных со случайными величинами, распределение которых неизвестно; б) доказательства ряда теорем закона больших чисел.

  Теорема 7.1 . Если случайная величина X имеет математическое ожидание и дисперсию DX , то для любого справедливо неравенство Чебышева

  .

  (7.1)

  Отметим, что неравенство Чебышева можно записать в другой форме:

  для частости или события в n независимых испытаниях, в каждом из которых оно может произойти с вероятностью , дисперсия которых , неравенство Чебышева имеет вид

  Неравенство (7.5) можно переписать в виде

  .

  (7.6)

  Пример 7.1. Оценить с помощью неравенства Чебышева вероятность того, что отклонение случайной величины Х от своего математического ожидания будет меньше трех средне квадратических отклонений, т.е. меньше .

  Решение :

  Полагая в формуле (7.2), получаем

  Эта оценка называется правилом трех сигм .

  Теорема Чебышева

  Основное утверждение закона больших чисел содержится в теореме Чебышева. В ней и других теоремах закона больших чисел используется понятие «сходимости случайных величин по вероятности».

  Случайные величины сходятся по вероятности к величине А (случайной или неслучайной), если для любого вероятность события при стремится к единице, т.е.

  

  (или ). Сходимость по вероятности символически записывают так:

  Следует отметить, что сходимость по вероятности требует, чтобы неравенство выполнялось для подавляющего числа членов последовательности (в математическом анализе - для всех n > N , где N - некоторое число), а при практически все члены последовательности должны попасть в ε- окрестность А .

  Теорема 7.3 (Закон больших чисел в форме П.Л. Чебышева) . Если случайные величины независимы и существует такое число С> 0, что , то для любого

  ,

  (7.7)

  т.е. среднее арифметическое этих случайных величин сходится по вероятности к среднему арифметическому их математических ожиданий:

  .

  Доказательство . Так как , то

  .

  Тогда, применяя к случайной величине неравенство Чебышева (7.2) имеем

  т.е. среднее арифметическое случайных величин сходится по вероятности к математическому ожиданию а :

  

  Доказательство . Так как

  а дисперсии случайных величин , т.е ограничены, то применив теорему Чебышева (7.7), получим утверждение (7.9).

  Следствие теоремы Чебышева обосновывает принцип «среднего арифметического» случайных величин Х i , постоянно используемый на практике. Так, пусть произведено n независимых измерений некоторой величины, истинное значение которой а (оно неизвестно). Результат каждого измерения есть случайная величина Х i . Согласно следствию, в качестве приближенного значения величины а можно взять среднее арифметическое результатов измерений:

  .

  Равенство тем точнее, чем больше n .

  На теореме Чебышева основан также широко применяемый в статистике выборочный метод , суть которого в том, что о качестве большого количества однородного материала можно судить по небольшой его пробе.

  Теорема Чебышева подтверждает связь между случайностью и необходимостью: среднее значение случайной величины практически не отличается от неслучайной величины .

  Теорема Бернулли

  Теорема Бернулли исторически является первой и наиболее простой формой закона больших чисел. Она теоретически обосновывает свойство устойчивости относительной частоты.

  Теорема 7.4 (Закон больших чисел в форме Я. Бернулли) . Если вероятность появления события А в одном испытании равна р , число наступления этого события при n независимых испытаниях равно , то для любого числа имеет место равенство

  ,

  (7.10)

  т.е относительная частота события А сходится по вероятности к вероятности р события А : .

  Доказательство . Введем случайные величины следующим образом: , если в i -м испытании появилось событие А , а если не появилось, то . Тогда число А (число успехов) можно представить в виде

  Математическое ожидание и дисперсия случайных величин равны: , . Закон распределения случайных величин X i имеет вид

  Х i
  Р		р

  при любом i . Таким образом, случайные величины X i независимы, их дисперсии ограничены одним и тем же числом , так как

  .

  Поэтому к этим случайным величинам можно применить теорему Чебышева

  .

  ,

  Следовательно, .

  Теорема Бернулли теоретически обосновывает возможность приближенного вычисления вероятности события с помощью его относительной частоты. Так, например, за вероятность рождения девочки можно взять относительную частоту этого события, которая, согласно статистическим данным, приближенно равна 0,485.

  Неравенство Чебышева (7.2) для случайных величин

  принимает вид

  где p i - вероятность события А в i- м испытании.

  Пример 7.2. Вероятность наличия опечатки на одной странице рукописи равна 0,2. Оценить вероятность того, что в рукописи, содержащей 400 страниц, частость появления опечатки отличается от соответствующей вероятности по модулю меньше, чем 0,05.

  Решение :

  Воспользуемся формулой (7.11). В данном случае , , , . Имеем , т.е. .

  Центральная предельная теорема

  Центральная предельная теорема представляет собой вторую группу предельных теорем, которые устанавливают связь между законом распределения суммы случайной величины и его предельной формой - нормальным законом распределения.

  Сформулируем центральную предельную теорему для случая, когда члены суммы имеют одинаковое распределение. Эта теорема чаще других используется на практике. В математической статистике выборочные случайные величины имеют одинаковые распределения, так как получены из одной и той же генеральной совокупности.

  Теорема 7.5 . Пусть случайные величины независимы, одинаково распределены, имеют конечные математическое ожидание и дисперсию , . Тогда функция распределения центрированной и нормированной суммы этих случайных величин стремится при к функции распределения стандартной нормальной случайной величины.