Теория вероятностей и математическая статистика

Размещено на http://www.allbest.ru/

1. Предмет теории вероятностей

Теория вероятностей есть математическая наука, изучающая закономерности в случайных явлениях. Случайное явление - это такое явление, которое при неоднократном воспроизведении одного и того же опыта протекает каждый раз несколько по-иному. Эти различия обусловлены влиянием многих второстепенных факторов, сопровождающих явление.

Чтобы ответить на такие вопросы, необходимо исследовать природу и структуру случайных возмущений, воздействующих на систему, изучить реакцию системы на такие возмущения, выяснить влияние конструктивных параметров системы на вид этой реакции. Такие методы и разрабатываются в теории вероятностей. Закономерности, проявляющиеся в этой массе, оказываются практически независимыми от индивидуальных особенностей отдельных случайных явлений, входящих в массу. Эти отдельные особенности в массе как бы взаимно погашаются, нивелируются, и средний результат массы случайных явлений оказывается практически уже не случайным.

Методы теории вероятностей по природе приспособлены только для исследования массовых случайных явлений; они не дают возможности предсказать исход отдельного случайного явления, но дают возможность предсказать средний суммарный результат массы однородных случайных явлений.

2. Статистическое определение вероятности

Не всегда элементарные события равновероятны. Например, когда студент идет на экзамен, четыре элементарных события -- оценка 2, 3, 4, 5 -- равновероятными не являются. В подобных случаях наряду с классическим используют статистическое определение вероятности. В качестве статистической вероятности события принимается относительная частота его реализации при большом числе испытаний. Если проводится n испытаний и при этом событие А реализовалось m раз, то относительная частота появления события А есть

3. Классическое определение вероятностей

Когда мы хотим дать количественную оценку вероятности какого либо события, мы разлагаем все события, которые могут произойти на элементарные события. В случае, когда мысленно проводятся механические испытания, все элементарные события равно возможны, т.е. нет преимуществ в реализации одних элементарных событий перед другими. Тогда количественной оценкой вероятности события А будет являться классическое определение вероятности данного события. Определяется эта вероятность как отношение числа элементарных событий, благоприятствующих наступлению события А к общему количеству элементарных событий:

4. Аксиоматическое определение вероятности

В современном математическом подходе вероятность задаётся аксиоматикой Колмогорова. Предполагается, что задано некоторое пространство элементарных событий. Подмножества этого пространства интерпретируются как случайные события. Объединение (сумма) некоторых подмножеств (событий) интерпретируется как событие, заключающееся в наступлении хотя бы одного из этих событий. Пересечение (произведение) подмножеств (событий) интерпретируется как событие, заключающееся в наступлении всех этих событий. Непересекающиеся множества интерпретируются как несовместные события (их совместное наступление невозможно). Соответственно, пустое множество означает невозможное событие.

Вероятностью называется числовая функция, заданная на множестве событий, обладающая следующими свойствами:

Неотрицательность: ,

Аддитивность: вероятность наступления хотя бы одного (то есть суммы) из попарно несовместных событий равна сумме вероятностей этих событий; другими словами, если при , то.

Конечность (ограниченность единицей): ,

5. Размещения с повторениями

дисперсия дискретный лаплас пуассон

Пусть даныразличных видов предметов, которые можно разместить поразличным местам, причем выбирать предметы можно с повторениями (т.е. можно выбрать несколько предметов одного вида). Такие выборки называются размещениями с повторениями, а их количество вычисляется по формуле:.

6. Размещения без повторений

Число размещенийразличных элементов поразличным позициям есть , или, в терминах факториалов, . Когда, рассматриваемая задача становится задачей о числе перестановок.

7. Сочетания без повторений

Число сочетаний без повторений (n различных элементов, взятых по m) вычисляется по формуле:

8. Сочетания с повторениями.

Если из множества, содержащего n элементов, выбирается поочередно m элементов, причём выбранный элемент каждый раз возвращается обратно, то количество способов произвести число сочетаний с повторениями составляет

9. Перестановки

Комбинации из n элементов, которые отличаются друг от друга только порядком элементов, называются перестановками. Перестановки обозначаются Рn, где n -- число элементов, входящих в перестановку. Формула перестановки: Рn=n!

10. Перестановки данного состава

Перестановкой данного состава (k1, k2, …, km) из элементов m-членного множества X называется всякий набор, составленный из элементов множества Х так, что первый элемент повторяется k1 раз, второй элемент - k2 раз и т.д. Количество различных перестановок данного состава (k1, k2, …, km) обозначается P(k1, k2, …, km) и равно



Пример. Сколькими способами можно поставить на книжной полке 3 экземпляра учебника по алгебре, 2 экземпляра учебника по геометрии и один экземпляр учебника по математическому анализу?

Решение. Всякой расстановке указанных учебников взаимно однозначно соответствует набор из 3+2+1=6 элементов состава (3, 2, 1). Следовательно, искомое число способов равно числу размещений состава (3, 2, 1), т.е. способов.

11. Условная вероятность

Условной вероятностью называют вероятность события В, вычисленную в предположении, что событие А уже наступило. Вероятность совместного появления двух зависимых событий равна произведению вероятности одного из них на условную вероятность второго, вычисленную при условии, что первое событие произошло, т.е. .

Пример. В урне находятся 3 белых шара и 2 черных. Из урны вынимается один шар, а затем второй. Событие В - появление белого шара при первом вынимании. Событие А - появление белого шара при втором вынимании.

Решение. Очевидно, что вероятность события А, если событие В произошло, будет . Вероятность события А при условии, что событие В не произошло, будет .

12. Зависимые и независимые события

Два события называются независимыми, если появление одного из них не изменяет вероятность появления другого. Пример. Монета брошена два раза.

События называются зависимыми, если одно из них влияет на вероятность появления другого. Пример. В ящике находятся 5 резцов: два изношенных и три новых.

Условие независимости событияот событиязаписывают в виде, а условие его зависимости -- в виде.

13. Формула полной вероятности

Если событие А может произойти только при выполнении одного из событий, которые образуютп олную группу несовместных событий, то вероятность события А вычисляется по формуле . Эта формула называется формулой полной вероятности.

14. Формула Байеса

,

где -- вероятность события A;

-- вероятность события A при наступлении события B;

-- вероятность наступления события B при истинности события A;

-- вероятность наступления события B.

15. Случайные величины. Основные понятия

Для получения количественной характеристики вводится понятие случайной величины. Случайной величиной называется величина, которая в результате опыта может принимать то или иное значение, причем заранее известно какое именно. Измеримая функция, отображающая вероятностное пространство в пространство подмножеств некоторого (конечного) множества, называется (конечным) случайным множеством.

Пусть -- вероятностное пространство. -- это произвольное множество, элементы которого называются элементарными событиями, исходами или точками; F - случайное событие; P - вероятность, такая что = 1. Функция называется случайной величиной.

16. Дискретные случайные величины

Дискретной случайной величиной называется такая переменная величина, которая может принимать конечную или бесконечную совокупность значений, причем принятие ею каждого из значений есть случайное событие с определенной вероятностью.

Соотношение, устанавливающее связь между отдельными возможными значениями случайной величины и соответствующими им вероятностями, называется законом распределения дискретной случайной величины. Если обозначить возможные числовые значения случайной величины Х через х₁, х₂,..., х_n,..., а через р_i= Р(Х = х_i) вероятность появления значения х_i, то дискретная случайная величина полностью определяется таблицей.

17. Случайные величины общего вида

Определение случайной величины общего вида основывается на понятии борелевского множества. Множество точек на числовой оси R называется борелевским, если оно может быть получено из множества вида {X/x < а} применением операций объединения, пересечения и дополнения.

Задана E (случайная величина общего вида), если каждому борелевскому множеству А на числовой оси Rпоставлено в соответствие неотрицательное число Р(А) так, что выполняются следующие условия:

1. P(R) = 1.

2. (условие счетной аддитивности).

3. Функция F(x), определенная для любого, принадлежащего R, равенством называется функцией распределения случайной величины.

18. Функция распределения и ее свойства

Пусть дано вероятностное пространство , и на нём определен а случайная величина с распределением . Тогда функцией распределения случайной величины называется функция , задаваемая формулой . То есть функцией распределения (вероятностей) случайной величиныназывают функцию , значение которой в точкеравно вероятности события , то есть события, состоящего только из тех элементарных исходов, для которых .

Свойства:

непрерывна справа:

не убываетна всей числовой прямой.

.

.

либо непрерывна в точке, либо имеет в не разрыв первого рода.

Если функцияудовлетворяет перечисленным выше свойствам, то существует вероятностное пространство и определена на нём случайная величина, такая чтоявляется её функцией распределения.

19. Непрерывные случайные величины

Случайную величину Х называют непрерывной (непрерывно распределенной) величиной, если существует такая неотрицательная функция p(t), определенная на всей числовой оси, что для всех х функция распределения случайной величины F(x) равна:

20. Схема Бернулли

Схемой Бернулли называется последовательность независимых испытаний, в каждом из которых возможны лишь два исхода -- «успех» и «неудача», при этом успех в каждом испытании происходит с одной и той же вероятностью , а неудача -- с вероятностью .

Функция распределенияимеет вид

Теорема: для любоговероятность получить виспытанияхуспехов равна

21. Предельные теоремы Лапласа

Локальная теорема Лапласа.

Если n - велико, ар - отлично от 0 и 1, то



где- функция Гаусса (табулирована).

Интегральная теорема Лапласа.

Если n - велико, ар - отлично от 0 и 1, то

P(n; k1, k2)

где- функция Лапласа (табулирована).

Функции Гаусса и Лапласа обладают свойствами, которые необходимо знать при использовании таблиц значений этих функций:

а)

б) при большихверно.

Теоремы Лапласа дают удовлетворительное приближение при. Чем ближе значенияк 0,5, тем точнее данные формулы.

22. Предельная теорема Пуассона

Пусть , таким образом, что , где a>0- заданное число. Тогда для любого фиксированного k.

.

Другими словами, в описанном предельном переходе биномиальные вероятности P_n,p(k) аппроксимируются пуассоновским распределением.

23. Дискретные классические распределения

Геометрический закон распределения.

Биноминальное распределение. Вероятность того, что событие A наступит ровно k раз, определяется формулой

24. Непрерывные классические распределения

Равномерное распределение. Непрерывная величина Х распределена равномернона интервале (a,b), если все ее возможные значения находятся на этом интервале и плотность распределения вероятностей постоянна:

Для случайной величины Х, равномерно распределенной в интервале (a,b), вероятность попадания в любой интервал (x1,x2), лежащий внутри интервала (a,b), равна:

Непрерывная случайная величина Х имеет показательное распределение, если плотность распределения ее вероятностей выражается формулой:

Случайная величина Х имеет нормальное (гауссово) распределение, если плотность распределения ее вероятностей определяется зависимостью:

Где m=M(X).

При нормальное распределение называется стандартным.

25. Определение многомерной случайной величины

Совместное рассмотрение двух или нескольких случайных величин приводит к понятию системы случайных величин. Условимся систему нескольких случайных величин обозначать. Такая система называется также многомерной случайной величиной. При изучении системы случайных величин недостаточно изучить отдельно случайные величины, составляющие систему, а необходимо учитывать связи или зависимости между этими величинами.

26. Функция распределения вероятностей для многомерных случайных величин

Функцией распределения вероятностей системы двух случайных величин называется функция двух аргументов, равная вероятности совместного выполнения двух неравенстви, т.е.

Сформулируем основные свойства функции распределения вероятностей системы двух случайных величин.

1)

2)

3)

4) Функция распределения является неубывающей функцией по каждому аргументу:

5) Вероятность попадания случайной точкив произвольный прямоугольник со сторонами, параллельными координатным осям (рис. 15), вычисляется, по формуле

6)

27. Законы распределения, производные от нормального закона распределений

Все законы в вопросах 24-25.

Свойства функции.

1.

2. .

3.

4. .

28. Математическое ожидание случайной величины

Пусть задано вероятностное пространство и определённая на нём случайная величина X., -- измеримая функция. Тогда, если существует интеграл Лебега от X по пространству, то он называется математическим ожиданием, или средним значением и обозначается EX. Если F(x) -- функция распределения случайной величины, то её математическое ожидание задаётся интегралом. EX может называться как M(x).

29. Предмет и задачи математической статистики

Математической статистикой называется раздел математики, занимающийся разработкой методов получения, описания и обработки опытных данных с целью выявления и изучения закономерностей случайных массовых явлений. Говорят, что «математическая статистика - это теория принятия решений в условиях неопределённости».

Предметом математической статистики является изучение случайных величин (событий, процессов) по результатам наблюдений. Задачи математической статистики:

* собрать данные и представить в удобном для обозрения и анализа виде;

* выбор и определение вида распределения для наборов случайных величин;

* дать оценку неизвестной вероятности события, оценку неизвестной функции распределения и т. п.;

* проверка правдоподобия выдвигаемой гипотезы о соответствии статистического материала теоретическим выводам.

30. Понятие генеральной и выборочной совокупностей. Эмпирический закон распределения

Множество всех изучаемых объектов или возможных результатов всех наблюдений некоторой случайной величины, которые могут быть получены в данных условиях, называется генеральной совокупностью. Число N объектов (наблюдений) в совокупности называется её объёмом. Для получения хороших оценок характеристик генеральной совокупности необходимо, чтобы объекты выборки правильно представляли изучаемые признаки, т.е. выборка должна быть репрезентативной.

Множество случайно n отобранных объектов (измерений) случайной величины из генеральной совокупности называется выборочной совокупностью или просто выборкой. Число n - объём выборки (n << N). Различают следующие виды выборок:

* простая, при которой из генеральной совокупности случайным образом извлекают по одному объекту;

* механическая, когда элементы отбирают через определённый интервал;

* типическая - случайный отбор элементов из типических групп;

* серийная, в которую случайным образом отбираются не отдельные элементы, а целые группы совокупности подвергаются сплошному наблюдению.

Используют два способа образования выборки: повторный, когда случайно отобранный и уже обследованный объект, возвращается в общую совокупность и теоретически может быть повторно отобран и бесповторный, когда отобранный элемент не возвращается в общую совокупность. Эмпирическая функция распределения. Пусть задана случайная выборканаблюденийПостроим по выборке ступенчатую функцию, возрастающую скачками величиныв точкахПостроенная функция называетсяэмпирической функцией распределения. Для задания значений в точках разрыва формально определим её так:

31. Метод максимального правдоподобия

Это метод оценивания неизвестного параметра путём максимизации функции правдоподобия. Пусть есть выборка из распределения Po, где - неизвестный параметр. Пусть - функция правдоподобия, где . Точечная оценка называется оценкой максимального правдоподобия параметра

32. Точечная оценка дисперсии

Так как дисперсия определяется через математическое ожидание, то для дисперсии естественно предложить оценку:

или, что соответствует записи дисперсии в виде. Предложенная оценка дисперсии состоятельна (1-е уравнение) и не является несмещенной (2-е уравнение).

33. Интервальная оценка дисперсии для нормального закона распределения

Интервальная оценка дисперсии (среднего квадратичного отклонения) при известном математическом ожидании.

Эффективной оценкой дисперсии в этом случае является

.

Для интервальной оценки дисперсии основу составляет статистика, которая имеет распределение ч2сn степенями свободы независимо от значения параметрау2и как функция параметрау2>0 непрерывна и строго монотонна.

Интервальная оценка дисперсии (среднего квадратичного отклонения) при неизвестном математическом ожидании.

Наилучшей точечной оценкой дисперсии в этом случае является _.

Построение интервальной оценки дляу²основано на статистике, которая при случайной выборке из генеральной совокупности~имеет распределение ч²с (n-1) степенью свободы.

34. Проверка гипотез: классификация гипотез

Пусть в эксперименте доступна наблюдению случайная величина , распределение которой известно. Тогда любое утверждение, касающееся называется статистической гипотезой. Гипотезы различают по виду предположений, содержащихся в них:

· Статистическая гипотеза, однозначно определяющая распределение, то есть, гдекакой-то конкретный закон, называется простой.

· Статистическая гипотеза, утверждающая принадлежность распределения к некоторому семейству распределений , то есть вида, называется сложной.

На практике обычно требуется проверить какую-то конкретную и как правило простую гипотезу, которую принято называть нулевой. При этом параллельно рассматривается противоречащая ей гипотеза, называемая конкурирующей или альтернативной.

Часто делают выборку, чтобы определить аргументы против гипотезы относительно генеральной совокупности. Этот процесс известен как проверка гипотез (или проверка значимости), он представляет количественную меру аргументов против определенной гипотезы.

Установлено 5 стадий при проверке гипотез:

1. Определение нулевой () и альтернативной гипотезы () при исследовании. Определение уровня значимости критерия.

2. Отбор необходимых данных из выборки.

3. Вычисление значения статистики критерия, отвечающей.

4. Вычисление критической области, проверка статистики критерия на предмет попадания в критическую область.

5. Интерпретация достигнутого уровня значимости при результатов.

Выделяют 3 вида критических областей: двусторонняя: , левосторонняя:, правосторонняя:.

Традиционно полагают, если р < 0,05, (альфа=0,05) то аргументов достаточно, чтобы отвергнуть нулевую гипотезу. Напротив, если р > 0,05, то аргументов недостаточно, чтобы отвергнуть нулевую гипотезу.

35. Проверка гипотезы о равенстве дисперсии заданной величине

Для проверки гипотезыо равенстве дисперсиинормально распределенной случайной величины заданному числу рекомендуется использовать статистику

_.

Можно показать, что эта статистика при условии, что верна гипотеза H₀, распределена по закону c²сп-1 степенями свободы. Критическая область уровняпри двусторонней альтернативесостоит из двух промежутков: и, где и - квантили порядка и распределения сп-1 степенями свободы. Для альтернативы критическая область имеет вид , а для альтернативы - соответственно, .

36. Метод наименьших квадратов для определения параметров уравнения регрессии

Метод наименьших квадратов служит для оценки неизвестных величин по результатам измерений, содержащим случайные погрешности.

Процесс выражения данных состоит из двух этапов: на первом выбирают вид искомой формулы, а на втором для данной формулы подбирают параметры.

В соответствии с идеей метода наименьших квадратов необходимо минимизировать сумму, гдеx_i,y_i- значения опытных данных; - значение функции, взятое на эмпирической зависимости в точкеx_i;n - число опытов.

В случае линейной эмпирической формулы сумма принимает вид

,

.

Минимум обе функции имеют в тех точках, в которых частные производные обращаются в нуль. В результате для определения параметров получают нормальную систему линейных уравнений. В случае линейной эмпирической зависимости (y=ax+b) составляют нормальную систему двух уравнений с двумя неизвестными a и b:

В случае квадратической зависимости (y=ax²+bx+c) нормальная система состоит из трех уравнений с тремя неизвестными:

37. Выборочный метод оценивания числовых характеристик случайных величин

По выборке можно оценить параметры распределения случайной величины. Оценка - найденное по выборке число, которое в последующем используется вместо оцениваемого параметра. Оценка, выраженная одним числом (точкой на числовой оси) называется точечной.

Точечная оценка должна обладать определенными свойствами. Оценкой математического ожидания является среднее арифметическое. Оценкой дисперсии является выборочная оценка дисперсии генеральной совокупности.

38. Классификация возможных состояний цепи Маркова

Возвратное состояние -- это состояние марковской цепи, посещаемое ею бесконечное число раз.

Пусть -- однородная цепь Маркова с дискретным временем. Состояние называется достижимым из состояния , если существует такое, что

.

Периодическое состояние -- это такое состояние цепи Маркова, которое навещается цепью только через промежутки времени, кратные фиксированному числу.

Поглощающее состояние -- состояние, из которого нельзя попасть ни в какое другое;-- поглощающее состояние, если .

39. Понятие случайной функции (случайного процесса)

Случайный (вероятностный, стохастический) процесс -- семейство случайных величин, индексированных некоторым параметром.

Пусть дано вероятностное пространство. , где произвольное множество, называется случайной функцией. Если , то параметр может интерпретироваться как время. Тогда случайная функция называется случайным процессом. Если множество дискретно, например , то такой случайный процесс называется случайной последовательностью. Если , где , то параметр может это точка в пространстве, тогда случайную функцию называют случайным полем.

40. Пуассоновский процесс

Пуассоновский процесс - самый важный точечный процесс. Чем сложнее процесс, тем лучше Пуассоновский процесс будет служить для него общей моделью.

Характеристики Пуассоновского процесса: стационарность; независимость во все моменты времени; простота(ординарность). Из этих свойств можно получить другие свойства, которые являются достаточными, чтобы определить Пуассоновский процесс. Два самых важных:

· числовое представление: число событий в пределах временного интервала фиксированной длины имеет Пуассоновское распределение. Поэтому процесс называют Пуассоновским процессом;

· представление с помощью интервала: интервал временимежду последовательными событиями является экспоненциально распределенным.

41. Уравнения Колмогорова

Пусть S={S₁,S₂,…S_n}. p_i(t) - вероятность того, что в момент t система S будет находиться в состоянии . Поставим задачу - определить для любого t p_i(t). Вместо переходных вероятностей P_ij введем в рассмотрение плотности вероятностей перехода

.

Еслине зависит от t, говорят об однородной цепи, иначе - о неоднородной. Пусть нам известныдля всех пар состояний (задан размеченный граф состояний). Зная размеченный граф состояний можно определитьp₁(t),p₂(t)..p_n(t)как функции времени. Эти вероятности удовлетворяют определенного вида дифференциальным уравнениям, уравнениям Колмогорова.

Правила составления уравнений Колмогорова. В левой части каждого уравнения стоит производная вероятности состояния, а правая часть содержит столько членов, сколько стрелок связано с данным состоянием. Если стрелка направлена из состояния, соответствующий член имеет знак минус, если в состояние - знак плюс. Каждый член равен произведению плотности вероятности перехода, соответствующего данной стрелке, умноженной на вероятность того состояния, из которого исходит стрелка. p₁+p₂+p₃+p₄=1 и можно обойтись тремя уравнениями.

Размещено на Allbest.ru