лекции. Лекция 1 Основные понятия теории вероятностей

• Название: Лекция 1 Основные понятия теории вероятностей
• Анкор: лекции
• Дата: 20.04.2023
• Размер: 58 Kb.
• Имя файла: лекции.docx
• Тип: Лекция; #1076095

Лекция 1

Основные понятия теории вероятностей

Случайные события и их классификация.

Теория вероятностей – это раздел математики изучающий закономерности в случайных явлениях и процессах. Случайное явление – это явление, которое при повторении опыта протекает каждый раз по иному. Опыт (испытание) – целенаправленная, запланированная деятельность человека, как правило, неоднократно повторяемая, с целью изучения законов природы. Событие (исход) – всякий факт, который может произойти в результате некоторого опыта. Случайное событие – событие, которое в результате опыта может произойти, а может не произойти. Достоверное событие – событие, которое при всех испытаниях в данном опыте обязательно наступает. Невозможное событие – событие, которое в данном опыте никогда не наступает. Несовместные события – это события, которые никогда не появляются совместно в одном опыте. Совместные события – это такие события, когда появление одного события А не исключает появление другого события В в одном опыте. Равновозможные события – ни одно из событий не является более возможным, чем остальные. Полная группа событий. События образуют полную группу событий, если в результате опыта одно из них обязательно реализуется. То есть, они в совокупности занимают все пространство элементарных событий. Противоположные события можно рассматривать как частный случай полной группы событий с n = 2 .

Перестановки. Пусть упорядоченное множество А состоит из n элементов. Тогда количество способов различных размещений этих элементов на n мест (или по-другому, количеством способов выбора n элементов из n) называется перестановкой и определяется

Статистическая вероятность и частота событий. Если опыт не сводится к “схеме случаев”, например, кость со смещенным центром тяжести, то вероятность события определить так просто, как мы делали выше невозможно. Однако есть другой способ подсчета применяемый на практике. Производится n опытов, в каждом из которых заданное событие А появляется или не появляется. Относительной частотой события А в данной серии опытов называется отношение числа опытов, в которых событие А происходит, к числу всех опытов. Если m число опытов, где появилось А и n число опытов, то частота события А определяется P(A)=m/n. В отличие от классического определения вероятности частоту событий будем отмечать звездочкой. Статистической вероятностью называют предел к которому стремится относительная частота события А, при неограниченном увеличении числа опытов (n стремится к бесконечности ). Так как на практике число опытов всегда конечно, то относительная частота события будет только приближенной оценкой его вероятности.

Геометрическая вероятность. В ряде практических задач число возможных исходов бесконечно (пространство элементарных событий несчетно), что делает невозможным применение классического определения вероятностей. Однако, если остается в силе понятие равновозможности событий, то применяется так называемый геометрический метод подсчета вероятности.

Лекция 2

Алгебра событий.

Пересечением двух событий А и В называется событие С, состоящее в совместном выполнении событий А и В. Логическое умножение – это пересечение множеств А и В. Заметим, что наряду с операциями сложения и умножения можно ввести операцию логического вычитания (исключения) ABC или A/BC , состоящее в том, что происходит событие А, а событие В не происходит. Теорема сложения вероятностей. Вероятность суммы двух несовместных событий равна сумме вероятностей этих событий P ABPAPB.

Докажем это, представив элементарные события точками на линии



Пусть событию А благоприятны m – элементарных событий, то есть соответствуют m точек. Событию B благоприятны k – элементарных и соответствуют k точек на линии. Поскольку события несовместны, то подмножества m и k точек не пересекаются. Тогда, очевидно, событию A+ B благоприятны m+k элементарных событий, то есть m+k точек. Так как P(A)=m/n и P(B)=k/n, то P(A+B)=m/n+k/n=P(A)+P(B). Теорема умножения вероятностей. Прежде, чем ее сформулировать, введем два новых понятия о зависимых и независимых событиях. Событие А называют независимым (зависимым) от события В, если вероятность события А не зависит (зависит) от того, произошло событие В или нет. События А и В, как правило, относятся к разным временным интервалам и интерпретируются как звенья причинно-следственной цепочки. Одно из событий предшествует другому.

Условной вероятностью события В называют вероятность события В, вычисленную при условии того, что имело место событие А. Условие независимости событий А и В будет определяться P(B/A)=P(B) . Заметим, что если события А и В независимы, то они независимы попарно P(A/B)=P(A).

Теорема. Вероятность произведения двух совместных событий равна произведению вероятности одного из событий на условную вероятность другого при условии, что первое имело место. PABPA*PB/APB*PA/B.

Лекция 3

Теорема о полной вероятности событий.

Пусть требуется определить вероятность события А, которое может произойти вместе с одним из событий, несовместных и образующих полную группу. Будем называть эти события гипотезами.

Формула Байеса

Формула Бейеса показывает, как изменяется вероятность гипотезы P (Hi) при реализации события А. Таким образом определяем P=(A / Hi). Из теоремы умножения вероятностей следует непосредственно P(AHi)=P(Hi)P(A / H)=P(A)P(Hi / A)

Повторные испытания. Формула Бернулли.

На практике часто встречаются ситуации, когда один и тот же опыт повторяется неоднократно. В результате каждого опыта событие А или происходит, или не происходит. Зачастую нас интересует не исход отдельного опыта, а исход совокупности опытов. Например, при залпе батареи орудий, командира батарей интересует не кто конкретно попал в цель, а сколько вообще попаданий. Такие задачи довольно просто решаются для независимых опытов, когда вероятности исхода того или иного опыта не зависят от того, какие исходы имели предыдущие опыты. Таким образом, необходимо найти вероятность появления события А m раз в n опытах. Заметим, что независимые опыты могут проводиться в одинаковых условиях и в разных условиях.

Частная теорема. Если для одних и тех же условий производится n независимых опытов, в каждом из которых событие А появляется, с вероятностью р и не появляется с вероятностью q q  1  р , то вероятность появления события A m раз в n опытах находится по формуле Бернулли

P_n(m)=C^m_n p^mq^n-m

Лекция 4

Случайной величиной называется величина, которая в результате опыта может принять то или иное значение, неизвестно заранее какое именно. Случайная величина сопоставляется случайному событию.

Законы распределения случайных величин.

1. Ряд распределения для дискретных случайных величин.

2. Функция распределения как для дискретных, так и для непрерывных случайных величин.

3. Плотность функции распределения только непрерывных случайных величин.

Ряд распределения.

Рассмотрим прерывную случайную величину X, которая принимает значения x₁, x₂,x₃ …,x_n с возможными значениями вероятности P(x_n)=p_n

Функция распределения.

Для количественной характеристики непрерывных и прерывных случайных величин удобно пользоваться вероятностью события X  x . Таким образом, суммируются все предыдущие вероятности. Итак, функция распределения определяется как вероятность события X  x

F(x)=P(X x)

Свойства функции распределения:

функция Fx есть неубывающая функция своего аргумента. То есть F(x₂)  F(x₁) для х₂  x₁ .

– F   0 . Характеризует невозможное событие.

– F 1 . Достоверное событие.

Числовые характеристики случайных величин.

Числовыми характеристиками случайной величины называют параметры, характеризующие самые существенные черты закона распределения этой величины. Очевидно, что самым первым параметром является среднее значение случайной величины, около которого и группируются ее значения.

Математическое ожидание

Математическим ожиданием случайной величины называется ее среднее значение, которое определяется как средневзвешенное или среднеарифметическое.

Модой называется наибольшее вероятное значение случайной величины.

Метод моментов

Моментное (приближенное) описание случайной величины широко используется в механике, физике, математической статистике и так далее. Моменты подразделяются на два вида:

– начальные моменты (приложены к началу координат),

– центральные моменты.

Лекция 5

Законы распределения случайных величин.

Биномиальное распределение

Случайная величина Х представляет собой число появлений события А в n независимых опытах и принимает целые неотрицательные значения. Вероятность появления события A m раз в n опытах определяется формулой Бернулли.

Распределение Пуассона

Дискретная случайная величина Х принимает целые неотрицательные значения 0, 1, 2, 3, …, n , где n достаточно большое число. Вероятность появления события в одном опыте P является достаточно малым числом. Однако,   np ограничено. Тогда случайная величина Х распределена по закону Пуассона

P(m)=(л^m/m!)e^-л

Рассмотрим простейший поток событий, которые наступают в случайные моменты времени. Например, поступление сигналов вызова на автоматическую телефонную станцию. Поток называется стационарным, если вероятность появления k-событий за интервал времени t есть функция только k и t . Если события независимы, то поток обладает свойством отсутствия последействия. Если вероятность появления более одного события за малый промежуток времени значительно меньше вероятности появления только одного события, то поток обладает свойствами ординарности. Простейшим (пуассоновским) потоком называется поток событий, который обладает стационарностью, отсутствием последействий и ординарностью. Интенсивность потока  называется среднее число событий, которые появляются в единицу времени, где   np . Если   const , то вероятность появления k событий за время t будет



Геометрическое распределение.

Пусть производятся независимые испытания, в каждом из которых событие наступает с вероятностью p p  q 1 . Испытания заканчиваются, как только появится событие А. Вероятность этого события



Лекция 6

Система случайных величин.

Двухмерная случайная величина и законы ее распределения.

свойства функции распределения:

– Fx, y неубывающая функция обоих аргументов, Fx , y Fx , y 2  1 при 2 1 x  x ,     2 1 F x, y  F x, y при 2 1 y  y ;

– Fx,  F , y  0 (невозможные события);

– Fx  F x 1 ,  одномерная функция x;

– F y F y 2 ,  одномерная функция y;

– F, 1 ; – 0  Fx, y 1 ;

Условие независимости случайных величин

Случайная величина У называется независимой от случайной величины X, если закон распределения ее не зависит от того, какие значения примет случайная величина X. Для того, чтобы случайная величина У не зависела от случайной величины X, необходимо и достаточно выполнения условия Fx, y=F1x  F2y или fx, y = f1x  f2y. То есть должно выполняться f1x  f x/y 1 и f2y  f y/ x.

Зависимости случайных величин бывают двух типов – функциональные y  f x и стохастические (вероятностные). Если связь стохастическая, то можно указать закон распределения случайной величины Y в зависимости от того, какое значение приобретает случайная величина X. Вероятностные связи могут быть более или менее тесными. Тесные связи характеризуются большой вероятностью совместного появления случайных величин.

Моменты распределения

Начальным моментом порядков k, s системы двух случайных величин X,Y  называют математическое ожидание произведения x^k на y^s .

Центральным моментом порядков k, s для системы X,Y  называют математическое ожидание произведение центрированных случайных величин X и Y в степенях k и s , соответственно.

Коэффициент корреляции

Особую роль играет второй смешанный центральный момент. Он называется ковариацией двух случайных величин. Еще его называют корреляционным моментом.

Лекция 7

Основные теоремы о числовых характеристиках системы случайных величин.

Теорема 1. Математическое ожидание суммы случайных величин равна сумме их математических ожиданий. MX  Y  MX  MY.

Теорема 2. Дисперсия суммы двух случайных величин равна сумме их дисперсий и удвоенного корреляционного момента этих величин. D [X  Y]  D[X]  D[Y]  2Kxy.

Теорема 3. Математическое ожидание произведения двух случайных величин равна сумме произведения их математических ожиданий и их корреляционного момента. M [XY]  M [X] M [Y]  Kxy.

Теорема 4. Дисперсия произведения независимых центрированных случайных величин равна произведению их дисперсий. D[XY] = D[X]  D[Y].

Лекция 8

Функция случайного аргумента

Распределение функции случайного аргумента

Пусть непрерывная случайная величина X имеет плотность распределения f x . Другая, непрерывная величина Y связала с X функциональной связью y  x . Рассмотрим участок оси абсцисс, на котором лежат все возможные значения величины X. Причем должно выполняться Pa  X  b 1. Пусть зависимость y  x будет монотонно возрастающей.

Лекция 9

Центральная предельная теорема

Неравенство Чебышева

Как уже неоднократно отмечалось, наличие закономерностей в случайных явлениях обусловлено их массовостью. Только при большом количестве опытов или объектов исследования проявляются закономерности в устойчивости некоторых средних характеристик. Например, при большом числе бросков монеты, число выпадения решки к общему числу бросков будет стремиться к значению 0,5. Устойчивость средних характеристик и составляет закон больших чисел. Суть его заключается в следующем: при очень большом числе случайных явлений средний их результат практически перестает быть случайным и может быть предсказан с большой степенью точности. Под законом больших чисел понимают целый ряд теорем, где устанавливается при различных условиях опыта, факт приближения средних характеристик к некоторым постоянным при увеличении числа этих опытов.

Теорема Бернулли. При неограниченном увеличении числа независимых опытов, частота события A сходится по вероятности к его вероятности PA  P в отдельном опыте.

Центральная предельная теорема В законе больших, чисел мы рассматривали предельные значения самих случайных величин. Теперь рассмотрим предельные законы законов распределения случайных величин. Основная идея продельной теоремы состоит в том, что при суммировании достаточно большого числа случайных величин распределение суммы случайных величин стремится к нормальному закону. И чем больше членов в сумме, тем точнее она будет описываться нормальным законом распределения. При этом не играет роли, как распределены сами члены суммы. Перечислим требования, предъявляемые к сумме случайных величин: вопервых, члены суммы должны быть одного порядка малости (равномерно малыми) и, во-вторых, сумма должна состоять из достаточно большого числа слагаемых n  20 . Отметим, что центральная предельная теорема на самом деле – это целый комплекс теорем для различных условий опыта. Приведем самую простую из них.

Лекция 10

Статистический и вариационный ряд, гистограмма

Задачи математической статистики

Типичные задачи статистики сводятся к следующим:

1 Оценка закона распределения случайной величины X на основе наблюдаемых данных x1, x2, x3, …, xn.

2 Оценка неизвестных параметров известного распределения случайной величины X.

3 Задача о проверке статистических гипотез. Проверяется совместность выдвинутой гипотезы с наблюдаемыми данными. Гипотезы могут быть как о параметрах известного распределения, так и о виде неизвестного распределения. К этим задачам относится и дисперсионный и корреляционный анализ.

Генеральная совокупность объектов и выборка

Генеральной совокупностью называется совокупность значений признака всех изделий (опытов, испытаний) данного типа. Такая совокупность характеризуется числом N изделий (опытов). Выборочной совокупностью или выборкой называют совокупность случайно отобранных изделий из генеральной совокупности. По выборке определяют характеристики самой выборки, которые принимаются в качестве приближенных значений соответствующих значениям характеристик генеральной совокупности. Например, по небольшой партии изделий сделать вывод о качестве всей партии изделий. Выборка должна быть представительной или, как говорят, репрезентативной, то есть правильно отражать все особенности генеральной совокупности. Способы организации выборки делятся на требующие расчленения генеральной совокупности на части и не требующие этого. Выборки бывают повторные (отобранные изделия после проверки возвращаются в генеральную совокупность) и бесповторные.

Вариационный ряд

Простое статистическое распределение. Пусть измеряется случайная величина X. Ее значения наблюдаются: xk – nk. Наблюдаемые значения x1, x2, x3, …, xn называют вариантами. Если варианты расположить в порядке их возрастания, то получим вариационный ряд.

Статистический ряд. Гистограмма.

При большом числе наблюдений простой статистический ряд перестает быть удобной формой записи статистического материала. Он становится громоздким и мало наглядным. Поэтому такой ряд подвергается дополнительной обработке. Обычно данные группируют по признаку их попадания в какие-либо интервалы, разряды. Составляют таблицу, в которой указывают не саму случайную величину, а группу, куда ее те или иные значения входят. Соответственно, указывается относительная частота появления наблюдаемых значений случайной величины, относящихся к этой группе. Совокупность групп, на которые разбиваются результаты наблюдений, и относительных частот результатов наблюдений для каждой группы, называют статистическим рядом. Графическим изображением статистического ряда является гистограмма.

Лекиця 11

Метод моментов и метод наибольшего правдоподобия

Итак, по данным эксперимента имеем n чисел n x1 , x2 , x3 ,… , xn . При условии, что известен закон распределения генеральной совокупности случайной величины X, требуется найти параметры (числовые характеристики) этого закона распределения. Существуют два метода решения этой задачи. Метод моментов и метод наибольшего правдоподобия.

Метод наибольшего правдоподобия

Метод наибольшего правдоподобия , является более общим методом, приводящим всегда к состоятельным оценкам, но, к сожалению, не всегда несмещенным. Итак, пусть закон распределения генеральной совокупности известен. Задана плотность распределения случайной величины f x,a , где a – неизвестный параметр. Требуется на основании опытных данных x1, x2, x3, …,xn определить параметр a. Составим функцию правдоподобия L x1, x2, x3, …, xn; a=P1a P2a Pna, где Pia=Pxi, a) для дискретных случайных величин. Для непрерывных случайных величин L x1, x2, x3, …, xn; a) f(x1, a)*f(x2, a)*…*f(xn, a). Сущность метода правдоподобия заключается в том, что в качестве оценки a выбирают значение, для которого функция правдоподобия экстремальна. Так как 0  P 1 , то находится ее максимальное значение.

Лекция 12

Интервальные оценки

Понятие о доверительном интервале для математического ожидания и дисперсии

Доверительным интервалом называют такой интервал, который покрывает неизвестный параметр a с заданной надежностью B. Доверительной вероятностью называют вероятность того, что доверительный интервал покроит истинное значение a.

Приближенные методы построения доверительного интервала

Рассмотрим приближенный метод построения доверительного интервала для средней наблюдаемых выборки. Для простоты и наглядности сделаем некоторые упрощения. Пусть измерения будут независимыми, равноточными и не иметь кратных значений. По наблюдаемым значениям определяем среднее выборочное и исправленную выборочную дисперсию. Так как Bx есть сумма случайных величин, то ее распределение при достаточно большом количестве изменений, согласно ЦПТ, близко к нормальному.

Построение доверительного интервала для малых выборок

Для точного нахождения доверительного интервала необходимо знать заранее вид закола распределения случайной величины X. Закон распределения оценки a зависит от законов распределения X, а значит и от параметров этих законов и количества изменений (опытов) n. Иногда удается от случайной величины a перейти к другой случайной величине, закон распределения которой, хотя и зависит от законов распределения случайных величин X, однако, не зависит от их параметров. Такие случайные величины наиболее изучены в тех ситуациях, когда случайные величины распределены по нормальному закону.

Лекция 13

Статистическая проверка гипотез

Статистической гипотезой называют гипотезу о виде неизвестного распределения или о параметрах известного распределения. Принцип идеи статистической проверки гипотез можно сформулировать следующим образом. Для того, чтобы ответить на вопрос о правильности или ложности гипотезы, выбирают границы допустимых (толерантных) для нее отклонений. Необходимо назначить такие критические отклонения исследуемого параметра, превышение которых при данной гипотезе было бы настолько маловероятным событием, что его можно считать невозможным.

Ошибки первого и второго рода. Критерии проверки.

В итоге статистической проверки гипотез могут быть приняты два верных решения:

1. гипотезу принимают и она правильная,

2. гипотезу отвергают и она неправильная, ложная.

Кроме того, могут быть приняты два неверных решения:

3. отвергают правильную гипотезу – ошибка I рода,

4. принимают неправильную гипотезу – ошибка II рода

Мощность критерия. Выбор альтернативной гипотезы

Мощностью критерия называют вероятность попадания статистического критерия проверки в критическую область при условии, что конкурирующая гипотеза верна.

Теорема Неймана-Пирсона: Критическая область выбирается таким образом, чтобы мощность критерия была максимальной.

Правило статистической проверки гипотез.

Правило проверки статистических гипотез.

1. Формулируем H0 и H1 .

2. Назначаем уровень значимости .

3. Выбираем статистику критерия K для проверки H0 .

4. Определяем Kнабл по выборке при условии, что H0 верна.

5. В зависимости от H1 определяем критическую область (левую, правую или двухстороннюю).

6. Из таблицы определяем Kкр .

7. Делаем выбор. Если Kнабл  Kкр , то H0 неверна и ее отбрасываем, если же Kнабл  Kкр , то H0 оставляем, как непротиворечивую наблюдаемым данным.

Лекция 14

Критерий согласия Пирсона

Проверка такой гипотезы осуществляется с помощью специально подобранной случайной величины – критерия согласия. Критерием согласия называют статистический критерий проверки гипотезы о предполагаемом законе распределения. Имеется целый ряд критериев согласия – Пирсона, Колмогорова и т.д. Итак, по выборке экспериментальных данных получают статистическую плотность распределения f *x , которая изображается в виде гистограммы. Гипотезу о законе распределения генеральной совокупности выдвигают либо из каких то общих положений о данной случайной величине (например, ошибки измерений всегда распределены по нормальному закону) либо из характера самого распределения f *x . В этом случае получают сглаженную или, как говорят, выровненную теоретическую кривую f x , которая и выдвигается как гипотеза. Затем эту гипотезу проверяют на соответствие экспериментальным данным. Проверка отвечает на вопрос – значимо или случайно различие эмпирических f *x и теоретических частот f x. Критерий согласия Пирсона устанавливает, при принятом уровне значимости а, согласуется или нет гипотеза с данными наблюдениями. Если данные не согласуются, то гипотезу отбрасывают и проверяют другую.

Лекция 15

Элементы теории корреляции

Перейдем к рассмотрению статистической обработки совместных измерений двух случайных величин. Стохастической зависимостью называют зависимость, при которой изменение одной из случайных величин влечет изменение распределения другой случайной величины. Частным случаем стохастической связи является корреляционная связь. Корреляционной зависимостью называют такую зависимость, при которой изменение одной из случайных величин влечет изменение средних значений другой случайной величины.

Корреляционное соотношение

Если f x и фy – линейные функции, то говорят о линейной корреляции. Обе линии регрессии являются прямыми. Если же эти функции нелинейны, то говорят о нелинейной корреляции. Заметим, что в этом случае уже нельзя пользоваться коэффициентом корреляции, так как он определен только для линейной связи. Для исследования нелинейных корреляционных связей необходимо ввести понятие корреляционного соотношения. Основными задачами теории корреляции являются, во-первых, определение формы корреляционной связи, во-вторых, оценка тесноты связи (значение r, n) и в-третьих, проверка значимости корреляционной связи. Прежде всего, производится первичная статистическая обработка данных эксперимента. Итак, имеются две выборки наблюдаемых x1, x2, x3, …, xn и y1, y2, y3, …, yn . Составляется статистический ряд распределения. Возможны два случая: нет кратных, есть кратные значения наблюдаемых. В последнем случае составляется корреляционная таблица. Далее высчитываются выборочные средние.

Метод наименьших квадратов

Опыт дает ряд экспериментальных точек (xi; yi) на плоскости X0Y, где xi задается, а yi получается в результате опыта. Так как измерения величины связаны с неизбежными ошибками случайного характера, то экспериментальные точки (xi; yi) имеют некоторый разброс. Необходимо решить вопрос: как по экспериментальным данным наилучшим образом воспроизвести зависимость y от x и при этом исключить случайные отклонения. Для решения этой задачи применяют метод наименьших квадратов, который предложил Лаплас. Сам метод не дает возможность выбора общего решения (его вид выбирается из относительного хода экспериментальных точек или из общетеоретических положений), а дает возможность при выбранной зависимости провести кривую так, чтобы она наиболее точно отражала ход экспериментальных точек. Метод наименьших квадратов сводится к требованию, чтобы сумма квадратов отклонений экспериментальных точек от сглаживающей кривой была минимальной. Метод наименьших квадратов имеет ряд преимуществ перед другими методами сглаживания двухмерных статистических рядов поскольку он сравнительно прост при определении параметров a и, кроме того, он допускает теоретическое обоснование с вероятностной точки зрения.