Интеллектуальный анализ данных
 Скачать 7.76 Mb.
|
|
Примечание. Вообще, игроки в азартные игры не производили подсчетов разных комби- наций очень долго. Это вызвано в первую очередь тем, что игроки в процессе игры менялись ро- лями, и не равносильность исходов каждому игроку была поочередно то выгодной, то невыгодной. Подсчёты вероятностей в азартных играх начались с того времени, когда в игре появилось два ла- геря: козлик и игроки. Их роли в игре были разными. Козлику игры нужно было строить её ход таким образом, чтобы деньги между играющими перераспределялись (чтобы были выигравшие и проигравшие) и чтобы определённый процент денег играющих переходил неизменно к нему. Ко- гда возникла такая ситуация, тогда и возник подсчёт вероятностей. Наряду с вероятностными методами в трудах ученых-демографов XVII в. Д. Граунта и У. Петти закладывались начала математической статистики. Тотальную значимость вероятностной концепции достаточно быстро поняли и философы. Так, уже в 1687 г. был опубликован трактат Б. Спинозы «Заметки о математической вероятности». Дальнейшее развитие теории вероятностей и математической статистики связано с именами Я. Бернулли, А. де Муавра, Монмора, Н. Бернулли, Д. Бернул- ли, Л. Эйлера, Т. Байеса, Ж. Даламбера и других корифеев мировой математики. Русская школа теории вероятностей хорошо известна трудами П. Л. Чебышева, М. В. Остроградского, В. Я. Буняковского, А. Н. Колмогорова и других. Впервые курс теории вероятностей в России был введен решением Совета Михайловской артиллерийской академии в Санкт-Петербурге в 1858 г. и прочитан ее слушателям профессором М. В. Остроградским. Впрочем, это далеко не един- 64 ственный случай, когда потребности военной науки стимулировали развитие и прогресс вероятностной методологии. 3. Начала теории вероятностей Теория вероятностей — раздел математики, изучающий закономерности случайных явлений: случайные события, слу- чайные величины, их свойства и операции над ними. Вероятность (вероятностная мера) — численная мера возможности наступления некоторого события. С практической точки зрения, вероятность события — это отношение коли- чества тех наблюдений, при которых рассматриваемое событие наступило, к об- щему количеству наблюдений. Такая трактовка допустима в случае достаточно большого количества наблюдений или опытов. Например, если среди встреченных на улице людей примерно половина — женщины, то можно говорить, что вероятность того, что встреченный на улице че- ловек окажется женщиной, равна 1/2. Другими словами, оценкой вероятности со- бытия может служить частота его наступления в длительной серии независимых повторений случайного эксперимента. Если каждому элементарному событию поставить в соответствие число ] 1 , 0 [ p i , для которого выполняется условие n 1 i i 1 p , то считается, что заданы вероятности элементарных событий. Вероятность события, как счётного подмножества пространства элементар- ных событий, определяется как сумма вероятностей тех элементарных событий, которые принадлежат этому событию. Требование счётности существенно, так как, иначе сумма будет не определена. Рассмотрим правила определения вероятности различных случайных со- бытий. Например, если событие является пустым множеством , то его вероят- ность равна нулю: 0 ) ( P Если событие совпадает со всем пространство элементарных событий , то его вероятность равна единице: 1 ) ( P Вероятность события (подмножества пространства элементарных событий) равна сумме вероятностей тех элементарных событий, которые включает в себя рассматриваемое событие. Оценка вероятности возникновения события может быть определена через частоту этого события , n m f n где m – число реализаций изучаемого события в n опытах, повторенных с не- изменных условия. Тогда вероятность определяется как n при ) f lim( p n Рассмотрим задачу построения так называемой функции распределения вероятностей случайной величины x F(X) = P(x<=X) на примере бросания играль- ной кости. 65 Множество возможных исходов X={0, 1, 2, 3, 4, 5, 6}. При этом соответствующие ве- роятности исходов равны P(0)=(x<0)=0; P(1)=P(x<=1)=P(x=1)=1/6; P(2)=P(x<=2)=P(x=1Vx=2)= =2/6=1/2; ................................................. P(6)=P(x<=6)=1. Графически эта функция будет иметь вид, представленный на рис. 1. Предположим теперь, что у нас 10 000 граней у гиперкубика, на кото- рых с равномерным шагом 1/10000 на- несены цифры в интервале от -5 до 5. тогда получим картинку распределения, близ- кую к непрерывному распределению вида, представленного на рис. 2. Такая функция распределения назы- вается равномерной. Производная от функции распределе- ния дает возможность судить о скорости из- менения вероятности события в заданном интервале значений случайной величины и называется плотностью распределения или дифференциальной функций распределения. Пример плотности равномерного распределения вероятностей приведен на рис. 3. Самым распространенным типом функции распределения является нормальное распреде- ление, также называемое гауссовским распреде- лением или распределением Гаусса. Данное распределениевероятностей, ко- торое задается функцией плотности распределе- ния: , e 2 1 ) x ( f 2 2 2 ) a x ( где параметр μ— среднее значение (математическое ожидание) случайной величины и указывает координату максимума кривой плот- ности распределения, а σ² — дисперсия. Вид нормальной функции распределения и ее плотности приведены на рис.4. Нормальное распределение играет важнейшую роль во многих областях знаний, особенно в статистической физике. F(X 2/ 5/ 1/ 1 1/ 1/ 1 2 3 4 5 6 Рис. 1 X X F( 1/2 1 0 5 -5 Рис. 2. 1/2 1 0 a -a Рис. 3 X f(X) 66 Физическая величина, подверженная влиянию значительного числа незави- симых факторов, могущих вносить с равной погрешностью положительные и от- рицательные отклонения, вне зависимости от природы этих случайных факторов, часто подчиняется нормальному распределению, поэтому из всех распределений в природе чаще всего встречается нормальное (отсюда и произошло это название этого распределения вероятностей). Нормальное распределение зависит от двух параметров — смещения и масштаба, то есть является с математической точки зрения не одним распреде- лением, а целым их семейством. Значения параметров соответствуют значениям среднего (математического ожидания) и разброса (стандартного отклонения). Стандартным нормальным распределением называется нормальное рас- пределение с математическим ожиданием 0 и стандартным отклонением 1. Математическое ожидание — числовая характеристика параметра положе- ния распределения вероятностей случайной величины. Представляет собой взвешенное среднее возможных значений случайной величины. В англоязычной литературе и в математическом сообществе Санкт- Петербурга обозначается через E{X} (например, от англ. Expected value ), в рус- ской и московской научных школах — M{X} (возможно, от англ. Mean value, а воз- можно от рус. Математическое ожидание). В статистике часто используют обо- значение μ. Среднеквадратическое отклонение (синонимы: среднеквадратичное откло- нение, квадратичное отклонение; близкие (но не совпадающие) термины: стан- Рис. 4. Функция и плотность нормального распределения для различных значе- ний математического ожидания и дисперсии Иоганн Карл Фридрих Гаусс (1777, Брауншвейг —1855, Гёттин- ген) — немецкий математик, астроном и физик, считается одним из величайших математиков всех времён, «королём математиков». 67 дартное отклонение, стандартный разброс) — в теории вероятностей и статистике наиболее распространённый показатель рассеивания значений случайной вели- чины относительно её математического ожидания. На рис. 5 проиллюстрирован смысл этих понятий. 4. Предельные теоремы Важнейшими теоремами теории вероятностей являются закон больших чи- сел и предельные теоремы. Закон больших чисел в теории вероятностей утверждает, что эмпирическое среднее (среднее арифметическое) достаточно большой конечной выборки из фиксированного распределения близко к теоретическому среднему (математиче- скому ожиданию) этого распределения. В зависимости от вида сходимости разли- чают слабый закон больших чисел, когда имеет место сходимость по вероятности, и усиленный закон больших чисел, когда имеет место сходимость почти всюду. Всегда найдётся такое количество испытаний, при котором с любой задан- ной наперёд вероятностью относительная частота появления некоторого события будет сколь угодно мало отличаться от его вероятности. Общий смысл закона больших чисел — совместное действие большого числа случайных факторов приводит к результату, почти не зависящему от слу- чая! На этом свойстве основаны методы оценки вероятности на основе анализа конечной выборки. Наглядным примером является прогноз результатов выборов на основе оп- роса выборки избирателей. Усиленный закон больших чисел. Пусть есть бесконечная последова- тельность независимых одинаково распределённых случайных величин } ,..., 1 i , X { i , определённых на одном вероятностном пространстве ) P , F , ( . Пусть . n ,..., 1 i , EX i . Обозначим S n выборочное среднее первых n членов: N n , X n 1 S n 1 i i n Рис. 5. Иллюстрация понятия ско 68 Тогда n n S почти наверное. Центральные предельные теоремы (Ц.П.Т.) — класс теорем в теории ве- роятностей, утверждающих, что сумма достаточно большого количества слабо за- висимых случайных величин, имеющих примерно одинаковые масштабы (ни одно из слагаемых не доминирует, не вносит в сумму определяющего вклада), имеет распределение, близкое к нормальному. Так как многие случайные величины в приложениях формируются под влиянием нескольких слабо зависимых случайных факторов, их распределение считают нормальным. При этом должно соблюдаться условие, что ни один из факторов не является доминирующим. Центральные предельные теоремы в этих случаях обосновывают применение нормального распределения. Классическая формулировка центральной предельной теоремы (ЦПТ) Пусть , X ..., , X , X n 2 1 есть бесконечная последовательность независимых одинаково распределённых случайных величин, имеющих конечное математиче- ское ожидание μ и дисперсию σ 2 . Пусть n 1 i i n X S . Тогда , n при ) 1 , 0 ( N } n n S { P n где N(0, 1) — нормальное распределение с нулевым математическим ожи- данием и стандартным отклонением, равным единице. Пусть n 1 i i X n 1 X - выборочное среднее первых n величин, то есть, мы мо- жем переписать результат центральной предельной теоремы в следующем виде: ) 1 , 0 ( N } X n { P при n Замечания Неформально говоря, классическая центральная предельная теорема утверждает, что сумма n независимых одинаково распределённых случайных ве- личин имеет распределение, близкое к N(nμ, nσ 2 ). Эквивалентно, X имеет распределение близкое к N(μ, σ 2 /n). Так как функция распределения стандартного нормального распреде- ления непрерывна, сходимость к этому распределению эквивалентна поточечной сходимости функций распределения к функции распределения стандартного нор- мального распределения. Положив n n S Z n n , получаем , где Φ(x) — функция распределения стандартного нормального распределения. Центральная предельная теорема в классической формулировке дока- зывается методом характеристических функций (теорема Леви о непрерывности). Вообще говоря, из сходимости функций распределения не вытекает сходимость плотностей. Тем не менее, в данном классическом случае имеет ме- сто. 69 Вопросы для самопроверки: 1. Сравните гипотезы многовариантности и предопределенности. 2. Сформулируйте принцип детерминизма Лапласа. 3. Опишите кратко историю развития теории вероятностей. 4. Что называется теорией вероятностей? 5. Что называется вероятностью? 6. Что называется пространством элементарных событий? 7. Определите понятие частоты событий. 8. Что такое функция распределения вероятностей? 9. Какое распределение называется нормальным? 10. Назовите параметры нормального распределения. 11. Что такое среднеквадратическое отклонение? 12. В чем заключается содержание закона больших чисел? 13.Сформулируйте усиленный закон больших чисел. 14. Приведите классическую формулировку центральной предельной теоремы. Литература 1. Штейнгауз Г. Математический калейдоскоп/Пер. с польск. - М.: ГИТТЛ, 1949. - 143с. 2. Николис Г., Пригожин И. Самоорганизация в неравновесных структурах/Пер. с англ. - М.: Мир, 1979. - 327с. 3. Морозов Л.М., Петухов Г.Б., Сидоров В.Н. Методологические основы теории эффективности: Учебное пособие. - Л.: ВИКИ им. А.Ф.Можайского, 1982. - 236с. 4. Таранов П.С. Управление без тайн. - Донецк: Сталкер, 1997. - 448с. 5. Элементы теории испытаний и контроля технических систем/В.И. Городец- кий, А.К. Дмитриев, В.М. Марков и др. Под ред. Р.М. Юсупова. - М.: Энергия, 1978. - 191с. Приложение 1. Предельные теоремы теории вероятностей Слабый закон больших чисел Пусть есть бесконечная последовательность (последовательное перечисление) одинаково распределённых и некоррелированных случайных величин } ,..., 1 i , X { i , определённых на одном вероятностном пространстве ) P , F , ( . То есть их ковариация . Пусть . Обозначим S n выборочное среднее первых n членов: N n , X n 1 S n 1 i i n Тогда P n S Локальная Центральная предельная теорема В предположениях классической формулировки, допустим в дополнение, что рас- пределение случайных величин } ,..., 1 i , X { i абсолютно непрерывно, то есть оно имеет плотность. Тогда распределение Z n также абсолютно непрерывно, и более того, 2 x n Z 2 n e 2 1 ) x ( f , где ) x ( f n Z - плотность случайной величины Z n , а в правой части стоит плотность стандартного нормального распределения. Некоторые обобщения 70 Результат классической центральной предельной теоремы справедлив для ситуа- ций гораздо более общих, чем полная независимость и одинаковая распределённость. Центральная предельная теорема Линденберга Пусть независимые случайные величины } ,..., 1 i , X { i определены на одном и том же вероятностном пространстве и имеют конечные математические ожидания и дисперсии: . Как и прежде построим частичные суммы n 1 i i n X S . Тогда в частности, Пусть выполняется условие Линденберга: Тогда по распределению при Центральная предельная теорема Ляпунова Пусть выполнены базовые предположения Ц.П.Т. Линденберга. Пусть случайные величины {X i } имеют конечный третий момент. Тогда определена последовательность . Если предел (условие Ляпунова), то по распределению при |