очерк истории теории вероятности. Закон больших чисел Центральная предельная теорема Общие предельные распределения для сумм Закон повторного логарифма Формирование понятий математического ожидания и дисперсии Общие представления
 Скачать 444.97 Kb.
|
|
Гипотеза Гаусса состояла в том что lim n?? P (n, x) = ln(1 + x)/ ln Он писал далее что при решении этой задачи усилия которые я делал F F оказались бесплоднымиїF Решение этой задачи появилось лишь в IWPV г его дал ЂF yF Кузьмин @IVWI!IWRWAF Через год П Леви дал для этой задачи чисто вероятностное решение получив для быстроты сходимости к пределу лучшую чему КузьминаD оценку Позднее было доказано что результат сохраняется для любой случайной величины MD для которой P (0, x) имеет ограниченную производную Это замечание делает более ясными неопределенные слова Гаусса о том что для величины все значения или одинаково вероятны или же более или менее следуют данному законуїF Заслуживает упоминания то обстоятельство что функция P (0, x)D также как и P (n, x)D представляет собой функцию распределенияF Мы видим что многочисленные исследования многих крупных математиков подготовили почву для введения понятия случайной величины ПоEвидимомуD первый шаг был сделан Пуассоном в мемуаре IVQP гF ѕО вероятности средних результатов наблюденийїF Этот факт мне сообщил ОF Б ШейнинF Термина случайная величина у Пуассона еще нет но он пишет о некоторой вещиїD которая способна принять значения a 1 , a 2 , . . . , соответственно с вероятностями p 1 , p 2 , . . . , p ? F Он рассмотрел также непрерывные случайные величины и их плотности распределенияF ИтакD Пуассоном был сделан важный шаг в науке " он ввел в научный обиход новое понятие " случайную величину Его первоначальный термин ѕвещьї не привился и скоро перестал употребляться Чебышев в своих мемуарах по теории вероятностей уже использует термин ѕвеличиE наї и автоматически считает все случайные величины с которыми имеет дело независимыми В работах же Ляпунова по теории вероятностей систематически используется термин случайная величинаї и всюду где это необходимо оговаривается что автор имеет дело с независимыми случайными величинамиF Отметим еще одно обстоятельство В самом начале џR работы Об одном предложении теории вероятностейї Ляпунов определил функцию распределения точно также как мы делаем это теперь Он привел в этой работе широко используемую формулу ? ? ? b) = F (b) ? F (Полезно заметить что в трактатах по теории вероятностей А Пуанкаре Исчисление вероятностейїD Э Бертрана Исчисление вероятE ностейїD Чубера Теория вероятностей и математическая статистикаї понятие функции распределения не вводилось книги изданные дог Определение случайной величины данное Пуассоном теперь уже не может считаться математическим Это скорее описание реального объекта изучения обращение к интуиции полученной в результате житейского и научного опыта Это описание широко используется ив наши дни на начальных ступенях педагогического процесса связанного с изложением основ теории вероятностей Даже несложный логический анализ этого определения показывает что из него совсем не следует правила для действий над случайными величинами " сложения вычитания умножения и пр Для того чтобы случайная величина приобрела статус полноценного математического понятия ей необходимо дать строго формализованное определениеF Это было сделано в конце двадцатых годов АН Колмогоровым в небольшой статье посвященной аксиоматике теории вероятностей а затем в подробностях изложено в его знаменитой книге Основные понятия теории вероятностейїF Подход Колмогорова стал теперь общепринятым поскольку он полноценно включил теорию вероятностей в общий стиль современного изложения принятый в математике. Закон больших чисел Знаменитая теорема Я Бернулли о сближении при увеличении числа наблюдений вероятности события A с частотой его появления получила первое обобщение лишь в IVQU г в работе С Пуассона Исследования о вероятностях в решении судебных дел уголовных и гражданскихїF Именно в этом мемуаре он ввел сам термин закон больших чиселїF Пуассон рассмотрел последовательность n независимых испытаний в каждом из которых может появиться событие AD нос вероятностью p зависящей от номера испытания Если через µ n обозначить число появлений события A в n последовательных испытаниях то при любом ? > 0 имеет место соотношение при n ? ? P µ n n ? p 1 + p 2 + . . . + p n n < ? ? По поводу этой теоремы Пуассона в небольшой заметке IVRQ г Чебышев писал ѕF F F как ни остроумен способ употребленный знаменитым геометром он не доставляет предела погрешности которую пускает этот приближенный анализ и вследствие такой неизвестности величины погрешности доказательство не имеет надлежащей строгостиї Чебышев ПЛ СобрF сочF ! АН СССР IWRU ! Т ss ! ™F IRAF Оценку числа nD для которого при заданных ? и ? имеет место неравенство n ? p 1 + p 2 + . . . + p n n < ? > 1 ? Чебышев указал в этой заметкеF Как ни интересны эти результаты они не внесли в теорию вероятностей существенного прогресса поскольку в идейном плане они не выходили за пределы концепции Я Бернулли Существенный сдвиг в этом направлении связан с работой ПЛ Чебышева О средних величинахї @IVTUAD опубликованной одновременно на русском и французском языках В этой работе он перешел от рассмотрения случайных событий к случайным величинами тем самым перенес центр тяжести интересов теории вероятностей к изучению случайных величин Нужно заметить что Чебышев не упоминал что он интересуется только независимыми случайными величинами а согласно традициям того времени считал что других величин не рассматриваютF Теорема Чебышева теперь излагается во всех учебниках теории вероятностей Она неоднократно позднее служила источником обобщенийF В IWHW г Э Борель для p = 0.5 показал что в случае схемы Бернулли имеет более сильное предложение чем закон больших чисел ИменноD он доказала в IWIU г это предложение на произвольное p распространил итальянский математик КантеллиD что n?? µ n n = p = Это предложение получило наименование усиленного закона больших чисел Широкое обобщение усиленного закона больших чисел было дано АF Н Колмогоровым в работе IWQH га также в IWQR г в его монографии ѕОсновные понятия теории вероятностейї @IWQP гFAF Необходимые и достаточные условия для усиленного закона больших чисел были найдены в ряде работ Ю В Прохорова IWSV!IWSW г см Об усиленном законе больших чиселїD Изв АН СССР сер матем IRD TF Несколько замечаний к усиленному закону больших чиселїD Теория вероятностей и ее применения т s†D вып PD PIS!PPHD В IWQS г А Я Хинчин ввел новое понятие относительной устойчивости сумм которое должно было дать максимально общую форму закона больших чисел для положительных случайных величин Пусть ? 1 , ? 2 , . . последовательность неотрицательных случайных величин Про суммы S n = ? 1 + ? 2 + . . . + ? n говорят что они относительно устойчивы если можно найти такие положительные константы A n > 0 D что при любом ? > 0 и n ? выполняется соотношение 1 > ? ? В случае одинаково распределенных величин ? n Хинчину удалось найти необходимое и достаточное условие для относительной устойчивости сумм S n F Ученик А Я Хинчина А А Бобров распространил этот результат на случай разнораспределенных слагаемыхF Закон больших чисел рассматривался вплоть дог как особая предельная теорема и рассматривался обособленно от остальных предельных теорем для сумм независимых случайных величин В работе Б В ГнеE денкоD о которой речь пойдет в џIUD закон больших чисел был включен в общую теорию предельных теорем когда предельное распределение имеет единственную точку роста в нуле Точно также теоремы об относительной устойчивости сумм являются предельными для того случая когда предельное распределение имеет единственную точку роста при x = Существенное расширение проблематики связанной с законом больших чисел было осуществлено В И Гливенко в работах относящихся к IWPW! IWQQ ггFD когда он начал рассматривать предельные теоремы для случайных величин со значениями в функциональных пространствах Пожалуй вершиной его результатов является замечательная теорема о сходимости эмпирических распределений к истинной функции распределения наблюдаемой случайной величины Теорема ГливенкоD сразу же после ее опубликованияD была названа Кантелли основной теоремой математической статистикиF Теорема Гливенко неоднократно обобщалась В этом направлении работало большое число исследователей среди которых отметим лишь французских ученых Р Форте и Э МурьеF 16. Центральная предельная теорема Теорема Муавра о сходимости распределений центрированного и нормированного числа появлений события A в n независимых испытаниях в каждом из которых событие A может наступить с одной и той же вероятностью к нормальному распределению долгое время служила образцом для последующих обобщений Пожалуй первое обобщение принадлежит Лапласу и уже формулируется как предельная теорема для сумм независимых случайных величин ? k D каждая из которых равномерно распределена на отрезке [?h, h]F Это было сделано в работе wЎemoire sur les —pproxim—tion des formules qui sont fon™tions de trЎes gr—nds nom?res et sur leur —ppli™—tion —ux pro?—?ilitЎes @IVHWAF Лаплас в нем рассматривал дискретные случайные величины с увеличивающимся числом возможных значений Этим самым давалась аппроксимация непрерывного распределения дискретным Лаплас доказал что для каждого s имеет место такой результат n?? P ?s ? S n ? n ? s = 2 ? 3 h ? 2? s 0 e ? x2 где k=1 ? k , ? 2 = Заслуживает внимания тот факт что Лаплас при доказательстве этого результата использовал метод характеристических функций которыйD естественноD так тогда еще не называлсяF Существенное продвижение исследований по предельной теореме связано с именем Пуассона В знаменитом мемуаре IVQU гон рассмотрел схему последовательности независимых испытаний с разными вероятностями появления события A в каждом из испытаний Пусть вероятность наступления A прим испытании равна p k F Пуассон доказал для этого случая локальную теорему Если ряд ? k=1 p k (1 ? p расходится то вероятность того что в n испытаниях событие появится m раз равна = np ? ?c ? n) = 1 c ? ?n e ?? 2 ? h? 2c 4 n ? ? (3 + где p = 1 n n k=1 p k , c 2 = 2 n k=1 p k (1 ? p k ), h = 4 3n n k=1 (2p k ? 1)p k (1 ? p В той же книге Пуассон дал ошибочное обобщение этой теоремы на суммы произвольных независимых случайных величин имеющих конечные дисперсии при условии их центрирования суммами математических ожиданий и нормирования корнем квадратным из суммы дисперсий слагаE емыхF Справедливости ради следует сказать что в частном случае одинаковой распределенное слагаемых эта теорема верна однако строгое ее доказательство пришло значительно позднее и связано с именами ЛиндебергаD Феллера и ХинчинаF ЗаметимD что как работы Лапласа таки работы Пуассона и всех последующих исследователей занимавшихся центральной предельной теоремойD были непосредственно связаны с теорией ошибок измерений И во всех работах говорилось не о сложении абстрактных случайных величина о сложении ошибок ПоEвидимомуD впервые от этой традиции отошел ЧебышевF Интерес к нормальному распределению вначале века возрос в связи с появлением знаменитых исследований Лежандра и Гаусса по формулировке и обоснованию метода наименьших квадратов Ф В Бессель еще в IVIV г в работе pund—ment— estronor—i—e pro —nno IUSS dedu™t— ex o?serv—tioni?us viri in™omport—?ilis t—mes fr—dley in spe™ul— qrenovi™ensi pro —nnis IUSH!IUTP institutis заметил что наблюдения гринвичского астронома Брэдли прекрасно укладываются в схему нормального распределения Объяснение которое он предложил этому факту совпадает с идеей которую перед этим в течение тридцати лет вынашивал Лаплас результирующая большого числа случайных воздействий каждое из которых оказывается малым по сравнению с суммой остальных подчиняется общему закону и этот общий закон должен быть нормальным Эту мысль в совершенно отчетливой форме повторил Бессель также в работе IVQV г @…ntersu™hungen ¤u?er die ‡—hrs™heinli™hkeit der feo?—™hmngsfehlerGG estrF x—™hiF ! IVQVF ! pF PQIAF Справедливости ради следует сказать что Бессель обратил внимание на то что это правило не является всеобщими могут у ошибок наблюдений встречаться другие отличные от нормального распределения ТакD если при измерении углов один источник ошибок превалирует над всеми остальными то плотность распределения результирующей ошибки может быть f(x) Та же концепция обоснования нормального закона как закона распределения ошибок дважды встречается в известном учебнике А Пуанкаре g—l™ul des pro?—?ilitЎes @Ђ—risD IWIPAF Первый разв конце џIRH он писал что ѕошибкаD связанная с инструментом есть результирующая очень большого числа независимых одна от другой ошибок таких что каждая из них приносит лишь слабую долю в результат результирующая ошибка следует закону ГауссаїF Затем в самом начале џIRR был подведен следующий итогX ѕРезюмируяD предположим что окончательная ошибка будет результирующей очень большого числа частых погрешностей независимых друг от друга и что нет ошибок систематических предположим также что эти ошибки будут иметь приблизительно один и тот же порядок величины внося каждая в общий результат лишь незначительную долю В этом случае результирующая ошибка следует приблизительно закону ГауссаF ТакойD мне кажется лучший довод который можно дать в пользу закона ГауссаїF Следует сказать что все эти идеи носят лишь качественный характер и нуждаются в математическом оформлении и последующем доказательстве строгих теоремF Второй толчок который вызвал дополнительный интерес к предельным теоремам теории вероятностей была статистическая физика начала которой были построены в середине века Первый общий результат в этом направлении был сформулирован в IVVU г в работе О двух теоремах относительно вероятностейї ПЛ Чебышева Сформулированная Чебышевым теорема звучит следующим образомX Если математические ожидания величин u 1 , u 2 , . . равны HD а математические ожидания всех их степеней имеют числовую величину ниже какогоE либо предела вероятность того что сумма u 1 + u 2 + . . . + u n D деленная на квадратный корень из удвоенной суммы математических ожиданий их квадратов заключается между двумя какимиEнибудь пределами t и t с возрастанием n до ? имеет пределом интеграл Для доказательства этого предложения Чебышевым был разработан весьма сильный метод получивший наименование метода моментов и являющийся одним из крупнейших достижений науки того времени Однако в формулировке теоремы ив ее доказательстве был допущен ряд промаховD которые сразу же взялся исправить ученик ПЛ Чебышева А А Марков Критика мемуара Чебышева содержится в письмах Маркова к профессору Казанского университета А В ВасильевуD который счел необходимым опубликовать ее в IVWV г Закон больших чисел и метод наименьших квадратовїAF В этих письмах Марковым была совершенно строго доказана несколько исправленная теорема ЧебышеваX Если S n " последовательность сумм u 1 + u 2 + . . . + u n D и ? n (x) " их функции распределения то из предположения что при любом целом положительном k имеют место соотношения k d? n (x) ? 1 ? 2? ? ?? x k e ?x 2 /2 dx SP вытекает что при любых a и b имеет место равенство < S n Var S n < b ? 1 ? 2? b Метод моментов которым работал Чебышев торжествовал победу Была доказана сильная и казалось бы окончательная теорема Некоторую неудовлетворенность приносило только то что для простого результата требовалось выполнение счетного множества условий Неожиданно в нескольких публикациях eF wF Ляпунова на протяжении IWHH и IWHI ггF было обнаружено что окончательный результат имеет место при выполнении только одного очень простого условия которое вдобавок выясняло смысл тех предположений которые должны приводить к сходимости распределений нормированных и центрированных сумм к нормальному распределениюF Сначала Ляпунов показал что если величины имеют конечные третьи моменты c k = E|? k ? a k | 3 D C n = n k=1 c k D B 2 n = n k=1 Var ? k и отношение C n /B 3 n при n ? стремится к нулю то имеет место сходимость функций распределения сумм S n к нормальному распределениюF На следующий год Ляпунов же обнаружил что для окончательного результата необязательно требовать существования третьих моментов слагаемых Достаточно если существуют моменты некоторого порядка 2 + где ? > 0F Ляпунов показал что для сходимости нормированных корнем из дисперсии сумм независимых слагаемых к нормальному распределению достаточно выполнения следующего условия пусть c k = E|? k ? a k | 2+? D C n = n k=1 c k D отношение C n /B 2+? n должно с ростом n стремиться к Ляпунов сделал несколько большее он оценил скорость сходимости к предельному распределению функций распределения сумм Порядок этой оценки оказался равным n ?1/2 ln Точно также в упомянутой статье Чебышева помимо предложения о сходимости к нормальному распределению было дано асимптотическое разложение по степеням ? n ?1 F Общность результатов Ляпунова произвела огромное впечатление на современников ПоEвидимомуD именно в ту пору и появился термин центральная предельная теоремаї для обозначения условий сходимости функций распределения нормированных и центрированных математическими ожиданиями сумм к нормальному распределению Марков подошел к результатам Ляпунова с далеко иных позиций В связи с этим полезно привести подлинные слова МарковаX Общность выводов в последней работе Ляпунова далеко превзошла ту которая была достигнута методом математических ожиданий Достигнуть столь общих выводов методом математических ожиданий казалось даже невозможным ибо он основан на рассмотрении таких математических ожиданий в неограниченном числе существование которых в случаях Ляпунова не предполагаетсяF Для восстановления поколебленного таким образом значения метода математических ожиданий необходимо было выяснить что вышеупомянутыми работами он не исчерпан до концаїF Марков в IWHV г выступил с замечательной идеей " урезания случайных величин Этот прием дал возможность доказать предельную теорему в условиях Ляпунова методом моментов или как говорил Марков методом математических ожиданий Идея урезания прочно вошла в жизнь теории вероятностейF Дальнейшая судьба центральной предельной теоремы такова в IWPP гF финскому математику Линдебергу удалось пойти дальше Ляпунова и отказаться от предположения существования даже какихEлибо моментов кроме вторых А именно он доказал что если при любом ? > 0 имеет место соотношение lim n?? 1 B n n k=1 |x?a k |>? B n (x ? a k ) 2 dF k (x) = то функция распределения сумм центрированных математическими ожиданиями и нормированных корнем квадратным из суммы дисперсий слагаемых сходятся к стандартному нормальному распределениюF Через IP лет В Феллер показал что условие Линдеберга является и необходимым в предположении что слагаемые равномерно малыF ЯсноD что из теоремы Линдеберга в качестве следствия получается давно ожидавшийся результат если случайные величины независимы одинаково распределены и имеют конечную дисперсию отличную отток суммам таких величин применима центральная предельная теорема теории вероятE ностейF |