А.В. Бирюков Индуктивная статистика. Методические указания к изучению соответствующего раз дела программы курса математики для студентов всех направлений
 Скачать 164.75 Kb.
|
|
МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «КУЗБАССКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ» Кафедра высшей математики ИНДУКТИВНАЯ СТАТИСТИКА Методические указания к изучению соответствующего раз- дела программы курса математики для студентов всех направлений Составитель А. В. Бирюков Утверждены на заседании кафедры Протокол № 1 от 25.08.02 Рекомендованы к печати учебно- методической комиссией специальности 290300 Протокол № 25 от 3.04.03 Электронная копия хранится в библиотеке главного корпуса ГУ КузГТУ КЕМЕРОВО 2003 1 ВВЕДЕНИЕ По определению А. Вальда статистика есть совокупность мето- дов, которые дают возможность принимать оптимальные решения в условиях неопределенности. Если дискриптивная статистика ограни- чивается описанием полных совокупностей, то современная индуктив- ная или аналитическая статистика исследует только репрезентативную часть совокупности, называемую выборкой. Результат исследования выборки по индукции распространяется на всю генеральную совокуп- ность. Основными числовыми характеристиками выборки, содержащей N элементов N X X X ,..., , 2 1 , являются выборочное среднее N X X X N / ) ( 1 + + = и выборочная дисперсия ( ) ( ) ( ) 1 2 2 1 2 − − + + − = N X X X X S N Число N называется объемом выборки, а число ( ) 1 − N – числом степеней свободы выборочной дисперсии. Все выборочные характери- стики называют статистиками. Если неизвестный генеральный параметр оценивается соответст- вующей статистикой с указанием интервала, которому он принадлежит с заданной вероятностью, то этот интервал называется доверительным интервалом, а заданная вероятность – доверительной вероятностью или надежностью утверждения. Разность между единицей и доверительной вероятностью называется уровнем значимости. При проверке статистических гипотез возможны два ошибочных решения – отклонить верную гипотезу и принять неверную гипотезу. Вероятность первой ошибки равна уровню значимости. Критерии, которые служат для проверки гипотез и не предпола- гают известным закон распределения случайной величины, называются непараметрическими. Непараметрическая статистика обладает тем преимуществом, что требует сравнительно простых вычислений. По- этому ее методы называют «быстрыми». 2 1. ПРОВЕРКА ГИПОТЕЗ При проверке гипотез будем предполагать уровень значимости равным 0,05. В этом случае надежность выводов составляет 95%. 2.1. Однородность выборки Выборка называется однородной, если она не содержит ошибоч- ных элементов. Ошибочный элемент может быть либо самый большой, либо самый малый. Обозначим сомнительный элемент через 0 X . Тогда вопрос об его ошибочности решает статистика S X X C − = 0 , где X – выборочное среднее, S – стандарт (корень квадратный из вы- борочной дисперсии). Сомнительный элемент отбрасывается как ошибочный, если вы- численное значение статистики превосходит критическое. В табл.1 приведены критические значения статистики в зависимости от объема выборки N Таблица 1 N 4 6 8 10 12 14 C 1,7 2,0 2,2 2,3 2,4 2,5 N 16 18 20 22 24 26 C 2,5 2,6 2,6 2,7 2,7 2,7 2.2. Нормальность выборки Выборка называется нормальной, если она извлечена из нормаль- но распределенной генеральной совокупности. Проверка выборки на нормальность состоит в вычислении статистики S R C = , где R – размах выборки, равный разности между наибольшим и наи- меньшим элементами. Если вычисленное значение статистики принадлежит критиче- скому интервалу B C A < < , 3 то выборку можно считать нормальной. В табл. 2 приведены границы критического интервала в зависимо- сти от объема выборки N Таблица 2 N A B N A B 7 2,4 3,2 40 3,7 5,2 8 2,5 3,4 50 3,8 5,4 9 2,6 3,6 60 4,0 5,5 10 2,7 3,7 80 4,2 5,7 16 3,0 4,2 100 4,3 5,9 20 3,2 4,5 200 4,8 6,4 30 3,5 4,9 500 5,4 6,9 2.3. Сравнение дисперсий Для двух произвольных выборок с одинаковыми объемами N и размахами ) ( , 2 1 2 1 R R R R > статистика, принадлежащая Пиллаи, имеет вид 2 1 R R C = Если значение статистики не превосходит критическое (табл. 3), то дисперсии выборок отличаются друг от друга незначимо (т.е. слу- чайно). Таблица 3 N 6 7 8 9 10 C 2,3 2,1 2,0 1,9 1,8 Для двух нормальных выборок с дисперсиями ) ( , 2 2 2 1 2 2 2 1 S S S S > можно применить более мощный критерий Фишера со статистикой 2 2 2 1 S S C = Если это отношение дисперсий больше критического, то различие между дисперсиями значимо (неслучайно). В табл. 4 приведены крити- ческие значения для случая, когда выборки имеют одинаковый объем N Таблица 4 1 − N 10 15 20 30 40 C 3,0 2,4 2,1 1,8 1,7 4 Если имеется M нормальных выборок одинакового объема N , то сравнение их дисперсий можно провести по критерию Хартли со ста- тистикой 2 2 min max S S C = , равной отношению наибольшей дисперсии к наименьшей. Если это от- ношение превосходит критическое значение (табл. 5), то дисперсии от- личаются значимо. Таблица 5 M , N 10 15 20 30 60 3 4,8 3,5 3,0 2,4 1,8 4 5,7 4,0 3,3 2,6 2,0 5 6,3 4,4 3,5 2,8 2,0 6 6,9 4,7 3,8 2,9 2,1 7 7,4 5,0 3,9 3,0 2,2 8 7,9 5,2 4,1 3,1 2,2 9 8,3 5,4 4,2 3,2 2,3 10 8,7 5,6 4,4 3,3 2,3 2.4. Сравнение средних Для двух произвольных выборок с одинаковыми объемами N , выборочными средними 1 X , 2 X и размахами 2 1 , R R вопрос о сравне- нии средних решает статистика Лорда ( ) 2 1 2 1 2 R R X X C + − = Если найденное значение статистики превосходит критическое (табл. 6), то различие между средним значимо. Таблица 6 N 3 4 5 6 7 8 C 1,27 0,83 0,61 0,50 0,43 0,37 N 9 10 11 12 13 14 C 0,33 0,30 0,28 0,26 0,24 0,23 N 15 16 17 18 19 20 C 0,22 0,21 0,20 0,19 0,18 0,17 Для M выборок одинакового объема со средними M X X X > > > 2 1 5 имеет статистику Диксона M X X X X C − − = 1 2 1 Если значение статистики превосходит критическое (табл. 7), то наибольшее среднее значимо отличается от остальных. Аналогичным образом решается вопрос относительно наименьшего среднего, когда M X X X < < < 2 1 Таблица 7 M 3 4 5 6 7 C 0,94 0,76 0,64 0,56 0,51 2.5. Сравнение выборок Для двух выборок одинакового объема N проверяется гипотеза: обе выборки извлечены из одной и той же генеральной совокупности. Вопрос решает критерий Вилкоксона. Обе выборки объединяем в одну совокупность и располагаем элементы по возрастанию, помечая (например, штрихом) элементы од- ной из выборок. В объединенной совокупности элементы нумеруем в порядке возрастания. Номер элемента называется его рангом. Одина- ковым по величине элементам присваиваем средний в их группе ранг. Далее подсчитываем суммы рангов элементов каждой выборки 2 1 , D D и находим величины ( ) 1 2 1 1 5 , 0 D N N N C − + + = , ( ) 2 2 2 1 5 , 0 D N N N C − + + = Искомая статистика равна наименьшему из чисел 2 1 ,C C т.е. ( ) 2 1 , min C C C = Если найденное значение статистики больше критического (табл. 8), то сформулированная гипотеза верна. Таблица 8 N 5 6 7 8 9 10 11 12 C 4 7 11 15 21 27 34 42 N 13 14 15 16 17 18 19 20 C 51 61 72 83 96 109 123 138 6 Аналогичным образом решается задача для M выборок с объе- мами N . В этом случае решение дает статистика ( ) ( ) ( ) 1 3 1 12 2 2 2 1 + − + + = MN MN MN D D C M Если найденное значение статистики меньше критического (табл. 9), то все выборки принадлежат одной и той же генеральной со- вокупности. Таблица 9 1 − M 2 3 4 5 6 7 C 6,0 7,8 9,5 11 13 14 1 − M 8 9 10 11 12 13 C 16 17 18 20 21 22 1 − M 14 15 16 17 18 19 C 24 25 26 28 29 30 1 − M 20 21 22 23 24 25 C 31 33 34 35 36 37 Приведем пример сравнения двух выборок по критерию Вилкок- сона. Имеются выборки: 1) 1, 1, 3, 4, 5; 2) 1, 2, 6, 7, 8. Элементы объе- диненной совокупности 1, 1, 1`, 2`, 3, 4, 5, 6`, 7`, 8` имеют ранги 2, 2, 2, 4, 5, 6, 7, 8, 9, 10. При этом 18 1 = C , 7 2 = C . Иско- мая статистика 7 = C больше критического значения, которое при 5 = N равно 4. Следовательно, обе данные выборки принадлежат одной генеральной совокупности. 3. КОРРЕЛЯЦИЯ Рассмотрим две случайные величины X и Z , которые из некото- рых априорных соображений будем считать связанными друг с другом. Отвлекаясь от истинного характера этой взаимосвязи, остановимся лишь на близости этой зависимости к линейной, называемой корреля- цией. 3.1. Коэффициент корреляции Пусть имеются результаты одновременного наблюдения за двумя случайными величинами 7 ( ) N k Z X k k ,... 2 , 1 , , = Вычислим статистику ( ) 2 1 S S Z X XZ C − = , называемую выборочным коэффициентом корреляции. Здесь XZ - среднее произведение, а 1 S и 2 S – выборочные стандарты. Эта статистика может принимать значения в интервале от -1 до +1. Если найденное значение превосходит критическое (табл. 10), то корреляция между случайными величинами значима. Таблица 10 N 6 8 10 15 20 C 0,71 0,63 0,58 0,48 0,42 N 30 40 50 70 90 C 0,35 0,30 0,27 0,23 0,20 3.2. Ранговая корреляция Пусть, как и прежде, имеются пары наблюдений ( ) N k Z X k k ,... 2 , 1 , , = Значения k X и k Z независимо друг от друга расположим по воз- растанию и ранжируем, приписывая ранги 1, 2, 3 и т.д. в порядке воз- растания элементов выборок. Разность рангов у соответствующих друг другу элементов k X и k Z обозначим через k E . Далее вычислим статистику Спирмена ( ) ( ) 1 6 1 2 2 2 1 − + + − = N N E E C N Корреляция признается значимой, если найденное значение ста- тистики превосходит критическое (табл. 11). Таблица 11 N 6 8 10 12 14 16 C 0,77 0,60 0,55 0,50 0,46 0,42 N 18 20 22 24 26 28 C 0,40 0,38 0,36 0,34 0,33 0,32 8 3.3. Адекватность регрессии Если при проверке гипотезы о корреляции оказалось, что корре- ляция значима, то правомерно искать линейную зависимость между X и Z , называемую регрессией или регрессионной моделью. Используя метод наименьших квадратов, найдем эту модель в виде ( ) X X W Z Z − + = , где угловой коэффициент регрессии равен ( ) ( ) 2 2 X X Z X XZ W − − = Здесь X , Z – выборочные средние; XZ - среднее произведение; 2 X – средний квадрат; 2 X – квадрат среднего. Для проверке адекватности найденной модели необходимо найти две дисперсии – остаточную дисперсию 2 S , характеризующую точ- ность модели, и дисперсию воспроизводимости 2 0 S , характеризующую уровень шума, т.е. совокупное влияние случайных факторов. Для вы- числения последней необходимо иметь дублирующие (параллельные) наблюдения, т.е. значения Z при фиксированном значении X . Диспер- сия параллельных наблюдений равна 2 0 S Для вычисления остаточной дисперсии найдем сумму квадратов разностей между экспериментальными и вычисленными по модели значениями Z . Разделив эту сумму на 2 − N , где N – число пар на- блюдений (объем выработки), получим остаточную дисперсию 2 S Если при сравнении по какому-либо критерию (Пиллаи или Фи- шера) окажется, что различие между дисперсиями 2 S и 2 0 S незначимо, то найденная регрессионная модель адекватна. 4. ФАКТОРНЫЙ АНАЛИЗ Рассмотрим некоторый сложный процесс с выходным параметром X . Таким процессом является, например, работа какого-либо предпри- ятия, эффективность которой характеризуется выходным параметром – себестоимостью выпускаемой продукции. На вариацию значений выходного параметра влияет множество различных факторов. Из некоторых априорных соображений (напри- 9 мер, из предыдущего опыта) выделим из множества факторов основ- ную группу, подлежащую изучению. Ограничимся случаем, когда ос- новная группа состоит из двух факторов F , G . Кроме них на выход- ной параметр оказывает влияние множество случайных факторов. По- этому общая дисперсия значений выходного параметра является сум- мой факторных дисперсий и дисперсии случайности, т.е. 2 0 2 2 2 1 2 S S S S + + = Задача факторного анализа состоит в представлении общей дис- персии в виде такой суммы, а также в оценке силы влияния каждого фактора. Рассмотрим последовательно факторный анализ с одним и двумя основными факторами. 4.1. Однофакторный анализ Для конкретности допустим, что фактор F варьируется на трех уровнях 3 2 1 , , F F F и на каждом уровне имеется по три параллельных на- блюдения. Тогда соответствующая матрица значений выходного пара- метра имеет вид 11 X 21 X 31 X 12 X 22 X 32 X 13 X 23 X 33 X Здесь первый индекс у элемента матрицы соответствует уровню фактора. Введем следующие обозначения: 3 2 1 , , U U U – сумма элементов в столбцах матрицы; Q – сумма квадратов всех элементов матрицы; ( ) 3 2 3 2 2 2 1 1 U U U Q + + = ; P – квадрат суммы всех элементов матрицы, деленный на 9; 2 F S – вспомогательная дисперсия. Тогда имеют место следующие формулы: ( ) 6 1 2 0 Q Q S − = ; ( ) 2 1 2 P Q S F − = Если различие между дисперсиями 2 F S и 2 0 S , проверяемое по како- му-либо критерию, оказывается значимым, то исследуемый фактор 10 значимо влияет на выходной параметр. При этом факторная дисперсия, определяющая силу этого влияния, равна ( ) 3 2 0 2 2 1 S S S F − = 4.2. Двухфакторный анализ Рассмотрим влияние на выходной параметр двух факторов F и G , варьируемых на трех уровнях. При этом матрица наблюдений имеет тот же вид, что и раньше. Однако теперь второму индексу элемента матрицы соответствует номер уровня фактора G . Так, например, на- блюдение 23 X получено при условии, что фактор F имел второй уро- вень, а фактор G – третий уровень. В дополнение к предыдущим величинам рассмотрим величины 3 2 1 , , V V V , равные суммам элементов строк матрицы, и величину ( ) 3 2 3 2 2 2 1 2 V V V Q + + = Пусть 2 G S – вспомогательная дисперсия. Тогда имеют место сле- дующие формулы: ( ) 4 2 1 2 0 Q Q P Q S − − + = , ( ) 2 2 2 P Q S G − = Относительно фактора F вопрос решается как и прежде. Фактор G признается значимым (значимо влияющим на выходной параметр), если дисперсия 2 G S значимо превышает дисперсию случайности 2 0 S При этом факторная дисперсия равна ( ) 3 2 0 2 2 2 S S S G − = 5. ВРЕМЕННЫЕ РЯДЫ Рассмотрим переменную величину ) (t X , зависящую от времени t Последовательность значений этой переменной n X X X ,..., , 2 1 через рав- ные промежутки времени называется временным рядом. Временной ряд можно рассматривать состоящим из двух компо- нент – из временного тренда и случайной компоненты. Одной из целей 11 анализа временного ряда является разложение его на составляющие компоненты для отдельного их изучения. Временной тренд объясняется наличием постоянных факторов, действующих в одном и том же направлении. Краткосрочные колеба- ния относительно этого долгосрочного движения происходят из-за со- вокупности случайных возмущений, обусловливающих появление слу- чайного остатка ряда. 5.1. Критерии случайности Простейшей гипотезой, которую можно выдвинуть относительно колеблющегося ряда, является предположение, что эти колебания слу- чайны. В случайных рядах наблюдения независимы и могут следовать в любом порядке. Простой критерий случайности временного ряда со- стоит в подсчете числа поворотных точек, т.е. пиков и впадин. Пик – это член ряда, который больше двух соседних, а впадина – член ряда, который меньше двух соседних. Если временной ряд случайный, то число его поворотных точек есть нормально распределенная случайная величина со средним значе- нием 3 ) 2 ( 2 − n и дисперсией 90 ) 29 16 ( − n , где n – число элементов ряда. Поэтому временной ряд можно считать случайным, если откло- нение фактически наблюдаемого числа поворотных точек от генерального среднего не превышает двух стандартов. Другой критерий случайности ряда основан на подсчете числа то- чек роста, т.е. таких членов ряда, для которых предыдущий член мень- ше данного, а последующий больше данного. У случайного ряда число точек роста является нормально распределенной случайной величиной со средним значением 2 ) 1 ( − n и дисперсией 12 ) 1 ( + n . Поэтому дан- ный ряд случайный, если наблюдаемое число точек роста отклоняется от генерального среднего не более чем на два стандарта. 5.2. Выделение временного тренда Обнаружить наличие или отсутствие временного тренда можно следующим образом. Для данного ряда n X X ,..., 1 подсчитаем число всех случаев, в которых i k X X > при i k > . Для случайного ряда среднее число таких случаев равно 4 ) 1 ( − n n . Если фактическое число рассмат- 12 риваемых случаев значимо превышает это среднее, то имеется возрас- тающий тренд, а если оно значимо меньше среднего, то имеется убывающий тренд. При наличии тренда естественно возникает вопрос об аппрокси- мации функции ) (t X полиномом некоторой степени. В подавляющем большинстве случаев оказываются достаточными полиномы первой и второй степени. Для исследования временного ряда в этом плане рас- смотрим разностные ряды 1 1 2 3 2 1 2 1 ,..., , − − − = − = − = n n n X X Z X X Z X X Z ; 2 1 2 2 3 2 1 2 1 ,..., , − − − − = − = − = n n n Z Z V Z Z V Z Z V Обозначим дисперсию исходного временного ряда через 2 S , а дисперсию разностных рядов – соответственно через 2 1 S и 2 2 S . Сравни- ваем дисперсии 2 S и 2 2 1 S по какому-либо критерию (Пиллаи или Фи- шера). Если окажется, что они отличаются незначимо, то временной тренд отсутствует, т.е. данный ряд является случайным. Если же дис- персии отличаются значимо, то выполняем следующий этап исследо- вания, а именно сравниваем дисперсии 2 2 1 S и 6 2 2 S . При незначимом их отличии друг от друга делаем заключение: временной тренд являет- ся линейным. В этом случае функцию ) (t X легко найти методом наи- меньших квадратов. Если же эти дисперсии отличаются значимо, то описание временного тренда дает полином второй степени. 6. СТАТИСТИЧЕСКИЕ ИСПЫТАНИЯ Как уже отмечалось, индуктивная статистика предполагает нали- чие репрезентативной выборки. Такую выборку можно получить либо путем проведения физических опытов и непосредственных наблюде- ний, либо методом статистических испытаний (методом Монте-Карло). Рассмотрим применение метода на примере изучения случайных гра- фов. Пусть имеется граф ) , ( m n A с n вершинами и m ребрами. Две вершины графа называются смежными, если они соединены ребром. Допустим, что вероятность смежности любых двух вершин равна P Тогда число ребер m становится случайной величиной, имеющей би- номинальное распределение. 13 Число вершин графа называется его порядком. Рассмотрим, на- пример, граф десятого порядка, у которого вероятность смежности вершин равна 0,2; 0,3; …; 0,8. Компьютерное моделирование случай- ности осуществим путем выбора значений вероятности из равномерно- го распределения на отрезке от 0 до 1. У данного графа число всех пар вершин составляет 45 2 ) 1 ( = − n n Для каждой пары вершин генерируем вероятность. Если она окажется меньше заданной, то вершины являются смежными, т.е. соединенные ребром. Для каждой заданной вероятности испытание повторим 100 раз. В серии параллельных испытаний будем фиксировать: наимень- шее и наибольшее число ребер 1 M , 1 M ; количество связных графов C ; наибольшее число связных компонент N . Соответствующие результа- ты испытаний приведены в табл. 12. Таблица 12 P 1 M 1 M C N 0,2 4 16 21 6 0,3 8 20 68 3 0,4 10 26 93 2 0,5 14 28 98 2 0,6 19 34 99 2 0,7 24 38 100 1 0,8 27 42 100 1 Как видно из таблицы, начиная с вероятности 0,7 все графы в се- рии параллельных испытаний становятся связными. О симметричности выборочных распределений говорит тот факт, что все средние значения случайной величины m практически совпадают с центрами соответст- вующих интервалов. 7. ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА Рассмотрим метод построения многофакторной регрессионной модели путем такого планирования эксперимента, когда все факторы варьируются на двух уровнях – верхнем (+1) и нижнем (-1). Конкрети- зируем это рассмотрение на примере двух факторов 1 X и 2 X , влияю- щих на выходной параметр Z 14 При планировании эксперимента натуральные значения факторов переводятся в кодирование по формулам: ( ) ( ) 1 1 1 1 1 2 A B B A X − − − , ( ) 1 1 1 , B A X ∈ , ( ) ( ) 2 2 2 2 2 2 A B B A X − − − , ( ) 2 2 2 , B A X ∈ , где интервалы ( ) 1 1 , B A и ( ) 2 2 , B A охватывают весь рабочий диапазон из- менения значений факторов. На концах интервалов, как нетрудно видеть, факторы принимают кодированные значения (+1) и (-1), которые для простоты обычно обо- значают знаками (+) и (-). Поэтому план двухфакторного эксперимента можно представить матрицей № 1 X 2 X 1 X 2 X Z 1) + + + 1 Z 2) - + - 2 Z 3) + - - 3 Z 4) - - + 4 Z Эта матрица содержит четыре опыта, проведенные при всех ком- бинациях уровней факторов. Так, например, опыт №3 проведен при ус- ловии, что первый фактор находится на верхнем уровне, а второй – на нижнем уровне. В матрице имеется также столбец, соответствующий произведе- нию факторов, и столбец значений выходного параметра. Такой экспе- римент, называемый полным факторным экспериментом, позволяет построить регрессионную модель вида 2 1 12 2 2 1 1 0 X X H X H X H H Z + + + = , где коэффициенты 1 H , 2 H называются линейными эффектами факто- ров, а коэффициент 12 H – эффектом парного взаимодействия факторов. Коэффициенты модели (функции отклика) вычисляются по формулам ( ) 4 4 3 2 1 0 Z Z Z Z H + + + = , ( ) 4 4 3 2 1 1 Z Z Z Z H − + − = , ( ) 4 4 3 2 1 2 Z Z Z Z H − − + = , ( ) 4 4 3 2 1 3 Z Z Z Z H + − − = Построенная таким образом функция отклика всегда имеет нуле- вую остаточную дисперсию, т.е. всегда является адекватной. 15 Составитель Альберт Васильевич Бирюков ИНДУКТИВНАЯ СТАТИСТИКА Методические указания к изучению соответствующего раздела программы курса математики для студентов всех направлений Редактор З.М. Савина Формат 60 ×84/16. Подписано в печать 18.04.03. Отпечатано на ризографе. Бумага офсетная. Тираж 50 экз. Уч.-изд. л. 1,5. Заказ ГУ КузГТУ, 650026, Кемерово, ул. Весенняя, 28. Типография ГУ КузГТУ, 650099, Кемерово, ул. Д. Бедного, 4А. |