фостер1. Вопросы применения некоторых критериев проверки случайности и отсутствия тренда
 Скачать 0.78 Mb.
|
|
1 Метрология. 2010. № 12. – С. 3-25. УДК 519.24 Вопросы применения некоторых критериев проверки случайности и отсутствия тренда Лемешко Б.Ю., Комиссарова А.С., Щеглов А.Е. Новосибирский государственный технический университет, Новосибирск, Россия, e-mail: Lemeshko@fpm.ami.nstu.ru Исследованы распределения статистик ряда критериев, используемых при проверке гипотез об отсутствии тренда в математических ожиданиях и в дисперсиях наблюдаемых величин. Отмечены недостатки некоторых критериев. Проведен сравнительный анализ мощности критериев. Ключевые слова: критерий наличия тренда, критерий автокорреляции, критерии Фостера-Стюарта, критерии Кокса-Стюарта, критерий Вальда- Вольфовитца, критерий Бартелса, критерий Хсу, ранговые критерии обнаружения сдвига, мощность критерия. 1. Введение Для анализа выборок случайных величин (временных рядов) на предмет отсутствия тренда в характеристиках измеряемой величины в приложениях используется целый ряд параметрических и непарамет- рических критериев проверки гипотез. Совокупность этих критериев реализована в программных системах статистического анализа, опи- сана в работах авторов, предложивших соответствующий критерий, в различных учебных пособиях, иногда изложение совокупности кри- териев сконцентрировано в одном источнике [1]. Однако касается ли это конкретного расчета или использования соответствующего про- граммного обеспечения, общим остается одно: ответственность за корректное применение конкретного критерия возлагается на пользо- вателя. И вот здесь, столкнувшись с необходимость проведения стати- стического анализа и оказавшись перед выбором того или иного кри- терия, специалист оказывается в тупике, а какой критерий предпочти- тельней? Предпосылкой, обуславливающей применение параметрических 2 критериев, как правило, является предположение о принадлежности анализируемых данных нормальному закону. А что произойдет с рас- пределением статистики этого критерия в случае нарушения предпо- ложения о нормальности? Насколько будут оставаться корректными выводы, осуществляемые на основании классических результатов? При ограниченных объемах выборок распределения статистик параметрических и непараметрических критериев могут существенно отличаться от асимптотических распределений этих статистик, ис- пользуемых в процедуре проверки гипотезы. В случае применения непараметрических критериев эта проблема может усугубляться. На- пример, вследствие ярко выраженной дискретности значений стати- стики критерия использование асимптотического распределения вме- сто истинного распределения этой статистики оказывается не право- мерным даже при больших объемах выборок. Использование непараметрических критериев не требует вы- полнения предположения о принадлежности выборок анализируемых величин некоторому параметрическому закону (например, нормаль- ному). Однако сведения о мощности непараметрических критериев, сведения о том, насколько они уступают параметрическим критериям, представляются достаточно туманными. Исследователя может интересовать наличие или отсутствие тренда в математическом ожидании (в среднем) и в дисперсиях. При проверке отсутствия тренда (случайности) в математи- ческом ожидании задача формулируется следующим образом. Пред- полагается, что наблюдается временной ряд 1 , ..., n x x значений вза- имно независимых случайных величин с математическими ожида- ниями 1 ,..., n и одинаковыми (но неизвестными) дисперсиями. Проверяется гипотеза 0 : i H , 1, 2,..., i n , о том, что все выборочные значения принадлежат к одной генеральной совокупно- 3 сти со средним , против конкурирующей гипотезы о наличии тренда 1 1 : 0 i i H , 1, 2,..., 1 i n Для проверки такого рода гипотез предназначен критерий Аббе. В [2, 3] была отмечена устойчивость распределения статистики критерия Аббе к отклонениям от нормального закона. В [4, 5] распределения статистики критерия Аббе были исследованы при справедливости 0 H и принадлежности ошибок измерений различным симметричным законам, была подтверждена устойчивость распреде- ления статистики Аббе к нарушению предположения о нормальности 1 ,..., n x x и исследована мощность критерия по отношению к различ- ным конкурирующим гипотезам. Критерий Аббе далеко не единственный критерий, ориентиро- ванный на проверку случайности и отсутствие тренда. Этим же целям служит критерий автокорреляции и целый ряд непараметрических критериев. Проверяемая гипотеза об отсутствии тренда в дисперсии формулируется аналогичным образом (проверяется 0 : i H , 1, 2,..., i n , против 1 1 : 0 i i H , 1, 2,..., 1 i n ). При проверке отсутствия сдвига в дисперсии (в характеристи- ках рассеяния) предполагается, что наблюдаемая последовательность измерений 1 , ..., n x x имеет одно и то же среднее . Проверяется гипо- теза 0 H : 2 2 2 1 0 n ( 2 0 неизвестно) против конкурирующей гипотезы 1 : H 2 2 2 2 1 2 0 ; k 2 2 2 2 1 2 0 k k n ( 0 ), утверждающей, что значение дисперсии меняется в некоторой неизвестной точке, то есть k неизвестно ( 1 1 k n ). В настоящей работе продолжены исследования совокупности 4 критериев, ориентированных на проверку гипотез отсутствия тренда в средних и дисперсиях [6]. Исследования опирались на развиваемые компьютерные технологии исследования статистических закономер- ностей, в основе которых лежит методика статистического модели- рования и развиваемое программное обеспечение [7]. Объем выборок моделируемых распределений статистик, на которых строились выводы по работе, как правило, составлял величину от 4 10 до 6 10 в зависимости от требуемой точности. 2. Критерий автокорреляции Если выборка значений случайна, то значение каждого ее элемента не должно зависеть от величины предшествующего и последующего членов. Для проверки этой независимости используется статистика [8] 2 1 1 1 1 1 1, 2 2 1 1 n n i i i n i i n n n i i i i n x x x nx x r n x x , (1) являющаяся коэффициентом корреляции первого порядка между элементами первичной выборки ( 1 ,..., n x x ) и элементами выборки, полученной из нее сдвигом на одну единицу ( 2 3 1 , ,..., , n x x x x ). Величина 1,n r распределена асимптотически нормально с математическим ожиданием и дисперсией 1, 1 [ ] 1 n E r n , 1, 2 ( 3) [ ] ( 1)( 1) n n n D r n n Поэтому в критерии используют нормализованную статистику 5 1, 1, * 1, 1, [ ] [ ] n n n n r E r r D r , (2) которая подчиняется стандартному нормальному закону (0,1) N Асимптотическими результатами можно пользоваться и при достаточно малых объемах выборок. Исследование распределений статистики (2) методами статистического моделирования показало, что при 10 n распределение статистики достаточно хорошо согласу- ется со стандартным нормальным законом. В качестве примера в таб- лице 1 приведены результаты проверки согласия полученных в ре- зультате моделирования эмпирических распределений статистики (2) со стандартным нормальным законом для объемов выборок 10,15, 20, 25 n Таблица 1. Проверка согласия эмпирического распределения статистики (2) со стандартным нормальным законом n Критерий согласия * S * { } P S S 10 2 Пирсона 98.325 9.3853e-18 Колмогорова 2.3636 2.8081e-05 2 Крамера-Мизеса-Смирнова 1.2307 0.0007 2 Андерсона-Дарлинга 8.2358 8.8646e-05 15 2 Пирсона 60.920 3.0736e-10 Колмогорова 1.6246 0.0102 2 Крамера-Мизеса-Смирнова 0.7182 0.0115 2 Андерсона-Дарлинга 4.8892 0.0032 20 2 Пирсона 20.862 0.0075 Колмогорова 1.1880 0.1189 2 Крамера-Мизеса-Смирнова 0.3196 0.1192 2 Андерсона-Дарлинга 2.0998 0.0810 25 2 Пирсона 24.353 0.0020 Колмогорова 1.1502 0.1418 2 Крамера-Мизеса-Смирнова 0.2994 0.1357 2 Андерсона-Дарлинга 1.7711 0.1232 Проверка осуществлялась для выборок статистик объемом 4 10 N по критериям 2 Пирсона, Колмогорова, 2 Крамера- 6 Мизеса-Смирнова, 2 Андерсона-Дарлинга. В случае критерия 2 Пирсона использовалось асимптотически оптимальное группирование с разбиением на 9 интервалов [9, 10]. По достигнутым уровням значимости, представляющим собой вероятность * { } P S S , где S – статистика соответствующего критерия согласия, а * S – значение статистики критерия, вычисленное по анализируемой выборке, можно судить о сходимости распределений статистики (2) к стандартному нормальному закону. Критерий автокорреляции относится к параметрическим крите- риям, в этой связи были проведены исследования распределений ста- тистики критерия для случая принадлежности случайной величины различным законам, в том числе семейству с плотностью 2 0 2 1 2 1 exp 2 1 / x f x (3) с параметрами формы 2 0,2; 0,5; 1; 1,5; 2; 4; 8. В этом случае вид закона менялся от близкого к распределению Коши, до близкого к равномерному закону. При 2 2 выражение (3) дает плотность нор- мального закона распределения. Полученные в результате моделиро- вания распределения статистики критерия автокорреляции в случае принадлежности случайной величины законам распределения семей- ства (3) при различных параметрах формы представлены на рис. 1. Как следует из представленной на рисунке картины, в случае принадлежности выборок 1 , ..., n x x достаточно широкому кругу зако- нов распределение статистики критерия автокорреляции существенно не отличается от распределения, имеющего место в случае принад- лежности 1 , ..., n x x нормальному закону. Если закон, которому принадлежат случайные величины, симметричен и с не слишком тя- 7 желыми хвостами, то распределение статистики не отличается зна- чимо от “классического”. При сильной асимметричности закона распределения случайных величин (например, в случае показательного закона) распределение статистики становится отличным от “классического”. В то же время, асимметричность закона влияет на распределение статистики менее значимо, чем “тяжесть” хвостов. В случае принадлежности выборок 1 ,..., n x x асимметричным законам экстремальных значений (мини- мального или максимального) распределения статистики практически не отличаются от “классического”. Рис. 1. Функции распределения статистики критерия автокорреляции в зависимости от параметра формы семейства (3) при 25 n Отметим, что влияние закона распределения случайных величин на распределение статистики критерия автокорреляции такое же, как для критериев, связанных с проверкой гипотез о парной корреляции [11]. 8 3. Критерий Фостера-Стюарта Этот непараметрический критерий используется для проверки отсутствия тренда как в средних, так и в дисперсиях (в харак- теристиках рассеяния). Соответствующие статистики критерия имеют вид [12]: 2 n i i S S , (4) 2 n i i d d , (5) где i i i d u l , i i i S u l ; 1 i u , если 1 2 1 , , ..., i i i x x x x , иначе 0 i u ; 1 i l , если 1 2 1 , , ..., i i i x x x x , иначе 0 i l Критерий со статистикой S используется для проверки наличия тренда в дисперсиях, а со статистикой d – для обнаружения тренда в средних. Очевидно, что 0 1 S n и ( 1) 1 n d n При отсутствии тренда величины t и t : ˆ d d t , (6) ˆ S S t , (7) где 2 1 2 n i i , ˆ 2ln 0,8456 d n , 2 2 1 ˆ 4 2ln 3, 4253 n S i n i , приближенно описываются распределением Стьюдента с n степенями свободы. Проверяемая гипотеза об отсутствии соответствующего тренда отклоняется при больших по модулю значениях статистик (6), (7). 9 На самом деле областью определения статистик t и t является область дискретных значений. Исследование распределений статистик показало, что даже при достаточно больших объемах выборок ( 100, 200 n ) дискретные распределения статистик критерия существенно отличаются от распределения Стьюдента с n степенями свободы. На рис. 2 показаны функции распределения статистики t , а на рис. 3 – распределения статистики t , которые отличается еще большей дискретностью. Рис. 2. Функции распределения статистики критерия Фостера-Стюарта для обнаружения тренда в средних при различных объемах выборок Следовательно, использование распределений Стьюдента вместо истинных дискретных распределений статистик для определения достигнутого уровня значимости может приводить к ошибкам. 10 Рис. 3. Функции распределения статистики критерия Фостера-Стюарта для обнаружения тренда в дисперсиях при различных объемах выборок 4. Критерий Кокса-Стюарта Как и предыдущий, данный непараметрический критерий используется для проверки последовательности измерений на предмет наличия тренда в среднем и в дисперсии. В критерии проверки отсутствия тренда в средних значениях в выборке объема n используется статистика [13] 2 1 , 1 1 ( 2 1) n i n i i S n i h , (8) где , 1 i j h , если i j x x , и , 0 i j h , если i j x x ( i j ). Нормализованная статистика * 1 1 1 1 [ ] [ ] S E S S D S , (9) где 2 1 [ ] 8 n E S , 2 1 ( 1) [ ] 24 n n D S , при справедливости проверяемой гипотезы об отсутствии тренда 11 приближенно подчиняется стандартному нормальному закону. Распределение статистики * 1 S является дискретным и при малых n следует учитывать его отличие от стандартного нормального (см. рис. 4 при 10 n ). При объемах выборок порядка 100 n отличием распределения статистики от стандартного нормального закона при проведении анализа практически можно пренебречь и использовать для вычисления достигнутого уровня значимости функцию распределения стандартного нормального закона. Если реальные объемы выборок меньше, используя критерий и вычисляя достигнутый уровень значимости для полученного значения статистики * 1 S в соответствии со стандартным нормальным законом, надо иметь в виду введение возможной поправки на дискретность. Рис. 4. Сходимость к стандартному нормальному закону функции распределения статистики (9) критерия Кокса-Стюарта для обнаружения тренда в средних Критерий для проверки гипотезы отсутствия тренда в дисперсии (в характеристиках рассеяния) строится следующим образом. Выборка 1 ,..., n x x разбивается на [ / ] n k подвыборок объемом k элементов 1 ,..., k x x ; 1 2 ,..., k k x x ; 2 1 3 ,..., k k x x ; ...; 1 ,..., n k n x x (если n не 12 делится на k , отбрасывается необходимое число измерений в центре). Для каждой i -й подвыборки находится размах i w (1 ) i r ( r n k ). Далее последовательность размахов i w проверяется на наличие тренда критерием со статистикой 1 S Величину k в [13] рекомендуется выбирать из следующих соотношений: 90 5 n k ; 64 90 4 n k ; 48 64 3 n k ; 48 2 n k Дискретность распределения статистики * 1 S при обнаружении тренда в дисперсии заметно выше (см. рис. 5), это естественно, так как анализируемая выборка размахов содержит лишь [ / ] n k элементов. Рис. 5. Сходимость к стандартному нормальному закону функции распределения статистики критерия Кокса-Стюарта для обнаружения тренда в дисперсиях 5. Критерий Вальда-Вольфовитца Статистика критерия Вальда-Вольфовитца, предложенная в [14], основана на коэффициенте сериальной корреляции и имеет вид: 13 1 1 1 1 1 n i i n i R x x x x (10) Величина 1 R распределена асимптотически нормально с математическим ожиданием и дисперсией 2 1 1 2 [ ] ( ) / ( 1) E R S S n , 4 2 2 2 2 2 1 1 2 1 3 2 4 2 4 1 2 1 2 4 4 2 ( ) [ ] 1 ( 1)( 2) ( 1) S S S S S S S S S S S D R n n n n , где 1 r r r n S x x Нормализованная статистика * 1 1 1 1 [ ] [ ] R E R R D R (11) подчиняется стандартному нормальному закону (0,1) N Исследование распределений статистики (11) в зависимости от объема выборки и для случая нарушения предположения о нормальности анализируемых выборок показало результаты, аналогичные для статистики (1): быструю сходимость распределения статистики (11) к стандартному нормальному закону и устойчивость этого распределения по отношению к отклонениям анализируемых данных от нормального закона. В работе [14] была отмечена возможность построения непараметрического аналога сериального коэффициента корреляции. Такой аналог был предложен в работе [15]. Пусть i R – ранг измерения i x в упорядоченном по возрастанию ряду значений 1 2 , ,..., n x x x Ранговый критерий сериальной корреляции Вальда-Вольфовитца имеет вид [15]: 1 1 1 1 1 2 2 n i i i n n R R R (12) Распределение этой статистики асимптотически нормально со 14 средним и дисперсией [ ] 0 E R , 2 ( 1)( 3)(5 6) [ ] 720 n n n n D R Гипотеза случайности (об отсутствии тренда) отклоняется при больших по модулю значениях статистики * [ ] R R D R (13) Результаты моделирования показали, что распределение статистики (13) критерия смещено по отношению к предельному и очень медленно сходится к стандартному нормальному закону (см. рис. 6). Дискретностью же распределения статистики практически можно пренебречь. Рис. 6. Сходимость к стандартному нормальному закону распределения статистики (13) критерия Вальда-Вольфовитца 6. Критерий Бартелса Пусть в последовательности n измерений i R – ранг i -го наблюдения i x . Бартелсом [16] был предложен ранговый критерий 15 случайности ряда, основанный на статистике 1 2 1 1 2 1 ( ) ( ) n i i i n i i R R B R R (14) Гипотеза о случайности (об отсутствии тренда) отклоняется при больших по модулю значениях статистики * [ ] 2 [ ] 2 5 (5 7) B E B B B D B n , (15) которая при отсутствии тренда приближенно подчиняется стандартному нормальному закону. Исследования показали, что распределение статистики достаточно быстро сходится к стандартному нормальному (см. рис. 7). Рис. 7. Сходимость к стандартному нормальному закону распределения статистики критерия Бартелса 7. Критерий Хсу Критерий обнаружения сдвига дисперсий основан на статистике [17] 2 1 2 1 ( 1)( ) ( 1) ( ) n i x i n i x i i x m H n x m , 0 1 H (16) 16 Обычно критерий используется в стандартизированной форме * 0,5 [ ] H H D H , (17) где 1 [ ] 6( 1)( 2) n D H n n . Статистика (17) при справедливости гипотезы об отсутствии сдвига дисперсии подчиняется стандартному нормальному закону. Результаты моделирования показали, что при 30 n распределение статистики достаточно хорошо согласуется со стан- дартным нормальным законом (см. рис. 8). Рис. 8. Сходимость распределения статистики (17) критерия Хсу к стандартному нормальному закону Критерий Хсу относится к параметрическим критериям. По- этому, как и в случае любого параметрического критерия, связанного с проверкой гипотез о дисперсиях, распределения его статистики за- висят от закона, которому принадлежат анализируемые случайные ве- личины. Полученные в результате моделирования распределения ста- 17 тистики критерия (17) в случае принадлежности случайных величин (ошибок измерений) законам распределения семейства (3) при раз- личных параметрах формы представлены на рис. 9. Рис. 9. Распределения статистики (17) в случае принадлежности случайных величин законам семейства (3) при различных значениях параметра формы 30 n Как можно видеть, распределения статистики (17) сильно зависит от закона распределения, которому принадлежат случайные величины. При этом наибольшее отклонение от стандартного нормального закона оказывается в случае принадлежности случайных величин законам с тяжелыми хвостами. Существенно влияет на распределение статистики и асимметричность закона. В [17] описан критерий, позволяющий определить точку изменения дисперсии в случае принадлежности ошибок измерений нормальному закону. Его статистика строится следующим образом. Пусть для 1, 2,..., 1 k n 2 1 ( ) k k i x i w x m , 18 n k k k w w k W w n k где k соответствует искомой точке изменения дисперсии. Далее из уравнения ( , ) k k F n k k W , где 1 2 ( , ) F f f – - квантиль F - распределения Фишера с 1 f и 2 f степенями свободы, находятся оценки k , которые должны подчиняться равномерному закону. Статистика G-критерия имеет вид 1 1 1 1 n k k G n , 0 1 G (18) Гипотеза об отсутствии изменения дисперсии отклоняется с уровнем значимости , если 1 G G . В этом случае значение k , которому соответствует максимальная величина 1 2 k , дает оценку искомой точке изменения значения дисперсии в наблюдаемом ряду. Критические значения 1 G можно найти в [1]. Как и критерий со статистиками (16)–(17) данный критерий применим только при извлечении выборок из нормальной гене- ральной совокупности. 8. Ранговый критерий обнаружения сдвига дисперсии Ранговый критерий обнаружения сдвига дисперсии (харак- теристики рассеяния) в неизвестной точке основан на использовании семейства ранговых статистик вида [18] 1 ( ) n R n i i S ia R , (19) где i R - ранги выборочных значений в упорядоченном ряду измерений. Метки критерия n a могут быть различными, например: 19 – метки Клотца 2 1 ( 1) ( ) n i n a i U , где U – -квантиль стандартного нормального закона; – метки Сэвиджа 2 1 1 ( ) 1 i n j a i n j Соответствующие (19) статистики обозначим , 1 ( ) n R j jn i i S ia R , 1, 2 j . При отсутствии сдвига дисперсии в ряду измерений , R j S - статистики свободны от распределения и симметричны относительно , 1 1 [ ] ( ) 2 n R j jn i n E S a i При 15 n и справедливости гипотезы об отсутствии сдвига в характеристике рассеяния случайной величины статистики , , * , , [ ] [ ] R j R j R j R j S E S S D S , (20) где 2 ,1 ( 1) 1 1 [ ] 2 n R i n i n E S U , ,2 ( 1) [ ] ; 2 R n n E S 2 4 ,1 ( 1) ,1 1 ( 1) 1 [ ] [ ] 12 3 3 n R i n R i n n D S U E S n ; ,2 1 ( 1) 1 [ ] 12 n R j n n D S n j , приближенно подчиняются стандартному нормальному закону (см. рис. 10 и 11). 20 Рис. 10. Сходимость к стандартному нормальному закону распределения статистики * ,1 R S рангового критерия (с метками Клотца) обнаружения сдвига дисперсии в неизвестной точке Рис. 11. Сходимость к стандартному нормальному закону распределения статистики * ,2 R S рангового критерия (с метками Сэвиджа) обнаружения сдвига дисперсии в неизвестной точке 9. Сравнительный анализ мощности критериев Анализ мощности критериев проводился для ситуации принадлежности наблюдаемых случайных величин нормальному 21 закону. Проверяемой гипотезе 0 H соответствует выполнение предположения о независимости наблюдаемых случайных величин (отсутствие тренда). В качестве конкурирующих гипотез рассматривались различные ситуации при наличии тренда в средних или в дисперсии. При исследовании мощности критериев об отсутствии тренда в средних рассматривались модели задания линейного, периодического и смешанного тренда. В случае наличия линейного тренда случайные величины моделировались в соответствии с i i x a t , (21) где i представляют собой независимые случайные величины, распределѐнные в соответствии с заданным законом (например, по стандартному нормальному закону), [0,1] t Справедливой проверяемой гипотезе 0 H соответствует значение параметра 0 a Величины i x (21) вычислялись в соответствии с выражением ( 1) i i x a i t , где шаг t определялся как 1/ t n в зависимости от объема выборки n . Псевдослучайные величины i генерировались в соответствии со стандартным нормальным законом (возможно и по любому другому). Исследовалась мощность критерия относительно конкурирующих гипотез с линейным трендом, задаваемым параметром 0.5 a и 4 a . Соответствующие конкурирующие гипотезы обозначены в дальнейшем как 1 H , 2 H Примеры временных рядов при тренде с параметром 0.5 a и 4 a при объеме выборки 100 n приведены на рис.12а и 12б. 22 Рис. 12а. Линейный тренд при 0.5 a Рис. 12б. Линейный тренд при 4 a В случае периодического тренда случайные величины моделировались в соответствии с соотношением sin(2 ) i i x a t , (22) а в случае смешанного – в соответствии с sin(2 ) i i x a t a t (23) Рис.13. Мощность критериев тренда и случайности относительно конкурирующих гипотез с линейным трендом На рис. 13 для уровня значимости 0.05 приведены значения мощности 1 рассматриваемых в данной работе критериев тренда и 23 случайности относительно конкурирующих гипотез 1 H (при 0.5 a ) и 2 H (при 4 a ) с линейным трендом (21) в зависимости от объема выборки n . Анализ мощности критериев показал, что критерий Фостера-Стюарта ( t ) значительно уступает критериям Кокса-Стюарта ( * 1 S ), критерию автокорреляции ( * 1,n r ), Вальда-Вольфовитца ( * R ) и Бартелса ( * B ). Рассматриваемые критерии проверки гипотез об отсутствии тренда в средних, включая критерий Аббе, можно упорядочить по мощности (относительно линейного тренда) следующим образом: Аббе ( A S ) Кокса-Стюарта ( * 1 S ) Бартелса ( * B ) ранговой сериальной корреляции Вальда-Вольфовитца ( * R ) автокорреляции ( * 1,n r ), сериальной корреляции Вальда-Вольфовитца ( * 1 R ) Фостера- Стюарта ( t ). Если рассматривать в качестве конкурирующих гипотез наличие произвольного тренда, то целесообразно рекомендовать использование критериев Аббе, Бартелса, Вальда-Вольфовитца (ранговый и неранговый вариант) и автокорреляции. Критерий Фостера-Стюарта показал наименьшую мощность. В определенной степени данный результат объясняется сильной дискретностью распределения статистики критерия Фостера-Стюарта. Вследствие дискретности действительный уровень значимости существенно отличается от задаваемого 0.05 и получаемые оценки мощности оказываются заниженными. При исследовании мощности критериев обнаружения тренда в характеристиках рассеяния в качестве конкурирующих гипотез рассматривалась ситуация с линейным трендом в дисперсии. Исследовалась мощность критериев Фостера-Стюарта ( t ), Кокса- Стюарта ( * 1 S ), автокорреляции ( * 1,n r ), ранговой сериальной корреляции 24 Вальда-Волфовитца ( * R ), сериальной корреляции Вальда- Вольфовитца ( * 1 R ) и Бартелса ( * B ). Оказалось, что критерии Фостера-Стюарта и Кокса-Стюарта, специально построенные для выявления тренда в дисперсии, весьма значительно превосходят по мощности остальные критерии. Для обнаружения тренда в дисперсии можно рекомендовать к применению критерии Фостера-Стюарта и Кокса-Стюарта, расположив их по предпочтению:Фостера-Стюарта ( t ) Кокса-Стюарта ( * 2 S ) . При исследовании мощности критериев сдвига дисперсии в неизвестной точке в качестве конкурирующих гипотез рассматривалось наличие скачкообразного сдвига в величине дисперсии. Исследовалась мощность ранговых критериев обнаружения сдвига дисперсии в неизвестной точке с метками Клотца ( * ,1 R S ), с метками Сэвиджа ( * ,2 R S ), критерия Хсу ( * H ) и G-критерия. В случае принадлежности случайных величин нормальному закону критерии сдвига дисперсии в неизвестной точке можно упорядочить следующим образом: критерий Хсу ( * H ) критерий сдвига дисперсии с метками Клотца ( * ,1 R S ) G-критерий ( G ) Критерий сдвига дисперсии с метками Сэвиджа ( * ,2 R S ). 10. Заключение Таким образом, на основании проведенных исследований, можно констатировать, что применение параметрических критериев обнаружения тренда в средних (критерий автокорреляции, Аббе) будет корректным и в тех случаях, когда мы имеем дело с законом, существенно отличающимся от нормального (но симметричным и без “тяжелых” хвостов). Это общая тенденция устойчивости распределений параметрических критериев так или иначе связанных с 25 проверкой гипотез о математических ожиданиях [19, 20, 21] или проверкой гипотез о равенстве нулю коэффициентов парной, частной и множественной корреляции [11]. Однако параметрические критерии обнаружения тренда в средних лишь не многим превосходят по мощности непараметрические. Параметрические критерии обнаружения сдвига в дисперсии (критерий Хсу) мощнее непараметрических, но очень чувствительны к нарушению предположений о нормальности случайных величин (как и любые критерии, связанные с проверкой гипотез о дисперсиях [19, 22, 23, 24, 25, 26, 27]). Использование критериев Фостера-Стюарта затруднено дискретностью распределений статистик и плохой сходимостью к соответствующим t-распределениям Стьюдента. Распределение статистики рангового критерия сериальной корреляции Вальда-Вольфовитца смещено относительно стандартного нормального закона, к которому очень медленно сходится. При использовании нерангового критерия такой проблемы не возникает. Полученные оценки мощности критериев позволяют судить о способности критериев обнаруживать наличие линейного и нелинейного тренда в среднем или в характеристиках рассеяния. Работа выполнена при поддержке РФФИ (проект № 09-01- 00056а) и Федеральной целевой программы Минобрнауки РФ “Научные и научно-педагогические кадры инновационной России”. Список литературы 1. Кобзарь А.И. Прикладная математическая статистика. Для инженеров и научных работников. – М.: ФИЗМАТЛИТ, 2006. – 816 с. 2. Струнов В.И.. О применении критерия Аббе для анализа независимости рядов измерений, характеризующихся отличными от 26 нормального законами распределения // Измерительная техника. 2006. № 8. – С. 13-17. 3. Strunov V.I. Applying the Abbé test to the independence of measurement series with distributions deviating from normal // Measurement Technique. Vol. 49, No. 8, 2008. – P.962-969. 4. Лемешко С.Б. Критерий независимости Аббе при нарушении предположений нормальности // Измерительная техника. 2006. № 10. – С.9-14. 5. Lemeshko S.B. The Abbé independence test with deviations from normality // Measurement Technique. Vol. 49, No. 10, 2006. – P.962-969. 6. Беркович А.С., Лемешко Б.Ю., Щеглов А.Е. Исследование распределений статистик критериев тренда и случайности // Материалы X международной конференции “Актуальные проблемы электронного приборостроения” АПЭП-2010. Новосибирск, 2010. – Т.6. – С.13-17. 7. Лемешко Б.Ю., Постовалов С.Н. Компьютерные технологии анализа данных и исследования статистических закономерностей: Учеб. пособие. – Новосибирск: Изд-во НГТУ, 2004. – 120 с. 8. Knoke J.D. Testing for randomness against autocorrelation: The parametric case // Biometrica. 1975. – V.62. – P.571-575. 9. Денисов В.И., Лемешко Б.Ю., Постовалов С.Н. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Методические рекомендации. Часть I. Критерии типа χ 2 . – Новосибирск: Изд-во НГТУ, 1998. – С. 126. 10. Р 50.1.033-2001. Рекомендации по стандартизации. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Часть I. Критерии типа хи-квадрат. – М.: Изд-во стандартов. 2002. – 87 с. 27 11. Лемешко Б.Ю., Помадин С.С. Исследование распределений статистик корреляционного анализа при отклонении многомерного закона от нормального // Тр. V международной конференции "Актуальные проблемы электронного приборостроения" АПЭП-2000. Новосибирск, 2000. - Т. 7. - С. 184-187. 12. Foster F.G., Stuart A. Distribution-free tests in time series dated on the breaking of records // JRSS. 1954. – V. B16, №1. – P.1-22. 13. Cox D.R., Stuart A. Quick sign tests for trend in location and dispersion // Biometrica. 1955. – V.42. – P.80-95. 14. Wald A., Wolfowitz J. An exact test for randomness in the non- parametric case based on serial correlation // AMS. 1943. V. 14. P. 378- 388. 15. Dufour J.-M., Roy R. Some robust exact results on sample autocorrelations and tests of randomness// J. of Econometrics. 1985. V. 29, P. 257-273. 16. Bartels R. The rank version of von Neumann’s ratio test for randomness // JASA. 1982. V. 77, №377. P. 40-46. 17. Hsu D.A. Test for variance shift at an unknown time point // Appl. Statist., 1977. – V.26, № 3. – P.279-284. 18. Hsieh H.K. Nonparametric tests for scale shift at a unknown time point // Commun. Stat. – Theor. Meth., 1984. – V.13. № 11. – P.1335- 1355. 19. Лемешко Б.Ю., Помадин С.С. Проверка гипотез о математических ожиданиях и дисперсиях в задачах метрологии и контроля качества при вероятностных законах, отличающихся от нормального // Метрология. 2004. – № 3.- С.3-15. 20. Лемешко Б.Ю., Лемешко С.Б. Об устойчивости и мощности критериев проверки однородности средних // Измерительная техника. 2008. № 9. – С.23-28. 28 21. Lemeshko B.Yu., Lemeshko S.B. Power and robustness of criteria used to verify the homogeneity of means // Measurement Techniques. 2008. Vol. 51, № 9. - P.950-959. 22. Лемешко Б.Ю., Лемешко С.Б., Горбунова А.А. О применении и мощности критериев проверки однородности дисперсий. Ч. I. Параметрические критерии // Измерительная техника. 2010. № 3. – С.10-16. 23. Lemeshko B.Yu., Lemeshko S.B., and A. A. Gorbunova. Application and power of criteria for testing the homogeneity of variances. Part I. Parametric criteria // Measurement Techniques, Vol. 53, No. 3, 2010. – P.237-246. 24. Лемешко Б.Ю., Лемешко С.Б., Горбунова А.А. О применении и мощности критериев проверки однородности дисперсий. Ч. II. Непраметрические критерии // Измерительная техника. 2010. № 5. – С.11-18. 25. Lemeshko B.Yu., Lemeshko S.B., and A. A. Gorbunova. Application and power of criteria for testing the homogeneity of variances. Part II. Nonparametric criteria // Measurement Techniques, Vol. 53, No. 5, 2010. – P.476-486. 26. Лемешко Б.Ю., Миркин Е.П. Критерии Бартлетта и Кокрена в измерительных задачах при вероятностных законах, отличающихся от нормального // Измерительная техника. 2004. № 10. – С. 10-16. 27. Lemeshko B., Mirkin E. Bartlett and Cochran tests in measurements with probability laws different from normal // Measurement Techniques, 2004, Vol. 47, № 10. – P. 960-968. 29 UDC 519.24 Application of tests for trend detection and checking for randomness Lemeshko B.Yu., Komissarova A.S., Tsheglov A.E. Novosibirsk state technical university, Novosibirsk, Russia, e-mail: Lemeshko@fpm.ami.nstu.ru Abstract. An analysis of asymptotic distributions of various tests for trend detection in mean and variance is conducted. Disadvantages of applying several tests under analysis are registered. The results of a comparative test power analysis are presented. Keywords: test for trend detection, autocorrelation test, Foster-Stuart test, Cox-Stuart test, Wald-Wolfowitz test, Bartels test, Hsu test, rank tests for scale shift, test power |