Главная страница
Навигация по странице:

  • 6.6 Методы исключения анормальных результатов эксперимента

  • Дискретное преобразование Фурье (ДПФ)

  • В. М. Деревяшкин и. Б. Елистратова основы научных исследований


    Скачать 3.1 Mb.
    НазваниеВ. М. Деревяшкин и. Б. Елистратова основы научных исследований
    Дата24.06.2022
    Размер3.1 Mb.
    Формат файлаdoc
    Имя файлаPosobie (7).doc
    ТипРуководство
    #613791
    страница8 из 11
    1   2   3   4   5   6   7   8   9   10   11

    Таблица 6.1-КРИТИЧЕСКИЕ ЗНАЧЕНИЯ ВЕЛИЧИНЫ (Пω2) кр

    Уровень значимости

    (Пω2) кр

    Уровень значимости

    (Пω2) кр

    0.5

    0.4

    0.3

    0.2

    0.1

    0.1184

    0.1467

    0.1843

    0.2412

    0.3473

    0.05

    0.03

    0.02

    0.01

    0.001

    0.4614

    0.5489

    0.6198

    0.7435

    1.1679


    Этими данными можно пользоваться при n>40

    Критерий согласия λ- Колмогорова. Этот метод очень прост, но его выполнение требует реализации двух ограничений: во-первых, распределение должно быть непрерывным и, во-вторых, параметры проверяемого распределения должны быть известны и не могут заменяться их оценками, получаемыми на основе наблюдений [19]

    В качестве меры близости статистического (выборочного) и исследуемого распределений принимается максимальное значений разности их функций распределений:

     =  [ n(X)-F(X)], (6.5.6)

    где  n(X) – выборочная функция распределения;

    F(X) – исследуемое распределение.

    А.Н. Коломогоровым было показано, что при увеличении объема выборки n, распределение случайной величины λn=Dn*  стремиться к виду
    F(λ)=P(λn<λ)= k* exp(-2k2λ2) . (6.5.7)
    На этом основании с доверительной вероятностью можно утверждать, что выборочное распределение согласуется с гипотетическим, если λn<λ, где λ1-p квантиль распределения уровня значимости (1-Р).

    При использовании этим критерием необходимо иметь в виду, что распределение Колмогорова F(λ) является предельным при n→∞и, следовательно, надежные суждения о законе распределения экспериментальных данных можно делать лишь по выборкам достаточно большого объема.

    Критерий х2 – Пирсона. Он применим как к непрерывным, так и дискретным распределениям. Кроме того, допускается в гипотетическом распределении использовать в качестве значений параметров их оценки. Метод имеет два серьезных достоинства [2]:

    -он использует количественный, числовой критерий (его называют еще “критерием согласия”), а значит, обладает математической строгостью;

    -он пригоден не только для нормального, но и для других видов распределения.

    Пусть имеем набор результатов наблюдений с параметрами n,  , и необходимо ответить на вопрос, распределены ли это данные по закону Гаусса с параметрами   и  ,. Для этого сравнивают экспериментальное распределение с теоретическим, параметры которого соответственно равны  ,  , . Такое сравнение можно произвести, сгруппировав результаты наблюдений (разумеется, свободные от систематических ошибок) по интервалам таким образом, чтобы эти интервалы покрывали всю ось (-∞, +∞) и чтобы количество данных в каждом интервале было достаточно большим (во всяком случае не менее пяти, лучше десяти). Для каждого интервала (Xi-1,Xi)подсчитать чисти miрезультатов измерения, попавших в этот интервал. Затем вычисляют вероятность Р попадания в этот интервал при нормальном законе распределения вероятностей:
      , (6.5.8)

    где   – среднее арифметическое значение результатов наблюдения;

     – стандартное отклонение (среднее квадратическое отклонение);

     ставленный таблицами в приложениях iii и iv.
    Наконец, вычисляют сумму

    , (6.5.9)

    где I – число всех интервалов (-∞, Х1) (Х1,Х2),…, ( ХI-1, ∞);

    n-число всех результатов измерений  

    Если сумма (6.5.9) окажется больше критического значений Х2 по таблице приложения V при некоторой доверительной вероятности Р и числе степеней свободы ν= I-3, то с надежностью Р можно считать, что распределение экспериментальных данных отличается от нормального. В противном случае для такого вывода нет достаточных оснований. При отсутствии достаточных оснований для того, чтобы отвергнуть гипотезу о нормальном распределении данных эксперимента, эта гипотеза часто может быть обоснована теоретически. Однако, следует иметь в виду, что даже малая величина суммы (6.6.9) не может служить доказательством нормальности закона распределения.

    Отметим еще важное свойство критерия Х2: если распределение отлично от нормального, то при достаточно большом числе наблюдений сумма (6.6.9) превысит соответствующие критическое значение . поэтому, если при проведенном числе экспериментов критерий Х2 дал малую надежность, но сомнения в нормальности распределения осталось, то следует увеличить число экспериментов ( в несколько раз).

    Указанное выше число степеней свободы ν= I-3 относиться только к тому случаю, когда оба параметра нормального закона распределения определяют по результатам экспериментов, то есть когда вместо точных значений М{Х} и   применяют их эмпирические оценки  Iи  . Если значение   точно известно (например, при измерении эталона), то число степеней свободы равно ν= I-2, если известны оба параметра М{X} и  , то число степеней свободы равно ν= I-1. На практике такая ситуация встречается редко, и поэтому для получения числа степеней свободы не менее пяти надо брать число интервалов не менее восьми.

    В заключение заметим, что эффективность критерия Х2повышается, если в каждый из выделенных интервалов попадает примерно одинаковое количество данных. Это следует учитывать при группировке первичного материала (если возможно).

    Замечания:

    1.Рассмотренный критерий может быть применим и к другим типам распределения вероятности, разница будет лишь в том, что бинам (участникам) будут соответствовать другие вероятности.

    2. Кроме критерии Пирсона, применяют и другие критерии согласия. При этом следует помнить, что при использовании критериев согласия определенным является лишь отрицательный ответ (типа “закон не может быть признан нормальным”). Положительный ответ всегда носит предположительный характер, так, что тест может ответить “да” и на вопрос о нормальном распределении, и на вопрос о трапецеидальном, и еще каком либо ином типе распределения.
    6.6 Методы исключения анормальных результатов эксперимента
    При получении результата эксперимента, резко отличающегося от всех других результатов, естественно возникает подозрение, что допущена грубая погрешность. В этом случае необходимо сразу же проверить, не нарушены ли основные условия проведения эксперимента. Грубые погрешности могут являться результатом поломки прибора или недосмотра экспериментатора. Результат, содержащий грубую ошибку, резко отличается по величине. Наличие грубой погрешности в выборке значений случайной величины нарушает характер распределения, изменяет его параметры. Результат наблюдения, содержащий грубую погрешность, будем называть анормальным.

    Принцип решения вопроса об анормальности заключается в том, что по результатам наблюдений рассчитывают определенную функцию от случайной величины, для которой известно распределение вероятностей [22]. Вычисленное по выборочным данным значение этой функции сравнивают с ее предельным значением, соответствующим заранее принятой малой вероятности. Если при этом выясняют, что вероятность подозреваемого в анормальности результата наблюдений меньше принятой, и этот результат является следствием случайного нарушения нормальных условий или грубых ошибок при наблюдении, или расчете, то его исключают из общей выборки, как не прилежащий к той же генеральной совокупности, что и остальные результаты наблюдений.

    Можно встретить большое количество различных рекомендаций для проведения отсева грубых ошибок наблюдения (анормальных значений). Предложим для практического использования наиболее простые методы отсева грубых ошибок.

    Метод «трех сигм». Границы выборки определяют в пределах   так что все данные выходящие за эти пределы, удаляют как анормальные. Некоторые исследователи считают это правило чересчур жестким и предлагают, чтобы границы цензурирования назначались в зависимости от объема выборки [21]:
    n=6………..100→| * | > 4* ;

    n=101……100→| * |>6.5* ; (6.6.1)

    n=1001…10000→|  * |>5* ,
    где Xi* – подозрительный результат в составе выборки.

    Правило (6.6.1) годится только для случая нормального распределения. Для больших выборок цензурирования вообще вряд ли оправдано.

    Если же такая проверка не была сделана вовремя, то вопрос о целесообразности браковки одного «выскакивающего» значения решается путем сравнения его с остальными результатами эксперимента [22]. При этом применяют различные критерии, в зависимости от того, известно или нет среднее квадратическое отклонение результата эксперимента (предполагается, что все эксперимента производятся независимо друг от друга).

    Метод исключения при известном ƃ. Обозначим «выскакивающее» значение Xi*, а все остальные результаты эксперимента через Х1, Х2,…, Хn. Подсчитаем среднее арифметическое значение по формуле (6.1.3) и сравним абсолютную величину разностиXi*  с величиной  . Для полученного отношения

     . (6.6.2)
    Подсчитаем вероятность 1-2Ф(t) с помощью таблицы приложения IV. Это дает вероятность того, что рассматриваемое отношение случайно примет значение не меньше, чем t, при условии, что значение Xi* не содержит грубой ошибки. Если подсчитанная указанным образом вероятность окажется очень малой, то «выскакивающее» значение содержит грубую ошибку и его следует исключить из дальнейшей обработки результатов эксперимента.

    Обычно применяют один из трех уровней малых вероятностей:

    -5% уровень (исключаются ошибки, вероятность появления которых меньше 0.05);

    -1% уровень (соответственно, вероятность появления ошибки меньше 0.01);

    -0.1% уровень (соответственно, вероятность появления ошибки меньше 0.001).

    При выбранном уровне q малых вероятностей «выскакивающее» значение Xi* считают содержащим грубую ошибку, если для соответствующего отношения t (6.6.2) вероятность (1-2Ф(t))
    Метод исключения при неизвестном ƃ.Если величина ƃ. Если величина ƃ заранее неизвестна, то ее оценивают приближенно по результатам эксперимента, то есть применяют среднее квадратическое отклонение, вычисляемое по формуле (6.6.5)

    При этом,, абсолютную величину разности |Xi*  между «выскакивающими» значениями Xi* и средним значением   остальных (приемлемых) результатов делят на эмпирический стандарт и полученное отношение


      . (6.6.3)

    Сравнивают с критическими значениями tn(P) из таблицы приложения IX. Если при данном числеn приемлемых результатов отношение (6.6.3) оказывается между двумя критическими значениями при надежностях Р1 и Р2 (Р2>Р1), то с надежностью вывода , большей Р1, можно считать, что «выскакивающее» значение содержит грубую ошибку, и исключить его дальнейшей обработки результатов эксперимента.

    Резюмируем основные результаты, приведенные в данном параграфе в виде рекомендаций по обработке экспериментальных данных. Будем считать, что все результаты эксперимента содержат случайные и систематические составляющие. В соответствии с требованиями ГОСТ 8.207-75 при статистической обработке этих результатов необходимо выполнять следующие операции [17]:

    - исключить известные систематические погрешности из результатов наблюдений;

    - вычислить выборочные оценки математического ожидания и среднего квадратического отклонения результата наблюдения;

    - обнаружить и исключить анормальные значения

    - вычислить среднее арифметическое исправленных результатов наблюдений, принимаемое за результатом эксперимента;

    - проверить гипотезу о том, что результаты наблюдений принадлежат нормальному распределению;

    - вычислить доверительные границы случайных величин (случайной составляющей погрешности) результата эксперимента;

    Выбор способа и формы представления результата эксперимента определяются назначением проводимых исследований и регламентируются соответствующими нормативно-техническими документами, в частности, методическими указаниями МИ 1317-86.


      1. Дискретное преобразование Фурье (ДПФ)


    По многим причинам желательно вычислять преобразование Фурье на цифровых машинах. Это означает, что необходимо рассматривать только дискретные отсчеты как временной функции, так и спектра, и только конечное число отсчетов каждой из них. Предположим, что временная функция X(t) представлена последовательностью из N отсчетов.X(n𝞓t), 0*(t) в виде конечного числа импульсов, то можно написать выражение для
    ,
    (6.7.1)

    где Ω=2П/N t.

    При таком определении Ω существует только Nразличных значений, которые возможно вычислить по формуле (6.1.1), а именно при к=0,1,… N-1.

    В самом общем виде пара дискретных преобразований Фурье, соответствующая дискредитированным вариантам этих функций, может быть записанная в виде

    ;
    (6.7.2)

    ,
    (6.7.3)

    где F(k) – комплексный спектр сигнала, полученный после ДПФ;

    k-безразмерная частота, связанная с круговой частотой соотношением  

    n-безразмерное время, связанное с моментом взятия отсчета tnи интервалом дискретизации  tсоотношением tn=n t;

    T-длительность временной реализации анализируемого сигнала;

      – количество учитываемых отсчетов исследуемых сигналов. Удобно обозначить exp(j2П/N) черезWN, при этом пара ДПФ примет вид


    (6.7.4)

    . (6.1.5)

    Следует отметить следующие основные свойства алгоритмов ДПФ, представленных формулами (6.1.2) и (6.1.3):

    -они дают информацию только для N дискретных значений;

    -алгоритмы пригодны только для периодических сигналов, значения которых в финитных точках равны нулю.

    В практических расчетах часто возникает необходимость определить с помощью ДПФ спектры сигналов в виде перепада напряжения или сигналов с установившимся значением, не равным начальному. При вычислении ДПФ сигнал периодизируется, происходит как бы замыкание конца сигнала с его началом. Возникающий при этом идеальный скачок искажает спектр исходного сигнала.

    Для спектрального анализа сигналов, содержащих перепады уровней, разработаны методы более эффективные, чем методы, основанные на использовании окон для взвешивания сигнала. Один из методов основан на преобразовании сигналаX(n) в сигнал Y(n) так, что Y(n) не содержит скачков при его периодизации. Известны следующие преобразования сигналов, устраняющие скачки начального и конечного уровней.

    1. Преобразование Самулона. Регистрируемый сигнал преобразуют по формуле

    Y(n) = X(n) – X(n-1), где n=1,2,…N (6.7.5)

    После вычислений дискретного спектра его умножают на функцию 
    2. Преобразование Никольсона. Преобразование функции ступенчатой формы в функцию импульсной формы предлагается выполнять через вычитание из исходного сигнала выборочных значений сигнала пилообразной формы, записываемой в виде:

      где n=0,1…,N-1

    Зная спектр пилообразного импульса, и, принимая во внимание свойство линейности преобразования Фурье, можно найти спектр финтизированного сигнала.

    1.Преобразование Ганса. Исходный сигнал преобразуют по формуле
    . (6.7.6)  

    В результате ДПФ сигналов Y(n) во всех трех случаях образуется функция  



    F*(kΩ) - дискретный спектр передиозированного сигнала.

    На практике наиболее легко реализуют метод Никольсона, поскольку метод Самулона требует дополнительной обработки сигнала в спектральной области, а метод Ганса для получения того же числа отсчетов требует увеличения размерности обрабатываемых массивов в два раза.

      1. 1   2   3   4   5   6   7   8   9   10   11


    написать администратору сайта