Изменение формы данных с помощью преобразований. Тесты основаны на так называемом предположении о нормальности

• Название: Тесты основаны на так называемом предположении о нормальности
• Дата: 25.02.2023
• Размер: 273.68 Kb.
• Имя файла: Изменение формы данных с помощью преобразований.docx
• Тип: Тесты; #954495

Изменение формы данных с помощью преобразований

Мы упоминали ранее, что многие статистические анализы требуют, чтобы у вас было нормальное распределение. Это связано с тем, что многие статистические тесты основаны на так называемом «предположении о нормальности». Это предположение говорит о том, что если мы соберем множество независимых случайных выборок из совокупности и вычислим н екоторое интересующее значение, то, когда мы создадим гистограмму для визуализации распределения этих значений, мы должны получить идеальную кривую нормального распределения.

В реальном мире ваши данные могут не всегда идеально подходить друг другу. В тех случаях, когда ваш анализ зависит от нормального распределения, вы можете обнаружить, что распределение ваших данных иногда близко к нормальному распределению, но не совсем так. Есть два распространенных случая, когда ваши данные могут не соответствовать совершенно нормальному распределению: они могут быть искажены или могут показывать эксцесс. Напомним основные характеристики идеальной кривой нормального распределения: нормальное распределение должно быть симметричным и колоколообразным , так что кривая ниже среднего выглядит так же, как кривая выше среднего. Перекос и эксцесс просто описывают два случая, когда распределение в реальном мре не может быть симметричным и колоколообразным. 

перекос

В то время как симметричное распределение будет одинаковым по обе стороны от среднего, асимметричное распределение будет «тянуть» то к одной, то к другой стороне от среднего. Если ваши данные имеют положительную асимметрию , это означает, что большая часть ваших данных находится слева, и что-то тянет распределение в положительную сторону, поэтому вы в конечном итоге получаете длинную ногу справа. Если ваши данные имеют отрицательную асимметрию , это означает, что большая часть ваших данных находится справа с длинным хвостом, растянувшимся в отрицательном направлении, или слева.

эксцесс

В то время как перекос описывает, как данные «смещаются» влево или вправо по сравнению с идеальной симметрией нормального распределения, эксцесс описывает, как данные могут быть смещены вверх или вниз по сравнению с идеальной колоколообразной формой нормального распределения. Положительный эксцесс вытягивает распределение в высокую узкую форму, так что кривая распределения заканчивается более острым пиком в среднем. Это будет означать, что большая часть ваших данных более плотно сгруппирована вокруг среднего значения вашего набора данных (низкая дисперсия данных). Отрицательный эксцесс тянет распределение вниз в среднем, так что кривая становится плоской и принимает низкую широкую форму. Отрицательный эксцесс будет означать, что ваши данные более широко разбросаны по сравнению со средним значением вашего набора данных (высокая дисперсия данных).

Четыре нормализующих преобразования

Когда ваши данные показывают слишком большую асимметрию или эксцесс, вы не сможете выполнить анализ, требующий нормального распределения. Однако есть определенные преобразования, которые вы можете применить к своим данным, которые могут исправить асимметричное распределение. Преобразования — это способы, с помощью которых вы можете попытаться нормализовать данные или устранить перекос. Чтобы преобразовать данные, вы применяете простое математическое уравнение к каждому значению в вашем наборе данных. Иногда преобразованные данные показывают новое распределение, устраняющее асимметрию исходных данных. Затем вы можете запустить анализ, требующий нормального распределения.

Есть четыре распространенных преобразования, которые вы можете попробовать, когда у вас есть очевидный перекос, который необходимо исправить. Они есть:

Логарифмическое преобразование

Преобразование кубического корня

Преобразование квадратного корня

Квадратная трансформация

Для логарифмического преобразования вы находите журнал каждого значения в вашем наборе данных и находите распределение для этих преобразованных значений. Для преобразования кубического корня вы находите кубический корень каждого значения и находите распределение для этих преобразованных значений. Точно так же для преобразования квадратного корня и квадрата вы должны найти квадратный корень каждого значения в первом случае, найти квадрат каждого значения во втором.

В электронных таблицах Excel и Google Таблицы следующие формулы позволят вам найти значения для каждого из этих преобразований.

Логарифмическое преобразование. Чтобы найти логарифмическое преобразование для числового набора данных, примените эту формулу к каждому значению n в наборе: =LOG10( n ) . Затем вы можете создать гистограмму для всех этих логарифмических значений.

Преобразование кубического корня: формула кубического корня в Excel и Google Таблицах: = n ^(1/3) . Чтобы найти преобразование кубического корня, примените эту формулу кубического корня к каждому значению n в наборе данных и создайте гистограмму для всех этих значений кубического корня.

Преобразование квадратного корня: Аналогично, формула квадратного корня = SQRT ( n ) . Чтобы найти преобразование квадратного корня, примените формулу квадратного корня к каждому значению n в вашем наборе данных и создайте гистограмму для всех этих значений квадратного корня.

Квадратное преобразование: наконец, формула квадрата числа = n ^ 2 . Чтобы найти квадратное преобразование, примените формулу возведения в квадрат к каждому значению n в вашем наборе данных и создайте гистограмму для всех этих возведенных в квадрат значений.



Чтобы выполнить одно из этих преобразований, примените соответствующую формулу к каждому значению n в вашем наборе данных и создайте гистограмму, чтобы определить распределение этих преобразованных значений.

Вот некоторые примеры: 

В этом первом примере у нас есть набор данных, который показывает серьезную положительную асимметрию до того, как мы применили к нему логарифмическое преобразование =LOG10( n ) . Но набор преобразованных значений дает нам нормальное распределение.
В этом случае набор логарифмических преобразований лучше подходит для нашего анализа, требующего нормального распределения!

Точно так же вот еще один набор данных, который показывает серьезный положительный перекос до того, как мы применили к нему преобразование кубического корня , = n ^(1/3) . Снова набор преобразованных значений дает нам нормальное распределение.



Далее, вот еще один набор данных, который показывает положительную асимметрию до того, как мы применили к нему преобразование квадратного корня =SQRT( n ) . Но после преобразования мы получаем набор значений, который дает нам нормальное распределение.



Наконец, вот набор данных, который показывает отрицательную асимметрию до того, как мы применили к нему квадратное преобразование , = n ^2 . После преобразования у нас есть набор значений, который дает нам нормальное распределение. 



Некоторые из этих преобразований лучше подходят для одних ситуаций, чем для других, поэтому, если одно преобразование не нормализует ваши данные, попробуйте другое. 

Преобразования используются только для исправления искаженных распределений. Преобразования не могут исправить эксцесс . В ситуациях эксцесса вы можете искать выбросы, которые так или иначе тянут ваши данные. Удаление выбросов из вашего набора данных, вероятно, поможет нормализовать ваши данные. Итак, если ваша проблема — эксцесс, попробуйте удалить выбросы. Если это не сработает, то есть определенные анализы, которые вы просто не сможете запустить на своих данных!