макала. Проблемы статистического анализа результатов экспериментального исследования эффективности применения современных
 Скачать 183.05 Kb.
|
|
138 ПРОБЛЕМЫ СТАТИСТИЧЕСКОГО АНАЛИЗА РЕЗУЛЬТАТОВ ЭКСПЕРИМЕНТАЛЬНОГО ИССЛЕДОВАНИЯ ЭФФЕКТИВНОСТИ ПРИМЕНЕНИЯ СОВРЕМЕННЫХ ПЕДАГОГИЧЕСКИХ ТЕХНОЛОГИЙ И.М. Березянский Кафедра педагогики и психологии Югорский государственный университет ул. Чехова, 16, Ханты-Мансийск, ХМАО-Югра, Тюменская область, Россия, 628012 Рассматривается необходимость применения статистических методов для достоверной оценки результатов опытно-экспериментальной работы в педагогических исследованиях, на практическом примере анализируются результаты использования трех статистических критериев и трудности, которые могут возникнут при их реализации. Ключевые слова: структура опытно-экспериментальной работы, сравнение результатов экс- периментальной и контрольной групп, статистические критерии, достоверность сравнения резуль- татов. В нашей работе «Современные педагогические технологии обучения в про- фессиональной подготовке будущих специалистов по управлению персоналом» проводилось исследование современных педагогических технологий обучения и влияния их применения на качество профессиональной подготовки будущих специалистов по управлению персоналом в области кадрового обеспечения. В ре- зультате теоретического анализа были отобраны несколько наиболее подходящих для данной задачи современных педагогических технологий. На опытно-экспериментальном этапе в учебный процесс был введен спецкурс и практические занятия, направленные на получение знаний, умений и навыков по работе, связанной с подбором персонала. Были разработаны этапы формирова- ния профессиональной компетентности в области подбора персонала, критерии и уровни ее оценки. Проводилось анкетирование, тестирование, индивидуальные собеседования со студентами. Полученные в ходе тестирования данные было не- обходимо сравнить на достоверность различий. Опытно-экспериментальная работа играет большую роль во всех науках. Не- обходимо отметить, что «чем менее строгой является наука, тем большую роль в ней играет экспериментальная работа» [3. С. 6]. Это обусловлено тем, что науки сильной версии используют математический аппарат, многие результаты возмож- но получить и обосновать теоретически, на базе существующего эмпирического материала [2]. На сегодняшний день педагогика относится к наукам слабой версии, и зачастую эксперимент является единственным способом подтверждения пра- вильности гипотезы и результатов теоретического исследования по причине от- сутствия аксиоматики и адекватного формального аппарата, что не позволяет при- вести должного обоснования, не прибегая к эксперименту. В качестве примера можно рассмотреть введение новой методики обучения с целью повышения ре- Березянский И.М. Проблемы статистического анализа результатов экспериментального... 139 зультатов обучения. В данной ситуации до проведения эксперимента и анализа полученных данных мы можем только предполагать возможную пользу от дан- ного нововведения. В педагогике существует общепринятая структура педагогического экспе- римента: на первом этапе создаются экспериментальная и контрольная группы, затем проверяется отсутствие различия между ними, далее в экспериментальной группе учебный процесс осуществляется с применением новой методики, а в конт- рольной группе учебный процесс осуществляется без изменений. По итогам экс- перимента проводится диагностика качества обучения, и если по результатам проведения эксперимента состояние экспериментальной группы отличается от контрольной, то исследователь может говорить о наличии эффекта иссле- дуемой методики. Существенную роль при планировании эксперимента и подведении резуль- татов играют статистические методы, которые дают в том числе возможность устанавливать степень достоверности сходства и различия исследуемых объектов на основании результатов измерений их показателей. Существуют методы решения базовых задач (например, сравнение результа- тов эксперимента в группах, без значимых различий в состоянии до начала экс- перимента) и более сложные статистические методы и их комбинации для решения различных задач [1; 4]. К примеру, при различии групп в начальном состоянии предварительно используется технология стандартизации выборки. Д.А. Новиков отмечает, что на сегодняшний день большинство исследовате- лей четко представляют, что использование статистических методов необходимо, но при этом в педагогических исследованиях статистические методы не использу- ются вообще или используются некорректно [3]. Это подтверждает необходимость применения и грамотного использования статистических методов. В диссертационном педагогическом исследовании эксперимент проводится с целью эмпирического подтверждения или опровержения гипотезы исследования и (или) справедливости теоретических результатов. Традиционно используется следующая модель педагогического эксперимента: проводится изменение в имеющемся педагогическом объекте (индивид, группа, коллектив и т.д.), изменение состояние этого объекта исследуется в ходе экспе- римента. Предположим, что объект — множество учащихся, обучаемых по новой (предлагаемой в диссертационном исследовании) методике, в таком случае состоя- ние объекта измеряется теми или иными характеристиками (показателями) по кри- териям (например, успеваемость, уровень знаний и т.д.), отражающим его сущест- венные характеристики (например, время выполнения заданий, число правильно решенных задач и т.д.). Нами исследовалось влияние использования в учебном процессе современных педагогических технологий обучения на качество профессиональной подготовки будущих специалистов по управлению персоналом в области кадрового обеспече- ния. Для проверки выдвинутых теоретических положений был проведен педагоги- ческий эксперимент с двумя группами учащихся: экспериментальной (50 студен- тов) и контрольной (53 студента). Для оценки эффективности применения совре- Вестник РУДН, серия Психология и педагогика, 2012, № 1 140 менных педагогических технологий планировалось использовать два статистиче- ских критерия: критерий Фишера и t-критерий Стьюдента. Они были выбраны по причине того, что в их основе расчета лежит два разных типа шкал: порядковая и отношений. Для работы со шкалой отношений, в которой учитывались результаты ре- шения тестов по количеству верных ответов во взаимосвязи с количеством сту- дентов, давших такое количество правильных ответов, применяется t-критерий Стьюдента. Критерий Фишера, напротив, рассчитан на порядковую шкалу, в кото- рой учитывается количество студентов, подтвердивших и не подтвердивших нали- чие необходимого объема знаний [1; 2; 4]. При проверке уровня знаний через тестирование в экспериментальной и конт- рольной группах до начала и после окончания эксперимента были получены сле- дующие данные (табл. 1). Таблица 1 Результаты измерений уровня знаний в контрольной и экспериментальной группах до и после эксперимента Число студентов давших такое количество правильных ответов при тестировании до начала эксперимента после окончания эксперимента Число правильных ответов при тести ровании контрольная группа экспериментальная группа контрольная группа экспериментальная группа Число студентов, человек 53 50 53 50 Среднее колво правильных ответов 10,6 10,3 12,8 17,5 Необходимо отметить, что расчет среднего количества правильных ответов как расчет среднего балла по группе не может являться корректным для осущест- вления выводов в рамках педагогической науки. В нашей работе это позволило лишь предположить, что полученные изменения могут носить позитивный ха- рактер. Для сравнения полученных результатов мы воспользовались, как было сказа- но выше, двумя статистическими критериями — критерием Фишера и -критерием Стьюдента. При расчете критериев было осуществлено сравнение показателей контрольной и экспериментальной группы между собой до начала и после оконча- ния эксперимента, а также показателей до начала и после окончания эксперимента между собой внутри каждой группы с целью проверки не только наличия досто- верных различий между группами, но определения наличия достоверных разли- чий внутри групп до начала и после окончания эксперимента. Для проведенных расчетов был определен уровень значимости p = 0,05, что означало вероятность ошибки, заключающейся в отклонении (непринятии) нуле- вой гипотезы, т.е. вероятность того, что различия сочтены существенными, а они на самом деле случайны, иными словами, допускалась вероятность ошибки не бо- лее 5%. Для корректного расчета критерия Фишера нам необходимо было обрабо- тать полученные данные и сделать распределение в полученной выборке только Березянский И.М. Проблемы статистического анализа результатов экспериментального... 141 по двум критериям. Мы использовали разделение на «справились/не справились с заданием» из расчета «справились» — 16 и более правильных ответов в тесте; менее 16 правильных ответов — «не справились». Критические значения критерия Фишера и других статистических критериев представлены в общедоступных таб- лицах распределения [5], поэтому нет необходимости рассчитывать их дополни- тельно, воспользуемся доступными данными. Согласно таблице критических зна- чений критерия Фишера для нашей выборки критическое значение равно 1,64, т.е. если полученный критерий менее этого значения, то различия между двумя выбор- ками незначимы, если более — выборки различаются существенно. В результате проведенных расчетов были получены следующие эмпирические значения критерия Фишера (табл. 2). Таблица 2 Эмпирические значения критерия Фишера Группа Контрольная группа до начала экс перимента Эксперимен тальная груп па до начала эксперимента Контрольная группа после окончания экс перимента Эксперимен тальная группа после окончания эксперимента Контрольная группа до начала эксперимента 0 0,05 0,84 2,79 Экспериментальная группа до начала эксперимента 0,05 0 0,79 2,72 Контрольная группа после окончания эксперимента 0,84 0,79 0 2,41 Экспериментальная груп па после окончания экспе римента 2,79 2,72 2,41 0 С критическим значением критерия Фишера равным 1,64 мы сравнили ре- зультаты, полученные в экспериментальной и контрольной группах до начала и после окончания эксперимента. Как видно из приведенных расчетных данных, до начала эксперимента экспериментальная и контрольная группа не имели суще- ственных различий по уровню профессиональной подготовки, что и было необхо- димо для достоверности оценки результатов проведенного эксперимента. Также видно, что по окончании эксперимента произошли существенные изменения в уровне профессиональной подготовки по сравнению с контрольной группой. Учитывая рассчитанное ранее среднее количество верных ответов, можно сделать вывод, что применение современных педагогических технологий в про- фессиональной подготовке будущих специалистов по управлению персоналом в области кадрового обеспечения положительно влияет на результаты обучения и влияет сильнее по сравнению с применением только традиционных педагогиче- ских технологий. Однако критерий Фишера имеет ряд ограничений и применяется для расчета различий между двумя выборками только при условии разделения результатов на две группы. Поэтому нам представляется необходимым проверить разницу в полученных выборках дополнительно t-критерием Стьюдента. Для применения t-критерия Стьюдента необходимо соблюдать следующие условия: измерение мо- Вестник РУДН, серия Психология и педагогика, 2012, № 1 142 жет быть проведено в шкале интервалов и отношений, сравниваемые выборки должны быть распределены по нормальному закону. T-критерий рассчитывается для связанных (зависимых) и несвязанных (независимых) выборок. В нашем эксперименте связанными выборками являются выборки результа- тов, полученные внутри одной группы (контрольной или экспериментальной) до начала и после окончания эксперимента. Независимыми являются результаты, полученные в разных группах (сравнение результатов в контрольной и экспери- ментальной группе до начала эксперимента и сравнение полученных результатов в контрольной и экспериментальной группе по окончании эксперимента). Результаты расчета t-критерия Стьюдента представлены в табл. 3. В скобках указаны критические значения [5] для доверительной вероятности 0,95 при сравне- нии указанных характеристик групп. Таблица 3 Результаты расчета tкритерия Стьюдента Групппа Контрольная группа до начала эксперимента Эксперимен тальная группа до начала экс перимента Контрольная группа после окончания эксперимента Эксперимен тальная группа после окончания эксперимента Контрольная группа до начала эксперимента 0 0,20 (1,98) 4,03 (2,00) — Экспериментальная группа до начала экс перимента 0,20 (1,98) 0 — 3,75 (2,00) Контрольная группа после окончания экс перимента 4,03 (2,00) — 0 3,92 (1,98) Экспериментальная группа после оконча ния эксперимента — 3,75 (2,00) 3,92 (1,98) 0 При анализе полученных данных сложно сделать однозначный вывод в пользу результатов профессиональной подготовки в экспериментальной группе, так как согласно рассчитанным критериям более существенные различия наблюдаются внутри контрольной группы до начала и после окончания эксперимента, хотя кри- тическое значение больше чем при сравнении результатов между группами. При этом все полученные значения, за исключением сравнения групп до начала экспе- римента, превышают критические значения, что говорит о существенной разнице. Для достоверного сравнения полученных данных мы дополнительно восполь- зовались критерием χ 2 (хи-квадрат). Этот статистический критерий также предна- значен для сравнения двух статистических выборок. Как и другие статистические критерии критерий χ 2 (хи-квадрат) имеет огра- ничения: он применим при условии, что для любого значения балла в любой из сравниваемых выборок не менее пяти ее членов получили данный балл, т.е. n i ≥ 5, m i ≥ 5, i = 1, 2, ..., L. Кроме того, необходимо чтобы L было не менее трех. Из-за указанных ограничений мы были вынуждены немного изменить таблицу, объеди- нив исходные данные в группы по количеству правильных ответов: 1—5, 6—10, 11—15, 16—20, 21—25. Березянский И.М. Проблемы статистического анализа результатов экспериментального... 143 При представленных выборках критическое значение критерия χ 2 для уровня значимости α= 0,05 равно 11,07 [2. С. 52]. Результаты расчета данного критерия приведены в табл. 4. Таблица 4 Результаты расчета критерия χ 2 (хиквадрат) Групппа Контрольная группа до начала эксперимента Эксперимен тальная груп па до начала эксперимента Контрольная группа после окончания эксперимента Эксперимен тальная группа после окончания эксперимента Контрольная группа до начала эксперимента 0 2,48 7,61 — Экспериментальная группа до начала экспе римента 2,48 0 — 32,20 Контрольная группа после окончания экспе римента 7,61 — 0 13,50 Экспериментальная группа после окончания эксперимента — 32,20 13,50 0 Приведенные расчетные данные убедительно показывают наличие сущест- венных отличий между группами после окончания эксперимента, а также говорят о существенных отличиях по результатам внутри экспериментальной группы до начала и после окончания эксперимента. Таким образом, мы видим, что в педагогических исследованиях необходим взвешенный подход к использованию статистических методов. Они должны при- меняться с учетом имеющихся данных, обязательно должны учитываться ограни- чения различных статистических критериев, а также предприниматься действия (когда это возможно) для приведения имеющихся данных в соответствие с требо- ваниями соответствующих статистических критериев. Кроме того, приведенные примеры расчета продемонстрировали, что, используя какой-либо один критерий, не всегда можно сделать правильные и однозначные выводы о результатах экспе- римента. Более достоверным является применение различных критериев, рассчи- танных на разные типы шкал и разную чувствительность. Проведенные арифметические расчеты и расчеты по трем статистическим критериям доказали, что использование современных педагогических технологий обучения в профессиональной подготовке будущих специалистов по управлению персоналом в области кадрового обеспечения оправдано. Внедрение применения современных педагогических технологий в учебный процесс приносит положи- тельные результаты, более значимые, чем при использовании в учебном процессе только традиционных педагогических технологий. ЛИТЕРАТУРА [1] Ермолаев О.Ю. Математическая статистика для психологов. — М: Флинта, 2003. [2] Новиков А.М. Докторская диссертация?: Пособие для докторантов и соискателей ученой степени доктора наук. — М.: Эгвес, 2003. Вестник РУДН, серия Психология и педагогика, 2012, № 1 [3] Новиков Д.А. Статистические методы в педагогических исследованиях (типовые слу- чаи). — М.: МЗ-Пресс, 2004. [4] Сидоренко Е.В. Методы математической обработки в психологии. — СПб.: Речь, 2003. [5] Таблицы распределений. URL: http://www.statsoft.ru/home/textbook/modules/sttable.html PROBLEMS OF STATISTIC ANALYSIS OF EXPERIMENTAL RESEARCH RESULTS OF EFFECTIVENESS OF APPLYING MODERN PEDAGOGIC TECHNOLOGIES I.M. Berezyanskiy Department of Pedagogics and Psychology Ugra State University Chekhova str., 16, Khanty-Mansiysk, Khanty-Mansi Autonomous Okrug — Ugra, Tyumen region, Russia, 628012 The article touches upon the problem of applying statistic methods for the purpose of reliable estimate of experimental work results in the pedagogic researches; it also describes the practical example of the three statistic criteria usage and the difficulties that may arise in the course of their application. Key words: experimental work structure, comparison of the results of experimental and reference groups, statistic criteria, reliability of results comparison. |