Реферат 1 Введение 3 Аналитическая часть 5

• Название: Реферат 1 Введение 3 Аналитическая часть 5
• Дата: 11.03.2018
• Размер: 1.24 Mb.
• Имя файла: diplom_-_Copy_1_checked.docx
• Тип: Реферат; #38138
• страница: 9 из 16

Однопараметрическая модель Г. Раша

В данном разделе приводится описание алгоритма расчета оценки тестовых заданий по однопараметрической модели Г. Раша современной теории тестов. Для наглядности рассматривается тестовый пример расчета оценки по данной модели, приводятся полученные результаты и соответствующие выводы.

Для расчета теоретической вероятности правильного ответа в разрезе задания или учащегося необходимо оценить следующие параметры:

• 
   - уровень подготовленности испытуемого (в логитах);
  
• 
  - уровень сложности задания (в логитах).
  

Для наглядности рассмотрим пример: в классе 8 учащихся. Класс прошел тест, состоящий из 20 вопросов. Ответы на задания теста распределились следующим образом (1 - верный ответ, 2 - неверный ответ) (таблица 2):

Таблица 2 - Бинарная матрица с результатами прохождения теста

		Учащиеся
		1	2	3	4	5	6	7	8
Задания теста	1	1	0	1	0	0	0	0	0
	2	0	1	0	0	1	1	1	0
	3	0	0	0	1	1	1	1	1
	4	1	0	1	1	1	0	1	0
	5	0	0	1	0	0	0	1	1
	6	1	0	1	0	0	1	0	0
	7	0	0	1	1	1	0	0	0
	8	0	0	0	0	1	1	0	0
	9	0	0	0	0	1	1	0	1
	10	0	0	1	0	1	0	0	1
	11	1	0	0	1	1	0	0	0
	12	0	1	0	1	1	0	0	0
	13	1	1	0	0	1	1	0	0
	14	0	0	1	1	1	1	0	0
	15	1	0	0	0	1	0	0	0
	Продолжение таблицы 2
	16	1	0	0	1	1	1	1	1
	17	1	0	1	0	1	0	1	0
	18	0	0	0	1	1	0	1	1
	19	0	1	1	1	0	0	0	0
	20	1	1	1	1	1	0	1	1

Из бинарной матрицы ответов необходимо удалить строки и столбцы, в которых все ответы верные, т.к. они не показательны для анализа. В рассматриваемом примере отсутствуют столбцы и строки только с единицами, поэтому матрица не меняется. Для дальнейшего анализа, нам потребуются значения p_i и q_i – доли правильных и неправильных соответственно ответов i-го ученика на задания теста; p_j и q_j – доли правильных и неправильных ответов учеников на j-е задание теста, вычисленные по формулам:

	(13)
	(14)

где X_i - количество правильно выполненных заданий i-ым учеником, i = 1,2,..N, n - число заданий в тесте, R_j - количество правильных ответов на j-ое задание теста, j = 1,2,..,n, N - количество учащихся в группе.

	(15)
	(16)

Для рассматриваемого примера значения долей верных и неверных ответов будут следующими (таблицы 3 и 4):

Таблица 3 - Доли верных и неверных ответов для заданий теста

		Rj	pj	qj
Задания теста	1	2	0,25	0,75
	2	4	0,5	0,5
	3	5	0,625	0,375
	4	5	0,625	0,375
	5	3	0,375	0,625
	6	3	0,375	0,625
	7	3	0,375	0,625
	Продолжеие таблицы 3
	8	2	0,25	0,75
	9	3	0,375	0,625
	10	3	0,375	0,625
	11	3	0,375	0,625
	12	3	0,375	0,625
	13	4	0,5	0,5
	14	4	0,5	0,5
	15	2	0,25	0,75
	16	6	0,75	0,25
	17	4	0,5	0,5
	18	4	0,5	0,5
	19	3	0,375	0,625
	20	7	0,875	0,125

Таблица 4 - Доли верных и неверных ответов для учащихся

		Xi	pi	qi
Учащиеся	1	9	0,45	0,55
	2	5	0,25	0,75
	3	10	0,5	0,5
	4	10	0,5	0,5
	5	16	0,8	0,2
	6	8	0,4	0,6
	7	8	0,4	0,6
	8	7	0,35	0,65

Далее рассчитываются начальные значения параметров  и  находят по формулам:

	(17)
	(18)

В нашем примере значения данных параметров будут (таблицы 5 и 6):

Таблица 5 - Начальные значения уровня трудности заданий

		pj	qj	β0
Задания теста	1	0,25	0,75	1,098612
	2	0,5	0,5	0
	3	0,625	0,375	-0,51083
	4	0,625	0,375	-0,51083
	5	0,375	0,625	0,510826
	Продолжение таблицы 5
	6	0,375	0,625	0,510826
	7	0,375	0,625	0,510826
	8	0,25	0,75	1,098612
	9	0,375	0,625	0,510826
	10	0,375	0,625	0,510826
	11	0,375	0,625	0,510826
	12	0,375	0,625	0,510826
	13	0,5	0,5	0
	14	0,5	0,5	0
	15	0,25	0,75	1,098612
	16	0,75	0,25	-1,09861
	17	0,5	0,5	0
	18	0,5	0,5	0
	19	0,375	0,625	0,510826
	20	0,875	0,125	-1,94591

Таблица 6 - Начальные значения уровня подготовленности учащихся

		pi	qi	θ0
Учащиеся	1	0,45	0,55	-0,20067
	2	0,25	0,75	-1,09861
	3	0,5	0,5	0
	4	0,5	0,5	0
	5	0,8	0,2	1,386294
	6	0,4	0,6	-0,40547
	7	0,4	0,6	-0,40547
	8	0,35	0,65	-0,61904

Затем начальные значения параметров переводятся в единую интервальную шкалу стандартных оценок. Стандартизация достигается с помощью ряда специальных преобразований, в ходе которых вычисляются среднее значение  для множества (i =  1, 2, …, N), среднее значение  для множества (j = 1, 2, …, n), дисперсии по этим множествам и поправочные коэффициенты X и Y.

Средние значения:

	(19)
	(20)

Для нашего примера рассчитаем промежуточные данные для дальнейшего расчета (таблицы 7 и 8):

Таблица 7 - Квадраты параметров и среднего значения

		β0	β0^2
Задания теста	1	1,098612	1,206949
	2	0	0
	3	-0,51083	0,260943
	4	-0,51083	0,260943
	5	0,510826	0,260943
	6	0,510826	0,260943
	7	0,510826	0,260943
	8	1,098612	1,206949
	9	0,510826	0,260943
	10	0,510826	0,260943
	11	0,510826	0,260943
	12	0,510826	0,260943
	13	0	0
	14	0	0
	15	1,098612	1,206949
	16	-1,09861	1,206949
	17	0	0
	18	0	0
	19	0,510826	0,260943
	20	-1,94591	3,786566
ср. знач. β		0,165813
(ср. знач. β)^2		0,027494

Таблица 8 - Квадраты параметров и среднего значения

		θ0	θ0^2
Учащиеся	1	-0,20067	0,040269
	2	-1,09861	1,206949
	3	0	0
	4	0	0
	5	1,386294	1,921812
	6	-0,40547	0,164402
	7	-0,40547	0,164402
	8	-0,61904	0,38321
ср. знач. θ		-0,16787
(ср. знач. θ)^2		0,02818

Далее рассчитываются оценки дисперсии:

	(21)
	(22)

Поправочные коэффициенты:

	(23)
	(24)

Для рассматриваемого примера получаем следующие значения оценок дисперсий и поправочных коэффициентов:

Таблица 9 - Оценки дисперсий и поправочные коэффициенты

V	U	X	Y
0,522229	0,561785	1,112602	1,106208

Оценки параметров  и  в единой интервальной шкале находятся по формулам:

	(25)
	(26)

Рассчитанные значения параметров  и  для рассматриваемого примера (таблицы 10 и 11):

Таблица 10 - Оценки параметров уровня трудности заданий

		β0	β
Задания теста	1	1,098612	1,047424
	2	0	-0,16787
	3	-0,51083	-0,73295
	4	-0,51083	-0,73295
	5	0,510826	0,39721
	6	0,510826	0,39721
	7	0,510826	0,39721
	8	1,098612	1,047424
	9	0,510826	0,39721
	10	0,510826	0,39721
	11	0,510826	0,39721
	12	0,510826	0,39721
	13	0	-0,16787
	14	0	-0,16787
	15	1,098612	1,047424
	16	-1,09861	-1,38316
	17	0	-0,16787
	18	0	-0,16787
	19	0,510826	0,39721
	20	-1,94591	-2,32045

Таблица 11 - Оценки параметров уровня подготовленности испытуемых

		θ0	θ
Учащиеся	1	-0,20067	-0,05745
	2	-1,09861	-1,0565
	3	0	0,165813
	4	0	0,165813
	5	1,386294	1,708207
	6	-0,40547	-0,28531
	7	-0,40547	-0,28531
	8	-0,61904	-0,52293

Роль последних двух формул в развитии современной теории тестов трудно переоценить, хотя на первый взгляд они имеют узкую практическую направленность. Эти формулы позволяют преодолеть ряд существенных недостатков классической теории тестов, поскольку с их помощью можно получить объективные оценки параметров испытуемых и заданий, не зависящие друг от друга и выраженные в единой интервальной шкале.

Благодаря особенностям математического аппарата IRT проведенные расчеты обеспечивают объективные оценки уровня подготовки каждого испытуемого, не зависящие от трудности заданий теста. Отмеченное свойство инвариантности позволяет провести корректное сравнение результатов испытуемых, выполнивших различные по трудности задания теста и даже разные тесты [9].

Аналогичное преимущество существует в IRT и для оценок трудности заданий теста. Получаемые по алгоритмам значения параметра  инвариантны относительно уровня подготовки испытуемых в тестируемой группе.

Хотя теория обещает инвариантность, в силу действия различных случайных факторов оценки параметров  и , полученные на нескольких выборках, будут, конечно, различаться. Если объем выборки достаточно велик, то можно ставить вопрос о вычислении устойчивых значений параметров  и , которые будут наиболее эффективными оценками и могут быть приняты в качестве объективных значений  и . Например, для вычисления таких эффективных оценок можно использовать метод наибольшего правдоподобия, предложенный Р.Фишером [7].

Тест считается удачно сбалансированным по трудности заданий, если

(27)

Далее на основе рассчитанных параметров уровня подготовленности учащихся и уровня трудности задания рассчитываются теоретические вероятности верного ответа для i-го учащегося или j-го задания теста по формулам (8) и (9).

	(8)
	(9)

В основном нас интересует только P_j. Эти данные используются далее в анализе адекватности вопроса, что будет более подробно рассмотрено в п.2.4.