методология 1 ответы на вопросы. Скрипачева Н. Ю., слушатель группы 920до пд 321 Что понимается под методами исследования
 Скачать 53.17 Kb.
|
|
10. Какие требования предъявляются к подбору экспертов? Эксперт должен быть высококвалифицированным специалистом в принятии решения. Но, естественно, не всегда может быть приглашен эксперт, так как проблема, по которой необходимо принять решение, ограничена во времени. И тогда в роли эксперта может оказаться менее квалифицированный человек. Общие требования, предъявляемые к эксперту: • компетентность; • креативность, развитые творческие способности, позволяющие анализировать проблемные ситуации и находить пути разрешения противоречий; • отсутствие склонности к конформизму, принятию мнения большинства; • научная объективность; • аналитичность, широта и конструктивность мышления; • позитивное отношение к инновациям, отсутствие консерватизма, т.е. стремления придерживаться однажды избранной позиции. 11. В чём специфика метода тестирования? В связи со спецификой предмета педагогической психологии одни из названных выше методов используются в ней в большей степени, другие – в меньшей. Однако все большее распространение в педагогической психологии получает метод тестирования. Тест (англ. test – проба, испытание, проверка) – в психологии – фиксированное во времени испытание, предназначенное для установления количественных (и качественных) индивидуально-психологических различий. Тест – основной инструмент психодиагностического обследования, с помощью которого осуществляется психологический диагноз. От других способов обследования тестирование отличается: – точностью; – простотой; – доступностью; – возможностью автоматизации. Тестирование предполагает, что обследуемый выполняет определенную деятельность: это может быть решение задач, рисование, рассказ по картинке и прочее – в зависимости от используемой методики; происходит определенное испытание, на основании результатов коего психолог делает выводы о наличии, особенностях и уровне развития тех или иных свойств. Отдельные тесты – это стандартные наборы заданий и материала, с коим работает испытуемый; стандартна и процедура предъявления заданий, хотя в некоторых случаях предусматриваются определенные степени свободы для психолога – право задать дополнительный вопрос, построить беседу в связи с материалом и пр. Процедура оценки результатов тоже стандартна. 12. Перечислите типы тестирования. По мере использования тестов была сформирована их классификация по цели и содержанию: * тесты личности -- для оценки эмоционально-волевых качеств индивидуума; * тесты интеллекта -- для анализа уровня развития познавательных процессов и функций мышления; * тесты способностей -- для оценки возможности в овладении различной деятельностью; * тесты достижений, с помощью которых оценивают развитие знаний, умений, навыков после обучения. Из всего многообразия типов стандартизованных тестов в образовании используют тесты достижений. Они создавались для проверки результатов обучения на разных ступенях получения образования, измерения эффективности программ и процесса обучения. Тесты достижений принято противопоставлять тестам способностей, состоящим из тестов общего интеллекта, комплексных батарей способностей и тестов специальных способностей. Можно сказать, что тесты способностей измеряют эффективность обучения в относительно неконтролируемых и неизвестных условиях, в то время как тесты достижений измеряют эффективность обучения при частично известных и контролируемых условиях. По способу предъявления различают тесты: бланковые (машиночитаемые бланки, тестовые тетради); предметные (манипуляция материальными объектами рассчитана на быстроту реакции и четкость действий); аппаратурные (с использованием специальной аппаратуры -- датчиков для фиксации сигналов); практические (аналоги лабораторных работ, но с тестовыми условиями заданий); компьютерные (как частный случай -- адаптивные). По характеру действий тесты делят на: вербальные; невербальные. По ведущей ориентации выделяют: тесты на скорость; тесты на результативность (мощность); смешанные тесты. По степени однородности задач тесты делят на: гомогенные, позволяющие измерить одно качество (уровень подготовки по одному предмету) однородными по составу заданиями; гетерогенные (многомерные) -- для измерения уровня подготовленности учащихся по нескольким учебным предметам и (или) свойствам личности. Гетерогенные тесты бывают полидисциплинарными и междисциплинарными[4]. Полидисциплинарные тесты состоят из гомогенныхсубтестов по отдельным дисциплинам. Результаты учеников по субтестам объединяются для подсчета итоговых баллов по всему полидисциплинарному тесту. Для выполнения заданий междисциплинарных тестов требуется применение обобщенных, межпредметных, интегративных знаний и умений. Междисциплинарные тесты всегда многомерны, их разработка требует обращения к факторным методам анализа данных, математико-статистическим методам многомерного шкалирования и т. д. По целям использования в системе образования: определяющий (знания или поведение обучаемого в начале обучения). Для отечественной системы образования наиболее приемлемый и используемый педагогами термин -- «тестирование во входном контроле». При входном контроле с помощью педагогических тестов можно ответить на вопрос -- насколько обучаемые владеют базовыми знаниями, умениями и навыками, чтобы успешно освоить новый материал, а также определить степень владения новым материалом до начала его изучения. Тесты для входного контроля, обычно называемые претестами (предварительными тестами), делятся на два типа. Претесты первого типа позволяют выявить готовность к усвоению новых знаний в классе. Они разрабатываются в рамках критериально-ориентированного подхода и содержат задания для проверки базовых знаний, умений и навыков, необходимых для усвоения нового материала, В основном эти претесты предназначены для наиболее слабых учеников, находящихся на границе между явно подготовленными и явно не подготовленными к началу усвоения нового материала. По результатам выполнения претеста проводится деление тестируемых на две группы, в одну из которых попадают те, кто может двигаться дальше, а в другую -- те, кто нуждается в дополнительной работе и консультациях педагога. П р е т е с т ы второго типа разрабатываются в рамках нормативно-ориентированного подхода. Они охватывают планируемые результаты предстоящего обучения и построены полностью на новом материале. По результатам выполнения претеста преподаватель принимает решение, позволяющее внести элементы индивидуализации в массовый учебный процесс. Если ученик показал некоторые предварительные знания по новому материалу, то план его обуче-ния необходимо перестроить и начать с более высокого уровня, чтобы учебный материал имел для него действительный характер новизны. Иногда роль входного претеста выполняет итоговый тест, который предназначен для будущей оценки результатов усвоения нового материала после завершения его изучения. 13. Раскройте виды тестовых заданий. Основная классификация тестовых заданий — задания: закрытого типа (когда ученику предстоит выбрать из готовых вариантов ответа); открытого типа (когда ученик сам находит ответ и вписывает в бланк). Задания закрытого типа, в свою очередь, делятся на: тесты, в которых можно выбрать один вариант ответа (множественный выбор; radio-кнопка). Ответ засчитывается, если ученик выбрал его правильно. Варианты: простой выбор — один ответ из 4-5; простой выбор из множества — один ответ из 6-15; выбор наиболее точного ответа из представленных. тесты, в которых можно выбрать несколько вариантов ответа — поставить галочки, но правильным может быть как один, так и несколько вариантов ответа (альтернативный выбор, checkbox). Ответ за тест может засчитывается только если все ответы даны правильно (нет ни лишних, ни недостающих) или начисляется балл за каждый правильный ответ и вычитается балл за каждый неправильный ответ. Варианты: сложный выбор — двух и более правильных ответов из 4-5; сложный выбор из множества — двух и более правильных ответов из 6-15. По целям использования: входное тестирование обеспечивает проверку знаний и умений в начале обучения; формирующее и диагностическое тестирование предполагает контроль за формированием новых знаний и умений в процессе обучения; тематическое, итоговое, рубежное тестирование обеспечивает определение итоговых достижений. Входное тестирование проводится в начале обучения или следующего его этапа, для того чтобы определить степень владения необходимыми (базовыми) знаниями и умениями для изучения предлагаемой дисциплины, т.е. входное тестирование позволяет выявить готовностьк усвоению новых знаний у учащихся. С помощью входного тестирования также определяют степень владения новым материалом до начала его изучения. Формирующий тест (т.е. помогающий формировать качественные знания) используется для определения качества усвоения материала по отдельному разделу или теме. Задания, включенные в тест, нацелены на проверку изучаемого или только что изученного материала или темы. Он выполняет функцию обратной связи между преподавателем и обучаемым. Если большинство тестируемых не справляется с формирующим тестом, то необходимо дополнительное повторение, детализация и закрепление изучаемого материала. Если несправившихся с тестом меньшинство, то освоение новых тем и разделов дисциплины продолжается по плану, а с отстающими проводится индивидуальная дополнительная работа. Формирующий тест способствует своевременному выявлению и устранению пробелов в процессе обучения. Диагностический тест, используемый в текущем контроле, направлен на выявление причин допущенных ошибок, на выяснение, почему возникли те или иные пробелы в знаниях учащихся, систематические ошибки. Диагностический тест состоит из заданий, на определенную конкретную область содержания, такие задания отличаются предельной детализацией, что помогает отследить, на каком этапе возникают ошибки. Диагностический тест проводится после формирующего, когда определены систематические ошибки, устойчивые пробелы. Анализ результатов диагностического теста помогает установить причины ошибок и пути их устранения. Итоговое тестирование проводится по окончании обучения и служит для оценки результатов обучения, т.е. определяет его эффективность: насколько реальные результаты совпадают с ожидаемыми, планируемыми, насколько они соответствуют стандарту. Итоговый тест охватывает достаточно широкую область содержания изученной темы, раздела, дисциплины, этапа обучения. В итоговый тест включаются задания на проверку знаний самых важных элементов содержания, сформированность необходимых навыков. В настоящее время существует два подхода к разработке тестов нормативно-ориентированный и критериально-ориентированный, соответственно различают два вида тестов: нормативно-ориентированный; критериально-ориентированный. Тест, созданный в рамках нормативно-ориентированного подхода, позволяет сравнивать уровень учебных достижений испытуемых друг с другом. Данный вид теста направлен на сопоставление результатов каждого учащихся с результатами других, выполнявших тот же тест. Таким образом, основной задачей нормативно-ориентированного теста является дифференциация испытуемых. Сразу же возникает вопрос, как интерпретировать результат теста при нормативно-оринтированном подходе. Так как один и тот же испытуемый с одинаковым результатом в более слабой группе будет занимать позицию более выгодную, чем в сильной группе тестируемых., т.е. оценка будет носить относительную характеристику. Тестологи пришли к идее выработки норм, относительно которых и будут оцениваться результаты испытуемых. Нормы нельзя просто задать, они устанавливаются эмпирическим путем. На практике это происходит следующим образом. Тестируется вся популяция, для которой разрабатывался тест, а потом сравнивается индивидуальный балл учащегося с полученными результатами. Популяция - это множество испытуемых, которые обучались какой-либо дисциплине по определенной программе. Но размер популяции может ограничиваться несколькими классами школы, а может охватывать целый регион или всю страну. Протестировать такое огромное количество испытуемых для определения норм практически невозможно. Поэтому нормы устанавливаются по результатам выполнения теста представительной выборкой учеников (группы испытуемых, которая адекватно репрезентирует популяцию). Наличие стандартизированных норм позволяет сравнить индивидуальный балл каждого испытуемого с установленными нормами и оценить его место среди других испытуемых. Надо иметь в виду, что действие норм ограничено. Целью нормативно-ориентированного теста является сравнение достижений испытуемых друг с другом. Критериально-ориентированный тест служит для определения уровня освоения учащимся содержания какого-либо предмета, дисциплины, раздела, темы. В основе такого теста лежит сопоставление продемонстрированных знаний и умений испытуемого (правильно выполненные задания) с планируемым объемом знаний и умений в какой-то конкретной области содержания (математика, физика, русский язык; отдельные темы, разделы). Критерий оценки (сколько % заданий по каждому разделу должно быть выполнено правильно) задается экспертами на основе образовательных стандартов. По средствам предъявленияпедагогические тесты делятся бланковые, в которых испытуемые отмечают или вписывают правильные ответы на бланке; компьютерные — задания высвечиваются на мониторе компьютера. Преимущества компьютерного тестирования в быстроте, в экономии бумаги. Но есть и некоторые недостатки. Компьютерное тестирование может провоцировать случайные ошибки (если испытуемый плохо владеет компьютером), невозможность исправить допущенную ошибку может снизить результат. 14. Охарактеризуйте критерии качества измерений в общественных науках: объективность, надежность, валидность. Приступая к выбору методики, экспериментатор должен иметь четкое представление о том, что именно он хочет измерить, и удовлетворят ли результаты измерения требованиям адекватного решения исследовательской или практической задачи. В первую очередь ему надлежит доказать валидность, надежность и объективность избранной методики. Под валидностью методики понимается адекватность ее предмету исследования. С одной стороны, валидность показывает пригодность методики для измерения того, для чего она была создана, с другой - ее эффективность, действенность. Количественно валидность определяется путем установления взаимосвязи между результатами, полученными с помощью данной методики, и каким-либо из внешних критериев. Например, очевидно, что успешность обучения в какой-то степени обусловлена уровнем интеллектуального развития обучаемого и поэтому, в качестве внешнего критерия правомерно рассматривать оценку его успеваемости. Допустим, что было проведено тестовое исследование умственного развития группы лиц, например студентов, с помошью избранной методики. Так вот, применяемая методика может считаться валидной лишь в том случае, если между результатами тестирования и оценкой успеваемости в обучении будет обнаружена положительная взаимосвязь. Не менее важным аспектом оценки качества методики является ее надежность. Под надежностью психологической методики понимается точность, устойчивость производимых с ее помощью измерений. Иначе говоря, через надежность определяется пригодность данной методики в качестве измерительного инструмента. Надежность позволяет судить о том, насколько внушают доверие полученные результаты. Для проверки используют методы корреляции (коэффициент корреляции Спирмена или Пирсона). Наконец, объективность методики характеризует степень независимости результатов измерения от пользователя данной методики. Объективными результаты будут лишь в том случае, если, во-первых, они независимы от личностных особенностей пользователя, и, во-вторых, исключен произвол в их обработке и интерпретации. Для проверки валидности и надежности методик чаше всего привлекаются количественные (статистические) критерии оценки. Объективность методики можно обосновать исходя из положений общей теории измерений и специфики их в отношении психологического исследования. Конечно, это вовсе не означает, что психологическое исследование исчерпывается измерением. Однако знание разнообразных измерительных процедур вооружает психолога исследовательским инструментом, с помощью которого он способен решать психологические задачи. 15. В чём сущность построения тестов различного уровня? Отечественный исследователь В. П. Беспалько рассматривает конструирование педагогических тестов на четырех уровнях в соответствии с четырьмя уровнями обученности испытуемых. На уровне знакомства должны использоваться тесты по узнаванию, т.е. отождествлению объекта и его обозначения. Такими тестами могут стать задания на опознание, различение или классификацию объектов, явлений и понятий. Тесты на опознание достаточно просты, они должны привести в результате к одному из альтернативных ответов: да – нет, относится – не относится, согласен – не согласен. Тесты на различение более сложные, от предыдущих отличаются тем, что их выполнение осуществляется в условиях выбора правильного решения среди имеющихся различных вариантов. На втором уровне, уровне репродукции, наиболее простыми являются тесты-подстановки, в которых намеренно пропущено слово, фраза, формула или другой какой-либо существенный элемент текста. Здесь возможны также конструктивные тесты, в которых учащимся в отличие от теста-подстановки не содержится никакой помощи даже в виде намеков. В качестве тестов второго уровня могут использоваться и типовые задачи. Это такие задачи, условия которых позволяют «с места» применять известную разрешающую их процедуру (правило, формулу, алгоритм) и получать необходимый ответ на поставленный в задаче вопрос. Именно необходимость поисковой деятельности исключается в типовых задачах, так как условия в них формулируются близкими к тем, которые имели место в учебной обстановке, а для их решения можно воспользоваться готовым алгоритмом или формулой. Например, тест «Является ли слово «белизна» существительным?» может служить примером типовой задачи, так как отнесение различных слов к определенным частям речи требует использования определенного правила (разрешающей процедуры). Эти правила применяются здесь непосредственно. В тех случаях, когда условия задачи не позволяют непосредственно усмотреть то правило, которое может быть использовано для получения необходимого ответа, и требуется соответствующее предварительное преобразование условий задачи или самого правила, мы имеем дело с нетиповой задачей. Примером нетиповой задачи может быть следующая: «Образуйте из слова «белый» другие возможные части речи». Деятельность в данном случае не регулируется однозначно правилами, а требует их преобразованного применения. Это уже тест третьего уровня. При выполнении тестов второго уровня учащимся демонстрируется только знание способов деятельности применительно к разобранным в процессе обучения ситуациям. Учащийся, воспроизводя сообщенные ему правила действия на типовых примерах, никакой новой информации самостоятельно не получает. Третьему уровню соответствуют задания, содержащие продуктивную деятельность, в процессе которой необходимо использовать знания-умения. Тестами третьего уровня могут стать нетиповые задачи на применение знаний в реальной практической деятельности. Условия задачи формулируются близкими к тем, которые имели место в реальной жизненной обстановке. Решение задачи третьего уровня сводится в сведении ее к типовой задаче путем очистки от привходящих обстоятельств, рассеивающих внимание, и нахождения скрытых в ней дополнительных условий. При решении тестов этого уровня учащийся не просто оперирует имеющейся информацией о способах деятельности, но и получает субъективно новый результат, который раньше не был ему известен. В ходе выполнения тестов третьего уровня учащийся каждый раз решает для себя вопрос, как использовать известный ему способ деятельности в новой ситуации. Он не просто применяет этот способ действия в известной обстановке, как в тестах второго уровня, а каждый раз преобразует его в связи с необычной ситуацией, осуществляет поиск метода решения, а не только результатов. Тесты четвертого уровня – это проблемы, решение которых есть творческая деятельность, сопровождающаяся получением объективно новой информации. Тестами четвертого уровня выявляется умение учащихся ориентироваться и принимать решения в новых, проблемных ситуациях. Тест имеет задание и эталон, по которому сравниваются ответы учащихся. При конструировании тестов четвертого уровня трудно предусмотреть эталон, так как предполагается, что результат предстоит получить объективно новый. Если метод получения результата известен, то данный тест становится тестом третьего уровня, то есть с получением лишь субъективно нового результата. В качестве проблем для создания тестов четвертого уровня рекомендуется выбирать такие, которые могут быть разрешены существующими средствами современной науки, уже хорошо «просматриваются» методически и стоят на повестке дня. В решении таких проблем проявляется научная эрудиция испытуемого, умение выдвигать и проверять обоснованные гипотезы, применять соответствующие методики исследования, прогнозировать возможные трудности. Проблемные ситуации в тестах четвертого уровня создаются двумя способами. Во-первых, в учебных целях применяются уже исследованные проблемы, решение которых широко не опубликовано. В этом случае найденное в публикациях решение проблемы может стать эталоном теста четвертого уровня. Этот путь создания тестов пригоден лишь в студенческих учебных условиях, но не пригоден для поступающих в аспирантуру. Именно этим должны отличаться диссертации на соискание ученой степени бакалавра наук от кандидатских диссертаций. Во-вторых, в качестве задания теста четвертого уровня может быть проблема, еще не получившая своего разрешения. В качестве эталона используется созданная экспертами методика разрешения сформулированной проблемной операции, хотя решения в деталях теста-проблемы еще нет. |