Ил. Методические рекомендации по организации и проведению оценки РУМ. Методические рекомендации по организации и проведению оценки механизмов управления качеством образования в субъектах Российской Федерации
 Скачать 1.61 Mb.
|
|
Направление Пример показателей – динамика среднего балла по оценочным процедурам; – и т. п. Система объективности процедур оценки качества образования и олимпиад школьников – использование средних баллов ЕГЭ и ОГЭ для идентификации школ с необъективными результатами; – доля обучающихся, выполнивших проверочные тестовые работы на «4» и «5»; – доля обучающихся, получивших «4» и «5» по результатам оценочной процедуры; – и т. п. Система мониторинга эффективности руководителей всех образовательных организаций региона – доля выпускников 9 классов, имеющих итоговые отметки «хорошо» и «отлично»; – коэффициент превышения среднего балла ГИА-9 и ГИА-11; – показатели эффективности руководителей ОО, связанные с распределением численности обучающихся, получивших «2», «3», «4», «5»; – показатели, характеризующие долю не сдавших ЕГЭ/ОГЭ по русскому языку, математике/предметам по выбору; – средние баллы по процедурам оценки качества образования; – и т. п. Система мониторинга качества дополнительного профессионального образования педагогических работников – использование при оценке преподавания педагогов результатов ГИА; – доля выпускников, не получивших аттестат об основном общем образовании/среднем общем образовании, от общего числа выпускников выше среднего по муниципальному образованию; – и т. п. Так, например, использование средних баллов по оценочным процедурам не отображает полную картину, поскольку не учитывает особенностей распределения конкретных результатов (как для массива с незначительным разбросом значений, так и с очень большим среднее арифметическое может оказаться одинаковым), также Методические рекомендации по организации и проведению оценки РУМ 12 среднее чувствительно к «выбросам» – результатам, резко отличающимся (как в большую, так и в меньшую сторону) от основного массива данных. Кроме того, сопоставление результатов образовательных организаций со средними по региону/муниципалитету может демотивировать руководителей образовательных организаций, демонстрирующих результаты ниже среднего. Использование статистики по отметкам по итогам оценочной процедуры без подтверждения объективности процедуры на этапе проведения и проверки работ не позволяет осуществлять эффективное управление и принимать меры для устранения конкретных проблем. Для дальнейшего проведения мониторинга необходимо определить методы сбора и обработки информации по каждому из показателей и описать эти методы; в случае осуществления сбора информации с использованием информационных систем обязательно указать, по каким именно показателям и с помощью каких систем. Также стоит обратить внимание, что различные методики, анкеты, тесты, мониторинговые исследования являются не региональными показателями по направлению, а методами сбора информации. Следующий шаг при выстраивании управленческого цикла – проведение мониторинга, то есть осуществление сбора информации по разработанным показателям при помощи тех методов, которые были определены, и ее обработки. Кроме того, сведения о проведении мониторинга должны включать сроки проведения мониторинга и информацию об использовании результатов мониторинга. После осуществления мониторинга проводится анализ собранной информации по каждому из разработанных показателей, который должен включать не только описательную статистику, он предполагает выявление дефицитов и факторов, влияющих на результаты анализа, а также успешных практик. Для более глубокого изучения результатов можно использовать элементы кластеризации, то есть упорядочивания объектов в сравнительно однородные группы по ряду признаков. При этом рассмотрение результатов анализа в разрезе муниципалитетов не является кластеризацией. Итогом проведения анализа каждого из показателей является разработка адресных рекомендаций, которые могут включать сведения об использовании успешных практик. Кроме рекомендаций, регионы могут разрабатывать различные методические материалы, основанные на результатах анализа. После проведения анализа и разработки адресных рекомендаций принимаются меры и проводятся различные мероприятия, направленные на совершенствование направления. Представленные для оценки документы должны содержать сведения о сроках реализации мер/мероприятий, об ответственных за реализацию мер/мероприятий и об участниках мероприятий. По итогам проводимых мероприятий и принятых мер регионом принимаются управленческие решения, которые также должны включать сведения о сроках реализации, об ответственных и об участниках. Завершающим звеном управленческого цикла является анализ эффективности принятых мер, который должен быть представлен в виде описания тех мер, мероприятий и управленческих решений, которые проводились и были приняты. Анализ эффективности принятых мер должен включать сведения о сроках проведения анализа эффективности мер/мероприятий и выводы по каждому из них. Итогом проведения такого анализа является определение проблемы, которая ложится в основу при формировании нового управленческого цикла. Методические рекомендации по организации и проведению оценки РУМ 13 Реализация первых трех компонентов управленческого цикла возможна через разработку регионами концептуальных документов, следующих трех компонентов – через сбор и обработку данных о текущем состоянии системы образования (реализацию процессуальных документов), последних трех компонентов – через принятые регионами подходы (принятие и исполнение управленческих документов). Для получения максимальных баллов необходимо показать полный цикл управления от построения стратегии до проведения соответствующих измерений и использования результатов этих измерений для повышения эффективности управления. Методические рекомендации по организации и проведению оценки РУМ 14 Таблица 3 – Характеристика документов, подтверждающих сформированность компонентов управленческого цикла Компонент управленческого цикла Параметры оценивания компонента Характеристика документов Цели 1) наличие цели; 2) обоснование цели; 3) реалистичность цели Тип документа: концептуальный документ. Пример документа: региональная государственная программа, концепция, положение, модель, методология и т. п. Краткое содержание документа: документ должен содержать не только региональные цели и перечень задач, необходимых для реализации поставленной цели, но и обоснование их необходимости на основе ранее проведенного анализа, то есть выявленной проблемы, с учетом особенностей региона и актуальных федеральных тенденций. Кроме того, выдвигаемая цель и задачи должны быть реалистичными, то есть выполняемыми. Типичные ошибки в предоставлении документов: приказы о проведении процедур оценки качества образования, независимой оценки качества условий осуществления образовательной деятельности организациями, осуществляющими образовательную деятельность, о проведении олимпиад школьников, перечни школ, демонстрирующих низкие результаты обучения, методика идентификации школ с низкими образовательными результатами, дорожные карты и планы с различными мероприятиями, уставные документы о деятельности центра развития одаренности, центра профессиональной ориентации, института развития образования/повышения квалификации, учебно- методического объединения, положение об отраслевой оплате труда, документы, подтверждающие участие региона в федеральных конкурсах, мероприятиях, и т. п. Методические рекомендации по организации и проведению оценки РУМ 15 Компонент управленческого цикла Параметры оценивания компонента Характеристика документов Показатели 1) наличие показателя/перечня показателей; 2) соответствие показателей обоснованной цели; 3) наличие неэффективных показателей и/или показателей с негативными последствиями Тип документа: концептуальный документ. Пример документа: региональная государственная программа, концепция, положение, модель, методология либо отдельный документ, утверждающий показатели, и т. п. Краткое содержание документа: документ должен содержать перечни конкретных показателей, представляющих собой позиции/параметры оценивания и количественные/качественные результаты оценки, то есть те позиции/параметры, которые лягут в основу дальнейшего анализа; показатели должны быть реалистичными и соответствовать обоснованной цели. Типичные ошибки в предоставлении документов: сведения о проведении мероприятий, планы, дорожные карты, методики, показатели для осуществления выплат стимулирующего характера руководителям образовательных организаций, целевые показатели реализации проектов. При формировании перечня региональных показателей рекомендуется исключить неэффективные показатели и/или показатели с негативными последствиями, например вычисление средних баллов по процедурам оценки качества образования, рейтингование образовательных организаций по среднему баллу, использование средних баллов как показателей эффективности руководителей образовательных организаций и т. п. При использовании показателей, связанных с распределением школьных отметок по процедурам оценки качества образования, необходимо включить в региональные концептуальные документы регламент проведения этих процедур, подтвердить их объективность на этапе проведения и проверки Методические рекомендации по организации и проведению оценки РУМ 16 Компонент управленческого цикла Параметры оценивания компонента Характеристика документов Методы сбора и обработки информации 1) наличие описания методов сбора информации; 2) наличие описания методов обработки информации; 3) использование информационных систем для сбора информации Тип документа: концептуальный документ. Пример документа: региональная государственная программа, концепция, положение, модель, методология либо отдельный документ, утверждающий методы сбора и обработки информации, и т. п. Краткое содержание документа: документ должен содержать описание методов сбора и обработки информации по каждому из заявленных регионом показателей, алгоритм/порядок сбора информации, если сбор информации осуществляется с использованием информационных систем, то указать, по каким показателям, каких систем и каким образом. Типичные ошибки в предоставлении документов: обобщенные сведения о методах сбора информации, документы о проведении мероприятий Мониторинг показателей 1) наличие мониторинга показателей; 2) наличие сведений о сроках проведения мониторинга показателей; 3) наличие сведений об использовании результатов мониторинга показателей Тип документа: процессуальный документ. Пример документа: приказ о проведении мониторинга (региональных показателей), письмо участникам образовательных отношений о предоставлении сведений (по региональным показателям), выгрузка из информационной системы с собранными сведениями, например в виде электронных таблиц, и т. п. Краткое содержание документа: документ должен содержать сведения о проведении мониторинга показателей, о сроках его проведения, об участниках мониторинга (в отношении кого проводится мониторинг), об использовании результатов мониторинга показателей. Методические рекомендации по организации и проведению оценки РУМ 17 Компонент управленческого цикла Параметры оценивания компонента Характеристика документов Типичные ошибки в предоставлении документов: приказ о проведении мониторинговых исследований и процедур оценки качества образования, компетенций учителей, других оценочных процедур Анализ результатов мониторинга 1) наличие анализа результатов мониторинга показателей; 2) использование элементов кластеризации при проведении анализа; 3) выявление факторов, влияющих на результаты анализа Тип документа: процессуальный документ. Пример документа: анализ результатов мониторинга региональных показателей, рассмотренный, например, на заседании рабочей группы и т. п., направленный участникам образовательных отношений. Краткое содержание документа: документ должен содержать не просто описание статистических фактов, но и факторы, определяющие такие результаты; анализ предполагает выявление не только дефицитов, но и успешных практик; для более глубокого изучения результатов можно использовать элементы кластеризации, то есть упорядочивания объектов в сравнительно однородные группы по ряду признаков. Типичные ошибки в предоставлении документов: проведенные мероприятия, дорожные карты, в которых обозначено проведение анализа; распределение результатов по образовательным организациям не является кластерным анализом Адресные рекомендации по результатам анализа 1) наличие рекомендаций/материалов; 2) адресность рекомендаций/материалов; Тип документа: процессуальный документ. Пример документа: адресные рекомендации, рассмотренные на общественном совете/рабочей группе и т. п., направленные участникам образовательных отношений, рекомендации по использованию успешных практик, рассмотренные на общественном совете/рабочей группе и т. п., методические материалы, размещенные в открытом доступе/направленные участникам образовательных отношений. Методические рекомендации по организации и проведению оценки РУМ 18 Компонент управленческого цикла Параметры оценивания компонента Характеристика документов 3) учет результатов анализа при разработке рекомендаций/материалов Краткое содержание документа: документ должен содержать конкретные рекомендации конкретным участникам образовательных отношений (конкретным муниципалитетами, школам, относящимся к конкретному кластеру, руководителям ОО, педагогам, родителям и т. п.), направленные на устранение выявленных в ходе проведения анализа дефицитов, рекомендации по использованию успешных практик, позволяющие достичь более высоких результатов, а также различные методические материалы, разработанные по итогам проведенного анализа. Типичные ошибки в предоставлении документов: общие рекомендации, отсутствие адресности Меры, мероприятия 1) наличие мер/мероприятий; 2) наличие сведений о сроках реализации мер/мероприятий; 3) наличие сведений об ответственных/участниках Тип документа: управленческий документ. Пример документа: приказ о проведении мероприятия, письмо о проведении мероприятия участникам мероприятия, утвержденный комплекс мер, дорожная карта с перечнем мер/мероприятий, утвержденный план по устранению выявленных в ходе проведения анализа недостатков, подписанная программа проведения мероприятия, подписанная повестка, подписанный протокол проведения мероприятия. Краткое содержание документа: документ должен содержать сведения о принимаемых мерах/проведенных мероприятиях, сведения о сроках реализации мер/мероприятий, об ответственных и об участниках. Типичные ошибки в предоставлении документов: новостная лента с сайта, новостная лента из социальных сетей, дорожные карты/комплексы мер, разработанные без учета анализа мониторинга региональных показателей, документы, являющиеся концептуальными Методические рекомендации по организации и проведению оценки РУМ 19 Компонент управленческого цикла Параметры оценивания компонента Характеристика документов Управленческие решения 1) наличие управленческих решений; 2) наличие сведений о сроках реализации управленческих решений; 3) наличие сведений об ответственных/участниках Тип документа: управленческий документ. Пример документа: нормативный правовой акт органа исполнительной власти субъекта Российской Федерации в сфере образования и т. п. Краткое содержание документа: документ должен содержать сведения о принимаемых управленческих решениях (в том числе о поощрении), сведения о сроках реализации управленческих решений, об ответственных и об участниках. Типичные ошибки в предоставлении документов: аналитические материалы, мероприятия, отчеты о принятых мерах Анализ эффективности принятых мер 1) наличие анализа эффективности мер/мероприятий; 2) наличие сведений о сроках проведения анализа эффективности мер/мероприятий; 3) определение проблемы по итогам проведенного анализа Тип документа: управленческий документ. Пример документа: отдельно проведенный анализ, отчетный документ. Краткое содержание документа: документ должен содержать результаты проведения мер/мероприятий, сведения о динамике замеряемых показателями явлений и процессов, сведения о сроках проведения анализа эффективности мер/мероприятий; итогом проведения анализа эффективности принятых мер является определение проблемы, которая ляжет в основу обоснования новой региональной цели при выстраивании нового управленческого цикла. Типичные ошибки в предоставлении документов: только статистические данные по результатам проведенных мероприятий, анализ эффективности отдельных мероприятий, концептуальные документы, анализ результатов процедур оценки качества образования, отчет о самообследовании подведомственного ОИВ учреждения Методические рекомендации по организации и проведению оценки РУМ 20 1.3. Особенности направлений Оценки 1.3.1. Механизмы управления качеством образовательных результатов 1.3.1.1. Система оценки качества подготовки обучающихся При формировании концептуального документа по данному направлению целесообразно разделять региональные цели и задачи по достижению обучающимися планируемых результатов освоения образовательных программ по виду образовательных результатов (метапредметные и предметные) и по уровням образования (начальное общее, основное общее и среднее общее образование), так как при отсутствии конкретизации региональных целей и задач могут смещаться акценты в осуществлении оценки качества подготовки обучающихся, например в сторону освоения обучающимися программ только основного общего и среднего общего образования или в сторону только предметных результатов. Требования к результатам освоения основных образовательных программ отражены в федеральных государственных образовательных стандартах начального общего, основного общего и среднего общего образования. Показателями, соответствующими таким целям, могут выступать следующие: – доля обучающихся 1-4 классов, достигших базового уровня предметной подготовки, от общего числа обучающихся, осваивающих программы НОО; – доля обучающихся 5-9 классов, достигших высокого уровня метапредметной подготовки, от общего числа обучающихся, осваивающих программы ООО; – доля обучающихся 5-9 классов, успешно справившихся с заданиями высокого уровня диагностической работы; – доля выпускников 11 классов, получивших аттестат о среднем общем образовании; – и т. п. Показатели по оценке метапредметных результатов могут разрабатываться как в рамках отдельной процедуры оценки качества образования, направленной на выявление уровня освоения метапредметных результатов, так и в рамках оценочных процедур, содержащих отдельные задания, направленные на выявление уровня сформированности таких результатов. Цели и задачи по оценке функциональной грамотности должны быть направлены на выявление способности обучающихся применять полученные в школе знания и умения для решения учебно-практических и учебно-познавательных задач. Так, например, цели и задачи по оценке читательской грамотности предполагают выявление способностей обучающихся применять полученную в процессе чтения информацию в различных ситуациях, находить, анализировать и интерпретировать ее. Цели и задачи по оценке математической грамотности сосредоточены вокруг способностей обучающихся применять и интерпретировать математику для решения проблем реального мира. Цели и задачи по естественно-научной грамотности ориентированы на применение обучающимися естественно-научных знаний и умений в реальных жизненных ситуациях, в том числе в случаях обсуждения общественно значимых вопросов, связанных с практическим применением достижений естественных наук и т. п. Здесь региональными показателями могут выступать, например, следующие: – доля обучающихся, в отношении которых проводилась оценка функциональной грамотности, от общего количества обучающихся; Методические рекомендации по организации и проведению оценки РУМ 21 – доля обучающихся, успешно справившихся с заданиями по читательской грамотности, от общего количества обучающихся, в отношении которых проводилась оценка читательской грамотности; – и т. п. Обязательным условием при выстраивании региональной системы оценки качества образования, в том числе для осуществления эффективного управления, является объективность образовательных результатов. Поэтому региональные цели и задачи должны быть направлены на обеспечение объективности процедур оценки качества образования и олимпиад школьников как на этапе проведения, так и на этапе проверки работ. Показателями здесь могут выступать такие, как: – доля образовательных организаций с признаками необъективности ВПР; – доля образовательных организаций, охваченных общественным/независимым наблюдением, при проведении процедур оценки качества образования; – доля образовательных организаций, охваченных общественным/независимым наблюдением, при проведении Всероссийской олимпиады школьников; – и т. п. Формирование целей и задач по повышению уровня образовательных результатов в регионе на основе анализа результатов Национальных исследований качества образования (НИКО) и международных сопоставительных исследований в сфере образования (МСИ) ориентировано не только на регионы, принимающие участие в таких исследованиях. Несмотря на то что НИКО являются выборочными исследованиями, они позволяют делать выводы не только о качестве подготовки непосредственных участников исследования, но и об общем уровне знаний предмета у обучающихся соответствующих классов в регионах со схожими условиями и в России в целом. Так, на региональном уровне результаты НИКО могут быть использованы для совершенствования деятельности педагогического сообщества, в работе региональных институтов развития образования/повышения квалификации и, при необходимости, для корректировки образовательных программ. Участие Российской Федерации в МСИ позволяет проводить анализ характеристик российской системы образования в контексте мировых образовательных тенденций. Несмотря на то что выборка участников МСИ репрезентативна по стране, результаты выполненных работ могут использоваться для развития системы оценки качества образования не только на федеральном уровне, но и на региональном, например для разработки и корректировки программ развития региональных систем образования, совершенствования системы аттестации и системы повышения квалификации педагогов и др. Помимо этого следует учитывать тот факт, что до 2024 года, все субъекты Российской Федерации примут участие в исследовании «Оценка по модели PISA». Эффективность использования результатов данного исследования во многом зависит от способности региональной системы оценки качества подготовки работать с подобными данными. |