Главная страница
Навигация по странице:

  • Нормативно-правовая база

  • Планируемые результаты освоения программы.

  • Модель диагностической системы включает в себя

  • Личностные результаты

  • Метапредметные результаты

  • Основные требования к использованию диагностического инструментария

  • 7. Диагностический инструментарий.

  • Основные показатели результативности диагностирования

  • Методический инструментарий. Методические рекомендации- «Диагностический инструментарий оцени. Методические рекомендации Диагностический инструментарий оценивания качества реализации дополнительных общеобразовательных программам


    Скачать 143.5 Kb.
    НазваниеМетодические рекомендации Диагностический инструментарий оценивания качества реализации дополнительных общеобразовательных программам
    АнкорМетодический инструментарий
    Дата16.03.2023
    Размер143.5 Kb.
    Формат файлаdoc
    Имя файлаМетодические рекомендации- «Диагностический инструментарий оцени.doc
    ТипМетодические рекомендации
    #995292


    Методические рекомендации:

    «Диагностический инструментарий оценивания качества реализации

    дополнительных общеобразовательных программам».

    Аннотация.
    Данные материалы предназначены для специалистов образовательных организаций Ростовской области, реализующих общеобразовательные программы дополнительного образования детей в помощь при осуществлении мониторинга результативности образовательного процесса на занятиях в детских объединениях, и при планировании учебного материала прогнозировать результаты.

    Методические рекомендации помогут педагогам определить не только уровень усвоения содержания дополнительной общеобразовательной программы, но и определять способность обучающихся применять на практике приобретенные знания, умения, навыки.

    Использование диагностического инструментария на всех уровнях организации образовательной деятельности позволит систематизировать оценочный процесс и выработать критерии оценки качества и формы фиксации результатов


    1. Пояснительная записка.

    В дополнительном образовании диагностический процесс предполагает не только констатацию конечного результата обучения, но и постоянное сопровождение образовательного процесса, что является эффективным педагогическим средством активизации деятельности обучающихся, понимания обучающимся критериев и оснований оценки.

    Проверить «уровень обученности» в образовательной деятельности не возможно, так как в дополнительном образовании нет, образовательных стандартов. Поэтому для каждой общеобразовательной программы педагогу необходимо разработать свой пакет диагностических методик. В программе должны быть отражены формы, методы и виды диагностического инструментария по выявлению реальных достижений обучающихся в детском объединении, на каждый год обучения. Использование диагностического инструментария в педагогической диагностики позволит педагогам совершенствовать технологии обучения и воспитания.

    Необходимость предъявления результатов реализации дополнительных общеобразовательных программ возникла из - за:

    - неудовлетворенности качеством дополнительного образования государством и потребителями (на основе анализа нормативных и информационных документов);

    - введения в действие эффективного контракта в образовании, как способа стимулирования педагогов;

    - конкуренции между образовательными организациями ввиду введения системы персонифицированного обучения.

    Вопросами разработки и внедрения инструментариев, механизмов и критериев для оценки результативности программ занимались: Ш.А. Амонашвили, А.Г. Бермуса, Л.Н. Буйлову, И.В. Ильина, М.Р. Катунову, Л.Г. Логинову, Н.Ю. Максимову, Т.Г. Новикову, М.М. Поташника, А.С. Прутченкова, Н.Ф Радионову, Л.Л. Редько, Л.М. Фридмана, Т.И. Шамова, Д.Б. Эльконина и др.

    Разработка универсальной и единой системы оценки качества в дополнительного образования до сих пор не решена.

    1. Нормативно-правовая база:


    - Федеральный закон от 29.12.2012 года № 273 - Ф3 «Об образовании в Российской Федерации»;

    - Указ Президента Российской Федерации № 474 от 21.07.2020 года «О национальных целях развития России до 2030 года»;

    - Приказ Министерства образования и науки РФ от 09.11 2018 года № 196 «Об утверждении порядка организации и осуществления образовательной деятельности по дополнительным общеобразовательным программам»;

    - Приказ Минтруда России от 05.05.2018 года № 298н «Об утверждении профессионального стандарта «Педагог дополнительного образования детей и взрослых»;

    - Приказ Министерства образования и науки РФ от 23.08. 2017 года № 816 «Об утверждении порядка применения организациями, осуществляющими образовательную деятельность, электронного обучения, дистанционных образовательных технологий при реализации образовательных программ»;

    - Письмо Министерства образования и науки РФ от 18.11.2015 года № 09-3242 «Методические рекомендации по проектированию дополнительных общеобразовательных программ»;

    - Постановление Главного государственного санитарного врача Российской Федерации от 28.09.2020 года № 28 «Об утверждении СанПиН 2.4.3648-20 «Санитарно-эпидемиологические требования к организациям воспитания и обучения, отдыха и оздоровления детей и молодежи»;

    - Областной Закон Ростовской области от 14.11.2013 года № 26-ЗС «Об образовании в Ростовской области».


    1. Планируемые результаты освоения программы.

    Результаты освоения программы при планировании формулируют, как совокупность знаний, учений, навыков, а так же личностных, метапредметных и предметных, результатов, которые приобретают обучающиеся в освоении программы, с учетом цели и содержания. Обязательным компонентом образовательного процесса является диагностика результатов обучения, которая позволяет определить эффективность обучения по программе, увидеть результаты своего труда обучающимся.

    Оценка сформированности учебных действий является:

    - соответствие возрастно-психологическим нормативным требованиям;

    - соответствие универсальных свойств и действий заданным требованиям;

    - сформированность у обучающихся учебной деятельности, отражающая уровень развития метапредметных действий.

    Логическим завершением реализации любой программы является определение результатов ее освоения обучающимися путем проведения педагогического мониторинга.

    Мониторинг - это постоянное организованное наблюдение за каким-либо процессом с целью сопоставления наличного состояния (точнее, постоянно сменяющих друг друга состояний) с ожидаемыми результатами, постоянное отслеживание хода каких-либо процессов по четко определенным показателям.
    Модель диагностической системы включает в себя:

    1. Прогнозируемые результаты (из целей и задач программы).

    2. Определение дескрипторов, индикаторов достижения тех или иных результатов.

    3. Определение измерительных инструментов для осуществления диагностики результативности (критерии, показатели).

    4. Определение способов и методов отслеживания и оценки результатов (методики педагогической диагностики).

    5. Шкалы и критерии оценивания полученных результатов.

    Результат образовательной деятельности необходимо рассматривать с точки зрения решения образовательных задач: обучающих, воспитательных, развивающих, сформулированных в дополнительной общеобразовательной программе.

    Результаты образовательной деятельности включают решение образовательных задач: обучающих, воспитательных, развивающих, сформулированных в дополнительной общеобразовательной программе и формулируют аспекты  личностного развития обучающегося.

    Диагностирование осуществляем по направлениям:

    1. Диагностирование уровня обученности (предметных результатов)главной задачей является оценка реального объёма и качества знаний, умений и навыков.

    2. Диагностирование уровня личностного развития  (это - метапредметные и личностные результаты ), главной задачей является оценка влияния занятости выбранным видом деятельности  на их личностное развитие с  учётом индивидуальных особенностей детей.

    Диагностика результатов обучения обязательный компонент образовательного процесса в УДОД. Осуществление построения задач и результатов по их значимости:

    Предметные результаты - достигаются обучающимися в процессе изучения предмета и выражаются в уровне усвоении обучающимися изучаемого предмета (знания, умения и навыки, опыт решения проблем, опыт творческой деятельности).

    Личностные результаты это система ценностных отношений к себе, обучению, другим участникам образовательного процесса, самому образовательному процессу и его результатам.

    Уровень сформированности личностных результатов обучающихся:

    1. Соблюдениенорм и правил поведения, принятых в образовательном учреждении.

    2. Участие в общественной жизни образовательного учреждения и ближайшего социального окружения, общественно-полезной деятельности.

    3. Инициативе и ответственности за результаты обучения, готовность и способность к саморазвитию и самообразованию на основе мотивации к обучению и познанию.

    4. Готовности и способности делатьосознанный выборсвоей образовательной траектории, в том числе выбор направления профильного образования, проектирование индивидуального образовательного маршрута.

    5. Ценностно-смысловых установках обучающихся: ценности здорового и безопасного образа жизни, осознание значения семьи в жизни человека и общества, ценности уважения к другому человеку, его мнению, мировоззрению, культуре, вере и т.д.

    Метапредметные результаты результаты формируются в организации своей деятельности, умения планировать и оценивать свою деятельность, применять полученную информацию на практике и переносить во внеучебную (жизненную) деятельность.

    Метапредметные результаты отражают:

    1. Способность самостоятельно определять цель своего обучения, ставить новые задачи и  развивать мотивы и интересы своей познавательной деятельности.

    2. Умение планировать самостоятельно путь достижения целей и определять способы решения учебных и познавательных задач.

    3. Умение соизмерять свои действия с прогнозируемыми результатами, контролировать процесс достижения результатов, и вносить корректировки в изменяющеюся ситуацию.

    4. Способность оценивать собственные возможности при выполнении задачи.

    5. Владение основами самоконтроля, самооценки, принятия решений и осуществление выбора деятельности.

    6. Умение определять понятия, создавать обобщения, устанавливать аналогии, классифицировать, самостоятельно выбирать основания и критерии для классификации, устанавливать причинно-следственные связи, строить логическое рассуждение, и делать выводы.

    7. Умение создавать, применять и преобразовывать знаки и символы, модели и схемы для решения учебных и познавательных задач.

    8. Смысловое чтение.

    9. Умение организовывать сотрудничество и совместную деятельность с педагогом и сверстниками; работать индивидуально и в группе: находить общее решение и разрешать конфликты на основе согласования позиций и учета интересов; формулировать, аргументировать и отстаивать свое мнение.

    10. Умение использовать речевые средства в соответствии с задачей коммуникации для выражения своих чувств, мыслей и потребностей, планирования и регуляции своей деятельности; владение устной и письменной речью.

    11. Формирование и развитие компетентности в области использования информационно-коммуникационных технологий.

    Предметные, метапредметные и личностные результаты обучения не могут быть отделены друг от друга в современном образовании.

    5. Виды диагностики:

    1. Педагогическая диагностика – применяется педагогом самостоятельно, разрабатываются методы контроля и оценки определенных результатов по программе, направленные на совершенствование образовательной программы и методов педагогического воздействия.

    2. Психолого-педагогическая диагностика – применяется педагогом самостоятельно при определенных компетенциях в области психологии и направлена на изучение индивидуально-психологических особенностей обучающегося.

    3. Психологическая диагностика – проводится при помощи педагога-психолога, владеющего профессиональными компетенциями, и позволяющая получать информацию о способностях, интересах, склонностях и личностных особенностях обучающегося, а также выявить внутренние ресурсы.


    1. Основные требования к использованию

    диагностического инструментария:
    Диагностическое обследование, претендующие на достоверность получаемых результатов, должны проводиться с помощью использования научно обоснованных методик, отвечающих требованиям: валидности, надёжности, репрезентативности, стандартизации, точности, однозначности».

    1. Валидность - понятие «пригодный», указывающее на то, что измеряется диагностической методикой с высокой степенью достоверности - измерения тех свойств, качеств, явлений, которые будут измерить с помощью этого метода.

    2.Надёжность - инструментария, который должен точно измерять необходимые ему свойства. Устойчивость должна зависеть от измерительного инструмента, а не от состояния испытуемого, поведения экспериментатора и других факторов.

    3. Репрезентативность - это свойство выборочной совокупности, параметр характеризующий выборку испытуемых. Для получения стандартных норм и нормативных показателей необходимо тщательно выбрать количество испытуемых в соответствии с чётко обозначенным критерием (пол, возраст, интеллектуальное развитие и др.).

    4. Стандартизация – это регламентация, единая норма диагностической процедуры и единые требования к проведению обследования и оценке полученных результатов.

    5. Точность – это степень близости результатов к принятому опорному значению. Способность тонко реагировать на малейшие изменения оцениваемого свойства, качества, происходящие в ходе диагностического исследования.

    6. Однозначность – это способность отражать в своих показателях лишь то свойство или явление, для оценивания которого она предназначена. В получаемых результатах отражаются и другие показатели, не связанные с методикой, выходящие за пределы её валидности, тогда данная методика не соответствует критерию однозначности.

    7. Диагностический инструментарий.

    Мониторинговые исследования подразумевают наличие диагностического инструментария, при помощи которого осуществляется объективная оценка результативности. Инструменты должны быть просты и понятны не только педагогам, но и обучающимся и их родителям. Оценка предметных, метапредметных и личностных образовательных достижений обучающихся в организации системы дополнительного образования предполагает наличие педагогического инструментария, позволяющего выявить и зафиксировать результаты.

    Цель разработки диагностического инструментария: объективное определение результатов освоения обучающимися дополнительных общеразвивающих программ, фиксация результатов обучающихся через участия в конкурсах, выставках, конференциях различного уровня, коррекция дополнительных общеразвивающих программ.

    Инструментарий педагогической диагностики представляет собой описание проблемных вопросов, ситуаций, наблюдений, которые используются для определения уровня сформированности у обучающегося того или иного параметра оценки. Инструментарий педагогической диагностики в разных образовательных организациях будет различным. Наполнение развивающей среды у образовательной организации разное, как и разный контингент обучающихся и разные приоритетные направления образовательной деятельности.

    Анкетирование. Это метод педагогического исследования, массового сбора материала с помощью специально разработанных анкет, применяется в образовательном процессе для оценки результатов. Анкетирование предусматривает заполнение респондентом собственноручно специального бланка с вопросами анкеты. Анкета – распространенный вид диагностических и исследовательских методик, при составлении анкеты педагогу надо знать возрастные особенности обучающихся, их   опыт, в различных видах деятельности.  Анкетирование позволяет получить качественную и количественную информацию при массовых опросах.

    Индивидуальная беседа. Это метод систематического и последовательного обсуждения знаний, предполагающий участие педагога и обучающегося. Педагог слушает и учитывает мнение, своего собеседника, отношения строит с ним на принципах равноправия и сотрудничества. Беседа может быть подготовлена заранее, а может быть проведена спонтанно. Эффективность этого метода зависит от умения педагога управлять процессом, внимательно следить за временем, ставить основные и дополнительные вопросы, внимательно слушать ответы, учитывать эмоциональное состояние обучающихся.  Во время беседы про­исходит переоценка ценностей обучающимся и возмож­ность перестроить его поведение.

    Тесты. Тестирование - это исследовательский метод, который позволяет выявить уровень знаний, умений и навыков, способностей и других качеств личности, их соответствие определенным нормам путем анализа способов выполнения испытуемым ряда специальных заданий. Тестирование проводится в три этапа: выбор теста; место его проведения; подведение итогов - подсчѐт баллов с последующей интерпретацией результатов.

    Тесты должны быть:

    - краткосрочными, не требующие затрат по времени;

    - однозначными, не допускать произвольного толкования тестового задания;

    - стандартными, пригодными для практического использования измерения уровня обученности.

    Наблюдение. Самый распространѐнный и доступный метод исследования в педагогической практики. Наблюдение – это целенаправленное, организованное, фиксируемое восприятие участников педагогического процесса в естественной обстановке. Существует различные виды наблюдений: по степени охвата, регулярности проведения, по степени формализации, научное наблюдение и обыденное (житейское), прямое и косвенное, скрытое, включенное (участвующее) и не включенное (внешнее) наблюдение.

    Педагогический эксперимент -  это научно поставленный опыт изменения образовательной деятельности, направленный на создание условий для подтверждения (опровержения) научной гипотезы исследователя.Различают несколько видов экспериментов: естественный, лабораторный, традиционный (с одной переменной) и факторный (много переменных), формирующий, натурный (полевой, лабораторный) и мысленный (модельные) - от места и способа проведения эксперимента. В педагогическом эксперименте предметом являются общеобразовательные программы, приемы и методы обучения, организационные формы работы и влияние их на качество знаний, уровень овладения навыками, умениями, умственное развитие обучающихся.

    Анализ продуктов деятельности – изучение рисунков, поделок, сочинений и др., данный метод оценивает аккуратность, самостоятельность, бережливость обучающегося.

    Включение обучающихся в различные виды деятельности – индивидуальные, коллективные дела, поручения и др., оценивается качество выполнения и личные способности обучающегося.

    Интервью – метод сбора первичной информации в педагогических исследованиях. В интервью педагог (интервьюер) получает информацию от обучающегося (или группы обучающихся) в целенаправленной беседе. Различают виды интервью:

    - стандартизированное интервью - заранее сформулированы вопросы и последовательность, в которой они задаются.

    - нестандартизированное, свободное или ненаправленное интервью. Педагог работает по общему плану, сформулированному в соответствии с задачами исследования, вопросы задаются по ситуации.

    - полустандартизированное или фокусированное интервью. Педагог руководствуется перечнем строго необходимых и возможных вопросов при проведении интервью.

    Метод экспертных оценокэто метод поиска и результат применения метода, полученный на основании использования персонального мнения эксперта или коллективного мнения группы экспертов. Используется с целью последующего принятия решения или выбора, используется в работе судей на спортивных соревнованиях и в работе жюри на творческих конкурсах. Существует виды экспертных оценок:

    - индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.

    - коллективные оценки основаны на использовании коллективного мнения экспертов.

    Игровые методики – применяются в диагностике при наблюдении и анализе.

    Дневник достижений - отражает индивидуальные образовательные достижения обучающегося (в грамотах, дипломах, свидетельствах участника, призёра или победителя различного уровня конкурсов, конференций, олимпиад и др.). Что повышает собственную значимость обучающегося.

    Дневник-отчёт показывает личностный рост активности обучающегося в учебной, исследовательской и творческой. Направление его интересов и позволяет оценить выбора профиля обучения; содержит информацию о прохождении курсов по выбору, отчеты о профессиональных пробах; отражается в проектах и творческих работах.

    Дневник-оценка раскрывает личностный рост и развитие обучающегося; включает механизмы оценки и самооценки личностных достижений, рефлексии собственной деятельности; позволяет определить свои возможности и выбрать соответствующий профиль обучения, выражается в текстах эссе, заключений, рецензиях, отзывах, резюме, рекомендательных письмах, результатах диагностических исследований.

    «Карта личностного роста», отражает личностный рост обучающегося одновременно по нескольким критериям сразу и на весь о период обучения в образовательном учреждении. Ценность «Карт личностного роста» в том, что она способствует повышению самооценки обучающегося, раскрывает его индивидуальные возможности и развивает мотивацию дальнейшего творческого роста.

    Портфолио - инновационная технология, в основе которой используется метод оценивания результатов деятельности обучающихся, а главная цель «портфолио» - показать все, на что способен обучающийся.

    В дополнительном образовании «портфолио» помогает: выявить индивидуальные способности обучающегося и оценить уровень возможностей, скорректировать образовательный процесс, продемонстрировать обоснованность выбора профиля обучения. «Портфолио», как форма оценивания образовательных результатов обучающихся, предполагающая включенность участников образовательных отношений в процесс наполнения его материалами, что позволяет сформировать позитивное отношение к вопросам объективной оценки результатов обучения. «Портфолио» позволяет осуществить процедуру оценки предметных, метапредметных и личностных образовательных достижений обучающихся, и позволяет:

    - выявить индивидуальные способности обучающегося к определенному виду деятельности;

    - оценить уровень возможностей обучающихся и в соответствии с этим

    скорректировать образовательный процесс;

    - продемонстрировать обоснованность выбора профиля обучения

    Структура «портфолио» зависит от конкретных целей обучения, элементы «портфолио» датируются, для возможности отслеживания динамики учебного прогресса. В настоящее время разновидностью «портфолио» являются паспорта или сертификаты, где уделяется внимание оцениванию ключевых компетенций. Использовать «портфолио» можно в форме устной презентации в проектной деятельности, но необходимо разработать инструментарий индивидуальной накопительной оценки обучающегося. «Портфолио», один из видов педагогического инструментария оценивания образовательных результатов обучающихся, который предполагает вовлеченность обучающихся в процесс наполнения его материалами, что позволяет сформировать позитивное отношение обучающихся оценки результатов обучения.

    Основные показатели результативности диагностирования:

    1. Сохранность контингента обучающихся в течении учебного года.

    2. Умение педагога прогнозировать индивидуальный рост обучающегося и перспективу его развития.

    3. Заинтересованность обучающихся к занятиям в детском объединении и педагогу.

    4. Освоение обучающимися общеобразовательной программы.

    5. Соответствие результатов целям программы.

    6. Корректировка общеобразовательных программ.

    7. Результаты тестов, зачетов, экзаменов, соревнований и т.д.

    8. Оценка экспертных специалистов.

    8. Заключение.

    Сегодня практически все педагоги дополнительного образования считают педагогический мониторинг неотъемлемой частью образовательного процесса. Педагог должен уметь оценивать результаты своей деятельности по развитию личностного и образовательного потенциала обучающихся, владеть различными методами диагностики, видами диагностического инструментария, мониторинговых исследований и иметь документальное подтверждение о результатах освоения обучающимися общеобразовательной программы.

    Применение диагностического инструментария для оценивания индивидуальных достижений обучающихся в организации дополнительного образования детей служит не только инструментом оценивания, но и стимулированием обучающихся, соответствующий его профессиональному самоопределению. В методической разработке представлен диагностический инструментарий оценивания качества реализации дополнительных общеобразовательных программ.

    8. Список литературы.
    1. Быкова Т. В., Руденко Ж. П., Кочегарова С. А. Мониторинг личностного роста учащихся – миф или реальность? // Научно-методический электронный журнал «Концепт». – 2016.

    2. Голуб, Г.Б. Портфолио в системе педагогической диагностики

    [Текст] / Г.Б. Голуб, О.В. Чуракова // Школьные технологии. 2005. - №1.

    3. Гутник И.Ю. Педагогическая диагностика образованности школьников (Теория. История. Практика): Учебное пособие.- СПб.: Изд-во РГПУ им. А.И.Герцена, 2000.

    4. Гущина, Т.Н. Педагогическая студия «Технология педагогической оценки в системе мониторинга дополнительного образования детей» /Т.Н. Гущина // Дайджест «Внешкольник – Я». - 2013.

    5. Жашкова Е.Б., Шаршакова Л.Б. и др. Роль диагностики в педагогическом процессе учреждений дополнительного образования, СПб ГДТЮ, 2001.

    6. Ильина Т.В. Мониторинг образовательных результатов в учреждениях дополнительного образования детей (научно-методический аспект) в 2-х частях, часть 1. – Ярославль ГУ ЦДЮ, 2000.

    7. Логинова Л.Г. Контроль и самооценка качества в дополнительном образовании детей. Ж. Методист №1, 2009.

    8. Мониторинг качества образования: методическое пособие/ под общ.ред. Соломина В.П.- СПб: Изд-во РГПУ им. А.И.Герцена, 2008.

    9. Методическая рекомендация. Мониторинг качества образовательной деятельности в ГБОУ ЦРТДДиЮ «Технорамана Юго-Востоке», Москва, 2015.

    10. Мониторинг качества образования обучающихся в учреждениях дополнительного образования детей: Методические рекомендации/ Авт.-сост.: В.П. Осипов, Л.И. Патрушкина, С.М. Ишкаева, А.В. Щербаков; Под ред. А.В. Щербакова.- М.: АПКиППРО, 2012.

    11. Мониторинг качества учебного процесса: принципы, анализ, планирование/ Автор-составитель Попова Г.П. и др. – Волгоград: Учитель, 2007.

    12. Смирнова Н.В. Диагностическая деятельность в учреждениях дополнительного образования: Методические рекомендации. СПб: ДДТ «У Вознесенского моста», 2007.

    Интернет-ресурсы:

    - http://prodod.moscow/wp-content/uploads/2018/02/Metodicheskie-rekomendatsii-po-monitoringu-i-aktualizatsii-obrazovatelnyh-rezultatov.pdf (дата обращения 26.05. 2021 г.) – Режим доступа: свободный. – Текст: электронный.

    - studopedia.net/1_67262_tema--diagnostika-kontrol-i...nie-v-obuchenii.html

    - lektsii.org/5-3711.html (дата обращения 26.05.2021 г.) – Режим доступа: свободный. – Текст: электронный.

    - http://www.profile-edu.ru/monitoring-v-obrazovanii-vidy-monitoringa.html (дата обращения 26.05.2021 г.) – Режим доступа: свободный. – Текст: электронный.

    - infourok.ru/metodicheskie-rekomendacii-ocenka-kach.zovanii-4680188.html (дата обращения 26.05.2021 г.) – Режим доступа: свободный. – Текст: электронный.

    - lektsia.com/12xb0b4.html (дата обращения 27.05. 2021 г.) – Режим доступа: свободный. – Текст: электронны

    - sites.google.com/site/smoltechnogsv/3-3-testirovan...dania-testov-i-anket (дата обращения 27.05. 2021 г.) – Режим доступа: свободный. – Текст: электронный.

    books.google.co.uk/books?id=dEokEAAAQBAJ&pg=PA103&...Y9BdYQ6AEwB3oECAkQAw (дата обращения 09.06. 2021 г.) – Режим доступа: свободный. – Текст: электронный.

    - habr.com/ru/post/189626/ (дата обращения 07.06. 2021 г.) – Режим доступа: свободный. – Текст: электронный.

    - ru.wikipedia.org/wiki/Экспертное_оценивание (дата обращения 07.06. 2021 г.) – Режим доступа: свободный. – Текст: электронный.

    .


    написать администратору сайта