Размер:
Цвет:

Методика комплексной оценки качества образовательных результатов обучающихся общеобразовательных организаций, расположенных на территории Ханты-Мансийского автономного округа - Югры


Методика комплексной оценки качества образовательных результатов обучающихся общеобразовательных организаций, расположенных на территории
Ханты-Мансийского автономного округа – Югры
Ханты-Мансийск – 2019

СОДЕРЖАНИЕ
ТЕЗАУРУС
ВВЕДЕНИЕ
МЕТОДИКА И ИНСТРУМЕНТАРИЙ КОМПЛЕКСНОЙ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ РЕЗУЛЬТАТОВ ОБУЧАЮЩИХСЯ ОБЩЕОБРАЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЙ, РАСПОЛОЖЕННЫХ НА ТЕРРИТОРИИ ХАНТЫ-МАНСИЙСКОГО АВТОНОМНОГО ОКРУГА – ЮГРЫ
1    Основные принципы
2    Обязательные критерии и группы показателей
3    Система сбора информации
4    Группировка показателей и алгоритм формирования результатов
5    Состав показателей комплексной оценки за 2019 год
ЗАКЛЮЧЕНИЕ

ТЕЗАУРУС
Комплексная оценка качества образовательных результатов обучающихся – структурный элемент региональной системы оценки качества образования, представляющий собой систематическое стандартизированное (в части критериев и групп основных показателей) наблюдение за структурой и динамикой изменений интегрального показателя (индекса) образовательных результатов обучающихся образовательных организаций, реализующих программы начального, основного и среднего общего образования - показателя, формируемого с учетом результатов совокупности оценочных процедур в отношении учебных и вне учебных достижениях обучающихся за отчетный период (год), базируется на принципах открытости, объективности,  прозрачности, общественно-профессионального участия.
Индекс образовательных результатов (ИОР) – интегральный показатель, рассчитываемый за отчетный год для сравнения средних значений образовательных результатов обучающихся образовательных организаций, реализующих программы общего образования, формируемый на основе значений и весовых коэффициентов установленных настоящей Методикой показателей, относящихся к критерию идентификации «Устойчивость образовательных результатов обучающихся на уровне начального общего, основного общего и среднего общего образования», и распределенных по группам:
-     группа основных показателей «Государственная итоговая аттестация»;
-     группа основных показателей «Всероссийские проверочные работы»;
-     группа основных показателей «Региональные диагностические работы»;
-     группа вспомогательных показателей «Олимпиады»;
-     группа вспомогательных показателей «Образовательные и профессиональные траектории».
Индекс образовательных результатов для каждой образовательной организации принимает значение в диапазоне от 0 до 1, характеризуя положение организации относительно других участников исследования.
В зависимости от значения ИОР организации принято классифицировать по уровню достигнутых результатов: высокий (четвертый квартиль), выше среднего (третий квартиль), ниже среднего (второй квартиль) и низкий (первый квартиль) уровень.
Индекс социального благополучия школы (ИСБШ) – совокупный показатель, рассчитанный на основе регрессивной модели путем суммирования нескольких наиболее значимых контекстных характеристик с присвоенными весами, которые определяются по принципу наибольшего вклада показателей в дисперсию показателей успеваемости, характеризующий внешние условия образовательного процесса для каждой конкретной организации на основе анализа:
-     условий осуществления образовательной деятельности;
-     социальных характеристик обучающихся;
-     характеристики территории расположения организации.
В зависимости от значения ИСБШ организации принято классифицировать по уровню социального благополучия: высокий (четвертый квартиль), выше среднего (третий квартиль), ниже среднего (второй квартиль) и низкий (первый квартиль) уровень.
Квартиль – значения, которые делят таблицу данных (совокупность школ – участников исследования) на четыре группы, содержащие приблизительно равное количество наблюдений. Общее количество проранжированных по значению ИСБШ (ИОР) школ делится на четыре примерно равные части по 25 % каждая: от 1 квартиля (самого низкого значения индекса) до 4 квартиля (самого высокого значения индекса).
Контекстные характеристики – обстоятельства (социально-экономические характеристики контингента, ресурсной обеспеченности, территориальных особенностей образовательных организаций), в которых протекает образовательный процесс, внешние по отношению к этому процессу, но оказывающие на него существенное влияние. Для целей настоящего исследования критерий контекстного анализа «Устойчивость образовательных результатов обучающихся на уровне начального общего, основного общего и среднего общего образования» включает в себя следующие группы показателей:
-     группа показателей «Социальные условия»;
-     группа показателей «Тип образовательной организации»;
-     группа показателей «Кадровой состав организации».
Школы со стабильно высокими образовательными результатами – это группа школ, которые по совокупности образовательных результатов занимают лидирующие позиции, входя на протяжении последних 3-х лет в состав высокого (четвертого) квартиля ИОР.
Школы со стабильно низкими образовательными результатами – это группа школ, которые по совокупности образовательных результатов характеризуются как находящиеся в кризисной ситуации, входя на протяжении последних 3-х лет в состав низкого (первого) квартиля ИОР.
Школы, функционирующие в сложных социально-экономических условиях – это группа школ, которые по совокупности контекстных характеристик, оказывающих негативное влияние на качество образовательных результатов, характеризуются как находящиеся в кризисной ситуации.
Кризисная ситуация – это ситуация, последствия которой могут сказаться на эффективности работы организации, ее репутации и/или возможностях осуществления дальнейшей деятельности, требующая принятия нестандартных управленческих решений и мобилизации ресурсов.
Кризисная ситуация характеризует две группы общеобразовательных организаций:
-     школы со стабильно низкими образовательными результатами;
-     школы, функционирующие в сложных социальных условиях.
Школы «зоны риска» – группы школ, которые по выделенным признакам характеризуются как находящиеся в ситуации риска.
Ситуация риска (в широком смысле) – характеристика ситуации, имеющей неопределенность исхода, при обязательном наличии неблагоприятных последствий (это неуверенность или невозможность получения достоверного знания о благоприятном исходе при указанных ограничениях).
Ситуация риска (в узком смысле) – вероятность неблагоприятного исхода при наличии факта резкой дифференциации (неустойчивости) средних показателей образовательных результатов в динамике и/или в рамках различных оценочных процедур (ГИА, ВПР, РДР) по отдельной обследуемой организации, в т.ч. интерпретируемые как признаки необъективной оценки.
«Эффективные» школы – школы с одновременно высокими значениями ИСБШ и ИОР (среднее значение за последние 3 года), т.е. школы, укладывающиеся в обозначенные рамки и, в отсутствии социальных ограничениях, демонстрирующие высокие образовательные результаты.
«Резильентные» школы – школы с низким значением ИСБШ при одновременно высоком значении ИОР, т.е. школы, способные преодолевать заданные социальные ограничения и демонстрировать высокие результаты качества образования;
«Несправляющиеся» школы – школы с высоким значением ИСБШ и одновременно низким значением ИОР, т.е. школы, которые в отсутствии социальных ограничений показывают низкие образовательные результаты;
«Депривированные» школы – с одновременно низким значением ИСБШ и ИОР, т.е. школы, укладывающиеся в обозначенные рамки и, при имеющихся социальных ограничениях, демонстрирующие низкие образовательные результаты.
Условные обозначения
ВПР – всероссийская проверочная работа
ГВЭ – государственный выпускной экзамен
ГИА – государственная итоговая аттестация
ЕГЭ – единый государственный экзамен – форма государственной итоговой аттестации обучающихся по основным образовательным программам среднего общего образования
ИОР – индекс образовательных результатов
ИСБШ – индекс социального благополучия школы
ОГЭ – основной государственный экзамен – форма государственной итоговой аттестации обучающихся по основным образовательным программам основного общего образования
РДР – региональная диагностическая работа
ФЦПРО – Федеральная целевая программа развития образования на 2016-2020 годы
ВВЕДЕНИЕ
Государственная программа Российской Федерации «Развитие образования» на 2013-2020 годы, определяя своей целью обеспечение высокого качества российского образования в соответствии с меняющимися запросами населения, а также обеспечение его конкурентоспособности на мировом рынке образования, ставит одной из задач «создание современной системы оценки качества образования на основе принципов открытости, объективности, прозрачности, общественно-профессионального участия».
Федеральной целевой программой развития образования на 2016-2020 годы определена необходимость «формирование востребованной системы оценки качества образования и образовательных результатов». В качестве важнейшего целевого показателя ФЦПРО 2016-2020 заявлена «доля региональных систем общего образования, в которых разработаны и реализуются мероприятия по повышению качества образования в общеобразовательных организациях, показавших низкие образовательные результаты по итогам учебного года, и в общеобразовательных организациях, функционирующих в неблагоприятных социальных условиях, в общем количестве региональных систем общего образования».
Методическими рекомендациями по заполнению заявок на участие в открытом конкурсе региональных программ развития образования в целях предоставления бюджетам субъектов Российской Федерации субсидий на софинансирование расходов, возникающих при реализации государственных программ субъектов Российской Федерации, мероприятия которых направлены на повышение качества образования в школах с низкими результатами обучения и в школах, функционирующих в неблагоприятных социальных условиях, путем реализации региональных проектов и распространения их результатов в рамках ведомственной целевой программы «Развитие современных механизмов и технологий дошкольного и общего образования» государственной программы Российской Федерации «Развитие образования», утвержденной постановлением Правительства Российской Федерации от 26 декабря 2017 г. № 1642, в качестве критерия отнесения образовательных организаций к типу «школа с низкими результатами обучения» определены «Устойчивые низкие результаты обучения учащихся на всех ступенях образования, ведущие к дезадаптации учащихся и препятствующие продолжению их образовательной и профессиональной траектории». В качестве рекомендуемых показателей в рамках критерия заявлено следующее:
-     25 % школ с самыми низкими результатами ЕГЭ, ОГЭ и ВПР за последние 3 года;
-     менее 60% обучающихся, продолжающих обучение на старшей ступени образования;
-     расхождение между средним баллом ЕГЭ, ОГЭ и ВПР по региону и средним баллом школы составляет более 20 баллов;
-     0,5% обучающихся, за последние 3 года принимавших участие в региональных и всероссийских олимпиадах и конкурсах.
В 2019 году Ханты-Мансийский автономный округ – Югра (далее – автономный округ, Югра) на системной основе продолжает реализацию мероприятия 2.2 «Повышение качества образования в школах с низкими результатами обучения и в школах, функционирующих в неблагоприятных социальных условиях, путем реализации региональных проектов и распространение их результатов» Федеральной целевой программы развития образования на 2016-2020 годы (далее – мероприятие 2.2 ФЦПРО 2016-2020), победителем конкурсного отбора региональных программ развития образования в целях предоставления бюджетам субъектов Российской Федерации субсидий на поддержку реализации Программы по которому автономный округ стал в 2017 году.
К 2020 году в Югре по направлению «формирование востребованной системы оценки качества образования и образовательных результатов» будет обеспечено достижение таких результатов ФЦПРО 2016-2020 как:
-     функционирование на региональном уровне системы мониторинга оценки образовательных результатов;
-     создание информационной системы пообъектного сбора данных об образовательных результатах, обеспечивающая автоматическую генерацию показателей мониторинга оценки образовательных результатов.
В целях информатизации региональной системы оценки качества образования на региональном уровне разработан «Региональный мониторинг», программный модуль платформы ABBYY Мониторинг, обеспечивающий сбор и хранение контекстной информации об образовательных организациях, а также результатов государственной итоговой аттестации и всероссийских проверочных работ, участия обучающихся в олимпиадах. Среди импортируемой в систему контекстной информации – данные о типе (городская, сельская) и виде (гимназия, лицей, средняя школа и т.д.) общеобразовательной организации; предметах углубленного изучения в общеобразовательной организации (при наличии); общей численности обучающихся в общеобразовательной организации и численности педагогических работников, в т.ч. молодых учителей, и т.п.
Региональная система оценки качества образования направлена среди прочего на повышение качества образования в школах с низкими образовательными результатами обучения и в школах, функционирующих в неблагоприятных социальных условиях, а также на создание условий для получения качественного общего образования, в т.ч. в части выявления общеобразовательных организаций, имеющих стабильно высокие образовательные результаты, и определения направлений их деятельности по распространению эффективных педагогических практик и передового опыта.
К началу 2019 года в автономном округе на системной основе реализуется комплекс мероприятий, включающий в т.ч. ежегодную идентификацию школ со стабильно низкими образовательными результатами, периодические мониторинги результативности реализации программ повышения качества образования в школах с низкими образовательными результатами обучения и в школах, функционирующих в неблагоприятных социальных условиях.
Система оценки образовательных результатов Ханты-Мансийского автономного округа – Югры в 2019 году в соответствии с приказом Департамента образования и молодёжной политики Ханты-Мансийского автономного округа – Югры от 11.10.2018 № 1387 «Об образовательных организациях, имеющих стабильно высокие образовательные результаты в Ханты-Мансийском автономном округе – Югре» дополняется ежегодным мониторингом общеобразовательных организаций, расположенных на территории Ханты-Мансийского автономного округа – Югры, в целях выявления общеобразовательных организаций, имеющих стабильно высокие образовательные результаты.
Интеграция дополнительного элемента в сложившуюся в автономном округе систему оценки качества образовательных результатов, упорядочивания имеющихся подходов, а также закрепление базовых принципов системы оценки требует актуализации имеющихся методик оценки качества образовательных результатов обучающихся общеобразовательных организаций, расположенных на территории Ханты-Мансийского автономного округа – Югры.
Основная цель комплексной оценки качества образовательных результатов обучающихся общеобразовательных организаций, расположенных на территории Ханты-Мансийского автономного округа – Югры, (далее – комплексная оценка качества образовательных результатов, Комплексная оценка) – формирование информационно-аналитической основы реализации комплекса мероприятий повышения качества общего образования в Ханты-Мансийском автономном округе – Югре.
Задачи комплексной оценки:
-     анализ показателей относительной результативности за последние 3 года в отношении качества образовательных результатов обучающихся школ Ханты-Мансийского автономного округа – Югры с учетом комплексных данных по образовательным результатам системы общего образования Югры (формирование «взвешенных» показателей образовательной результативности школ, соотнесенных с фактически достигнутыми образовательными результатами всех школ округа за рассматриваемый период) и контекстных характеристик реализации образовательного процесса;
-     анализ эффективности и результативности мероприятий, направленных на повышение качества образования в образовательных организациях Ханты-Мансийского автономного округа – Югры, имеющих стабильно низкие образовательные результаты, а также в школах, функционирующих в неблагоприятных социальных условиях;
-     идентификация по итогам очередного года школ, имеющих стабильно высокие и стабильно низкие образовательные результаты обучающихся;
-     выявление школ «зоны риска», демонстрирующих резкую дифференциацию (неустойчивость) средних показателей образовательных результатов в динамике и/или в рамках различных оценочных процедур (ГИА, ВПР, РДР), в т.ч. интерпретируемую как признак необъективной оценки;
-     выявление на основе сопоставления значения индекса образовательных результатов (далее – ИОР) и индекса социального благополучия (далее – ИСБШ) групп школ:
ü «эффективных» – с одновременно высокими значениями ИСБШ и ИОР;
ü «резильентных» – с низким значением ИСБШ при одновременно высоком значении ИОР;
ü «несправляющихся» – с высоким значением ИСБШ и одновременно низким значением ИОР;
ü «депривированных» – с одновременно низким значением ИСБШ и ИОР;
-     формирование расширенных профилей образовательных организаций, содержавших сведения о результатах оценки качества образования в отношении уровня подготовки обучающихся на основе аккумулированных сведений о результатах оценочных процедур в рамках региональной системы оценки качества образования, а также отдельных контекстных данных, для целей реализации системы индикативного управления.
Результаты ежегодной комплексной оценки качества образовательных результатов обучающихся общеобразовательных организаций, расположенных на территории Ханты-Мансийского автономного округа – Югры, призваны обеспечить на постоянной основе контроль эффективности реализации комплекса мероприятий повышения качества общего образования в Ханты-Мансийском автономном округе – Югре.
МЕТОДИКА И ИНСТРУМЕНТАРИЙ КОМПЛЕКСНОЙ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ РЕЗУЛЬТАТОВ ОБУЧАЮЩИХСЯ ОБЩЕОБРАЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЙ, РАСПОЛОЖЕННЫХ НА ТЕРРИТОРИИ ХАНТЫ-МАНСИЙСКОГО АВТОНОМНОГО ОКРУГА – ЮГРЫ
Комплексная оценка качества образовательных результатов обучающихся общеобразовательных организаций, расположенных на территории Ханты-Мансийского автономного округа – Югры, осуществляется в соответствии и с учетом нормативных правовых актов Российской Федерации и Ханты-Мансийского автономного округа – Югры, включая:
·      Федеральный закон от 29.12.2012 № 273-ФЗ «Об образовании в Российской Федерации» (с изм. и доп.);
·      Постановление Правительства Российской Федерации от 05.08.2013 № 662 «Об осуществлении мониторинга системы образования» (с изм. и доп.);
·      Постановление Правительства Российской Федерации от 26.12.2017 № 1642 «Об утверждении государственной программы Российской Федерации «Развитие образования» (с изм. и доп.);
·      Постановление Правительства Российской Федерации от 12.10.2017 № 1243 «О реализации мероприятий федеральных целевых программ, интегрируемых в отдельные государственные программы Российской Федерации» (с изм. и доп.);
·      приказ Министерства образования и науки РФ от 14.02.2014 № 115 «Об утверждении Порядка заполнения, учета и выдачи аттестатов об основном общем и среднем общем образовании и их дубликатов» (с изм. и доп.);
·      Закон Ханты-Мансийского автономного округа – Югры от 1 июля 2013 года № 68-оз «Об образовании в Ханты-Мансийском автономном округе – Югре» (с изм. и доп.);
·      приказы Департамента образования и молодежной политики Ханты-Мансийского автономного округа – Югры:
-       от 31.08.2015 № 1202 «Об утверждении модели региональной системы оценки качества образования в Ханты-Мансийском автономном округе – Югре»;
-       от 11.11.2015 № 1511 «О внесении изменений в приказ Департамента образования и молодежной политики Ханты-Мансийского автономного округа – Югры от 31 августа 2015 года «Об утверждении модели региональной системы оценки качества образования в Ханты-Мансийском автономном округе – Югре»;
-       от 18.08.2017 № 1246 «Об утверждении перечня общеобразовательных организаций, расположенных на территории Ханты-Мансийского автономного округа – Югры, работающих в сложных социальных условиях в 2017-2018 учебном году»;
-       от 26.04.2018 № 551 «Об утверждении плана мероприятий, направленных на повышение качества образования в образовательных организациях Ханты-Мансийского автономного округа – Югры, имеющих стабильно низкие образовательные результаты, в 2018 году и на плановый период до 2020 года»;
-       от 11.10.2018 № 1387 «Об образовательных организациях, имеющих стабильно высокие образовательные результаты в Ханты-Мансийском автономном округе – Югре»;
-       от 19.12.2018 № 1705 «Об утверждении перечня общеобразовательных организаций Ханты-Мансийского автономного округа – Югры, имеющих стабильно низкие образовательные результаты, на 2018-2019 учебный год»;
-       от 06.03.2019 «Об утверждении плана мероприятий («дорожной карты») по совершенствованию и развитию региональной системы оценки качества образования в Ханты-Мансийском автономном округе – Югре на 2019-2021 годы»;
-       иные акты, регулирующие отношения в сфере образования по вопросам оценки качества образования.
В основу методики комплексной оценки качества образовательных результатов обучающихся общеобразовательных организаций, расположенных на территории Ханты-Мансийского автономного округа – Югры, положены:
-       методические рекомендации от 25.04.2019 по заполнению заявок на участие в открытом конкурсе региональных программ развития образования в целях предоставления бюджетам субъектов Российской Федерации субсидий на софинансирование расходов, возникающих при реализации государственных программ субъектов Российской Федерации, мероприятия которых направлены на повышение качества образования в школах с низкими результатами обучения и в школах, функционирующих в неблагоприятных социальных условиях, путем реализации региональных проектов и распространения их результатов в рамках ведомственной целевой программы «Развитие современных механизмов и технологий дошкольного и общего образования» государственной программы Российской Федерации «Развитие образования» (далее – Методические рекомендации к конкурсу региональных программ реализации мероприятий ФЦПРО 2016-2020);
-       методика идентификации группы школ Ханты-Мансийского автономного округа – Югры, функционирующих в сложных социальных условиях, базирующаяся на разработках Института образования НИУ «Высшая школа экономики», размещенных в открытом доступе на сайте http://эффективная-школа.рф;
-       методика идентификации группы школ Ханты-Мансийского автономного округа – Югры с низкими образовательными результатами, разработанная АУ «Институт развития образования» в 2017 году;
-       методика промежуточного мониторинга деятельности группы школ Ханты-Мансийского автономного округа – Югры со стабильно низкими образовательными результатами за 2017 год;
-       методика мониторинга результативности программ повышения качества образования школ Ханты-Мансийского автономного округа – Югры со стабильно низкими образовательными результатами в 2018 году;
-       методика промежуточного мониторинга деятельности школ Ханты-Мансийского автономного округа – Югры, функционирующих в сложных социальных условиях, разработанная АУ «Институт развития образования» в 2018 году;
-       рекомендации по повышению объективности оценки образовательных результатов Федеральной службы по надзору в сфере образования и науки от 16.03.2018 № 05-71;
-       статистика результатов обучающихся образовательных организаций и аналитические отчеты государственной итоговой аттестации 2017-2019 годов по образовательным программам основного общего и среднего общего образования;
-       статистика результатов обучающихся образовательных организаций и аналитические отчеты всероссийских проверочных работ 2017-2019 годов по образовательным программам начального общего, основного общего и среднего общего образования;
-       статистика результатов обучающихся образовательных организаций и аналитические отчеты региональных диагностических работ 2019 года по образовательным программам основного общего и среднего общего образования.
Комплексная оценка качества образовательных результатов обучающихся общеобразовательных организаций, расположенных на территории Ханты-Мансийского автономного округа – Югры, как элемент региональной системы мониторинга оценки образовательных результатов должна отвечать следующим требованиям:
1)   проводится на системной (ежегодной) основе по результатам обучения обучающихся на уровне начального, основного и среднего общего образования по итогам отчетного года (в срок до 20 декабря) в соответствии с установленными Департаментом образования и молодежной политики Ханты-Мансийского автономного округа – Югры критериями и группами показателей:
2)   базироваться на установленных Государственной программой Российской Федерации «Развитие образования» на 2013-2020 годы принципах открытости, объективности, прозрачности, общественно-профессионального участия;
3)   соответствовать положениям региональной системы оценки качества образования Ханты-Мансийского автономного округа – Югры, утвержденной приказом Департамента образования и молодежной политики Ханты-Мансийского автономного округа – Югры от 11 ноября 2015 года № 1511 «О внесении изменений в приказ Департамента образования и молодежной политики Ханты-Мансийского автономного округа – Югры от 31 августа 2015 года «Об утверждении модели региональной системы оценки качества образования в Ханты-Мансийском автономном округе – Югре»;
4)   быть преемственной и сопоставимой по результатам по отношению к ранее используемой в автономном округе методике идентификации группы школ с низкими образовательными результатами, разработанной в рамках реализации Ханты-Мансийским автономным округом – Югрой в 2017-2018 годах мероприятия 2.2 ФЦПРО 2016-2020.
1      Основные принципы
Принципы проведения комплексной оценки качества образовательных результатов обучающихся общеобразовательных организаций, расположенных на территории Ханты-Мансийского автономного округа – Югры (далее – Комплексной оценки) включают:
1.1         принцип открытости – обеспечение формирования первичных данных Комплексной оценки на основе данных программного модуля платформы ABBYY «Региональный мониторинг» (для общеобразовательных организаций Ханты-Мансийского автономного округа – Югры, муниципальных органов управления образованием автономного округа);
1.2         принцип объективности – исключения из анализа данных по общеобразовательной организации необъективных образовательных результатов по конкретной оценочной процедуре, выявленных через оценку доверительного интервала, сравнительного анализа с контрольной группой, контекстного анализа или на основании иных подходов;
1.3         принцип общественно-профессионального участия – организация публичного обсуждения основных подходов (методики) проведения Комплексной оценки и ее результатов;
1.4         принцип прозрачности – открытое представление результатов Комплексной оценки заинтересованным пользователям;
1.5         принцип целеполагания – включение в состав Комплексной оценки показателей (индикаторов), соответствующих целям и задачам современной образовательной политики Российской Федерации и принимаемых общественно-профессиональным сообществом Югры в качестве значимых;
1.6         принцип устойчивости – обеспечение 3-х летнего охвата показателей (индикаторов) по критерию идентификации «Устойчивость образовательных результатов обучающихся на уровне начального общего, основного общего и среднего общего образования»;
1.7         принцип включенности – использование в анализе показателей образовательных результатов, обеспечивающих данные по максимальному числу участников Комплексной оценки;
1.8         принцип относительности – формирование позиций организации в зависимости от фактически достигнутых минимальных и максимальных значений конкретного показателя в сводном отчете по данному показателю по Ханты-Мансийскому автономному округу – Югре;
1.9         принцип контекстности – учет контекстных данных при формировании списков образовательных организаций (проведение отдельной оценки по типам и видам организаций – начальные общеобразовательные организации, вечерние школы, школы повышенного уровня, школы для обучающихся с ограниченными возможностями здоровья и т.п.), а также в системе управления качеством образования при оценке деятельности образовательных организаций и распределении организаций по группам в зависимости от образовательных результатов – групп школ с высокими, средними, низкими образовательными результатами и школ «зоны риска».
В соответствии с установленными принципами при разработке методики комплексной оценки качества образовательных результатов обучающихся общеобразовательных организаций, расположенных на территории Ханты-Мансийского автономного округа – Югры в развитие региональной системы оценки качества образовательных результатов обеспечено:
1)        закрепление в качестве обязательных критериев идентификации и контекстного анализа с указанием групп показателей в рамках каждого критерия (таблица 1), применимых при одновременном соблюдении двух условий:
-       состав показателей, в т.ч. индикаторов, и их пороговых значений формируется методикой ежегодно при проведении каждой конкретной оценочной процедуры на основе принципа целеполагания по результатам общественно-профессионального обсуждения;
-       для каждой группы основных и вспомогательных показателей критерия идентификации «Устойчивость образовательных результатов обучающихся на уровне начального общего, основного общего и среднего общего образования» методикой устанавливаются весовые коэффициенты, в соответствии с которыми, независимо от количества включаемых в состав группы показателей, значения групп основных показателей является доминирующем.
Основание: соблюдение положений Методических рекомендаций к конкурсу региональных программ реализации мероприятий ФЦПРО 2016-2020 при одновременном соблюдении требований преемственности региональных оценочных процедур и принципа целеполагания при ежегодном формировании состава показателей;
2)        исключения из анализа данных по общеобразовательной организации необъективных образовательных результатов по конкретной оценочной процедуре, выявленных через оценку доверительного интервала, сравнительного анализа с контрольной группой, контекстного анализа или на основании иных подходов.
Основание: соблюдение положений Рекомендаций по повышению объективности оценки образовательных результатов Федеральной службы по надзору в сфере образования и науки от 16.03.2018 № 05-71 и соблюдение принципа объективности;
3)        обеспечение формирования ежегодного состава показателей и, соответственно, первичных данных Комплексной оценки на основе данных программного модуля платформы ABBYY «Региональный мониторинг» (для общеобразовательных организаций Ханты-Мансийского автономного округа – Югры).
Основание: соблюдение требований Государственной программой Российской Федерации «Развитие образования» на 2013-2020 годы в части «создание современной системы оценки качества образования на основе принципов открытости, объективности, прозрачности, общественно-профессионального участия»;
2      Обязательные критерии и группы показателей
Критерии и группы показателей, обязательные при проведении комплексной оценки качества образовательных результатов обучающихся общеобразовательных организаций, расположенных на территории Ханты-Мансийского автономного округа – Югры, включают следующее (таблица 1)
Таблица 1
Обязательные критерии и группы показателей Комплексной оценки
№ п/п Группа показателей Примерные показатели (индикаторы) в рамках группы* Пороговые значения индикатора (при наличии)
Критерий идентификации «Устойчивость образовательных результатов обучающихся на уровне начального общего, основного общего и среднего общего образования»
1.1 Группа основных показателей «Государственная итоговая аттестация» -     средний первичный (тестовый) балл (отметка) государственной итоговой аттестации обучающихся по основным образовательным программам основного общего образования по предмету; не установлено
-     средний первичный (тестовый) балл государственной итоговой аттестации обучающихся по основным образовательным программам среднего общего образования по предмету; не установлено
-     расхождение между средним баллом результатов государственной итоговой аттестации по образовательным программам основного общего и среднего общего образования по региону и средним баллом школы; 20 % и более
1.2 Группа основных показателей «Всероссийские проверочные работы» -     средний первичный балл (отметка) всероссийских проверочных работ обучающихся по предмету; не установлено
-     расхождение между средним баллом результатов всероссийских проверочных работ по региону и средним баллом школы; 20 % и более
1.3 Группа основных показателей «Региональные диагностические работы» -     средний первичный балл (отметка) региональных диагностических работ обучающихся по предмету; не установлено
-     расхождение между средним баллом результатов региональных диагностических работ по региону и средним баллом школы; 20 % и более
1.4 Группа вспомогательных показателей «Олимпиады» -     доля обучающихся, принявших участие в муниципальном этапе Всероссийской олимпиады школьников; 0,5 % и более
-     доля обучающихся, принявших участие в региональном этапе Всероссийской олимпиады школьников; не установлено
-     доля обучающихся, принявших участие региональных, всероссийских и международных олимпиадах; не установлено
-     доля обучающихся – победителей и призеров олимпиад регионального уровня не установлено
-     доля обучающихся – победителей и призеров олимпиад федерального уровня не установлено
1.5 Группа вспомогательных показателей «Образовательные и профессиональные траектории» -     доля выпускников 11-х классов, не получивших аттестат о среднем общем образовании; не установлено
-     доля выпускников 11-х классов, набравших от 221 до 300 тестовых баллов по трем предметам государственной итоговой аттестации обучающихся по основным образовательным программам среднего общего образования, кроме математики базового уровня не установлено
-     доля выпускников 11-х классов, набравших до 160 тестовых баллов по трем предметам государственной итоговой аттестации обучающихся по основным образовательным программам среднего общего образования, кроме математики базового уровня не установлено
-     доля выпускников 11-х классов, поступивших в образовательные организации высшего образования 50 % и более
-     соотношение выпускников 11-х классов, получивших аттестат с отличием, с обучающимися, получившими высокобальные результаты при прохождении государственной итоговой аттестации обучающихся по основным образовательным программам среднего общего образования не установлено
-     доля выпускников 11-х классов, подтвердивших получение медали ХМАО-Югры «За отличные успехи в обучении» по результатам ГИА не установлено
-     доля выпускников 9-х классов, не получивших аттестат об основном общем образовании; не установлено
-     доля участников государственной итоговой аттестации обучающихся по основным образовательным программам основного общего образования, получивших оценку «2» по русскому языку (математике) не установлено
-     доля участников государственной итоговой аттестации обучающихся по основным образовательным программам основного общего образования, получивших оценку «5» по русскому языку (математике) не установлено
-     доля выпускников 9-х классов, продолжающих обучение на уровне среднего общего образования 60 % и более
-     соотношение выпускников 9-х классов, получивших аттестат с отличием, с обучающимися, получившими высокобальные результаты при прохождении государственной итоговой аттестации обучающихся по основным образовательным программам основного общего образования не установлено
Критерий контекстного анализа «Устойчивость образовательных результатов обучающихся на уровне начального общего, основного общего и среднего общего образования»
2.1 Группа показателей «Социальные условия» -     доля обучающихся с девиантным поведением, состоящих на учете в КДН (ПДН); не установлено
-     доля обучающихся, обучающихся на русском языке меньше одного года; не установлено
-     доля обучающихся с особыми образовательными потребностями (с ОВЗ, дети-инвалиды); не установлено
-     доля обучающихся, у которых один/оба родителя являются безработными; не установлено
-     доля обучающихся, у которых оба родителя не имеют высшего образования; не установлено
-     доля обучающихся из неполных семей; не установлено
-     доля обучающихся, которые обеспечены бесплатным обедом; не установлено
-     доля учащихся 3-11 классов, обучающихся в общеобразовательной организации менее 2-х лет; не установлено
-     низкая транспортная доступность образовательной организации; не установлено
-     наличие статуса малокомплектной сельской школы; не установлено
2.2 Группа показателей «Тип образовательной организации» -     территориальное расположение образовательной организации (городская или сельская местность); не установлено
-     вид образовательной организации (лицей, гимназия, средняя /начальная / основная общеобразовательная организация, коррекционная школа, интернат и т.п.) не установлено
2.3 Группа показателей «Кадровой состав организации» -     доля педагогов в общей численности педагогических работников, которым по результатам аттестации присвоена первая или высшая квалификационные категории; 50% и более

-     доля педагогов в общей численности педагогических работников, уволившихся в течение года; 20% и менее

-     соотношение числа обучающихся с числом педагогических работников; не установлено

-     доля педагогов в общей численности педагогических работников, педагогический стаж работы которых составляет до 5 лет. не установлено

-     доля педагогов в общей численности педагогических работников в возрасте от 55 лет не установлено

* состав показателей, в т.ч. индикаторов и их пороговых значений формируется ежегодно при проведении каждой конкретной оценочной процедуры в форме методики на основе принципа целеполагания по результатам общественно-профессионального обсуждения
3      Система сбора информации
В основе системы сбора информации комплексной оценки качества образовательных результатов обучающихся общеобразовательных организаций, расположенных на территории Ханты-Мансийского автономного округа – Югры:
-               первичные данные, сформированные в Программном модуле платформы ABBYY «Региональный мониторинг», обеспечивающем сбор и хранение контекстной информации об образовательных организациях, а также результатов государственной итоговой аттестации, всероссийских проверочных работ, региональных диагностических работ, участия обучающихся в олимпиадах;
-               данные официального сайта для размещения информации
о государственных (муниципальных) учреждениях http://bus.gov.ru/;
-               официальная статистика результатов государственной итоговой аттестации в отношении обучающихся, освоивших программы основного общего и среднего общего образования;
-               официальная статистика результатов всероссийских проверочных работ в отношении обучающихся, освоивших программы начального общего, основного общего и среднего общего образования;
-               официальная статистика результатов региональных диагностических работ в отношении обучающихся, освоивших программы начального общего, основного общего и среднего общего образования;
-               официальная статистика участия обучающихся в региональном этапе всероссийской олимпиады школьников;
-               данные отчетов о самообследовании общеобразовательных организаций Ханты-Мансийского автономного округа – Югры;
-               данные Департамента образования и молодежной политики Ханты-Мансийского автономного округа – Югры по формированию контингента обучающихся в системе общего образования за последние 3 года;
-               значения индекса социального благополучия школы, сформированные в 2017 году в ходе идентификации группы школ Ханты-Мансийского автономного округа – Югры, функционирующих в сложных социальных условиях;
-               значения индекса образовательных результатов, сформированные в 2017 году в ходе идентификации группы школ Ханты-Мансийского автономного округа – Югры с низкими образовательными результатами;
-               значения индекса образовательных результатов, сформированные в 2017 году в ходе промежуточного мониторинга деятельности группы школ Ханты-Мансийского автономного округа – Югры со стабильно низкими образовательными результатами в 2018 году;
-               значения индекса образовательных результатов, сформированные в 2018 году в ходе мониторинга результативности программ повышения качества образования школ со стабильно низкими образовательными результатами в 2018 году;
-               иные данные, сформированные из открытых (официальных) источников.
4      Группировка показателей и алгоритм формирования результатов
4.1. Методикой комплексной оценки качества образовательных результатов обучающихся общеобразовательных организаций, расположенных на территории Ханты-Мансийского автономного округа – Югры, предусмотрено наличие двух обязательных критериев оценки – критерия идентификации и критерия контекстного анализа. Основой формирования итоговых позиций образовательной организации является индекс образовательных результатов за отчетный год, формируемый на основе критерия идентификации «Устойчивость образовательных результатов обучающихся на уровне начального общего, основного общего и среднего общего образования» в составе пяти групп показателей (пяти подиндексов) с соответствующими весовыми коэффициентами:
-     группа основных показателей «Государственная итоговая аттестация» (подиндекс ГИА);
-     группа основных показателей «Всероссийские проверочные работы» (подиндекс ВПР);
-     группа основных показателей «Региональные диагностические работы» (подиндекс РДР);
-     группа вспомогательных показателей «Олимпиады» (подиндекс Олимпиад);
-     группа вспомогательных показателей «Образовательные и профессиональные траектории» (подиндекс Образовательных траекторий).
Индекс образовательных результатов для каждой общеобразовательной организации принимает значения от 0 до 1 и формируется на основе значений 5-ти подиндексов, взвешенных с учетом соответствующих весовых коэффициентов, по следующей формуле (1):
, (1)

где:
Y – значение индекса образовательных результатов;
I – значение подиндекса k-ой группы показателей;
w – весовой коэффициент k-ой группы показателей (w принимает значения от 0 до 1).
Если по совокупности данных об образовательных результатах образовательной организации значение подиндексов для основных групп показателей «Государственная итоговая аттестация», «Всероссийские проверочные работы», «Региональные диагностические работы» не сформированы, то индекс образовательных результатов не рассчитывается. В отдельных случаях, по предусмотренным методикой параметрам такая организация может быть отнесена к группе школ «зоны риска».
Подиндексы основных и вспомогательных групп показателей для каждой общеобразовательной организации принимают значения от 0 до 1 и формируются как среднее арифметическое значений всех входящих в их состав индексов показателей по следующей формуле (2):
, (2)

где:
I – значение подиндекса соответствующей группы показателей;
X– значение индекса i-го показателя, входящего в состав соответствующей группы показателей;
i – количество показателей оценки для каждой образовательной организации в составе соответствующей группы показателей.
Если по совокупности данных об образовательных результатах образовательной организации данные для расчета индексов показателей отсутствуют или относятся к необъективным, то соответствующий подиндекс не рассчитывается.
Индекс для абсолютных и относительных показателей с положительным влиянием на оценку качества образовательных результатов рассчитывается по формуле (3):
, (3)

где:
X – значение показателя в долях единицы (индекс показателя);
a – фактическое значение показателя оцениваемой организации;
amax – максимальное фактическое значение показателя по совокупности оцениваемых организаций;
amin – минимальное фактическое значение показателя по совокупности оцениваемых организаций.
Индекс для абсолютных и относительных параметров с негативным влиянием на оценку качества образовательных результатов рассчитывается по формуле (4):
, (4)

где:
I – значение показателя в долях единицы (индекс показателя);
a – фактическое значение показателя оцениваемой организации;
amax – максимальное фактическое значение показателя по совокупности оцениваемых организаций;
amin – минимальное фактическое значение показателя по совокупности оцениваемых организаций.
Индекс для абсолютных и относительных параметров с установленным пороговым значением (индекс индикатора) рассчитывается путем приведения к шкале от «0» до «1». Значение «0» присваивается, если показатель не удовлетворяет пороговому значению, а «1» – если показатель отвечает установленным требованиям.
Исключаются из расчета по общеобразовательной организации показатели необъективных образовательных результатов по конкретной оценочной процедуре, указанные в соответствующих официальных отчетах.
Сбор данных производится согласно источникам получения данных. По видам источников заполняются электронные формы сбора данных, после чего происходит формирование единого массива данных и перевод первичных данных в балльную систему. Платформой для формирования массива данных и их обработки служит MicrosoftExcel.
После формирования массива данных проводится их верификация, для чего значения показателей сортируются по убывающей, а затем сравниваются экстремальные значения. Также производится выборочное сравнение данных из единого массива с первоисточниками.
4.2. Идентификация групп школ со стабильно низкими и стабильно высокими образовательными результатами осуществляется на основе списка образовательных организаций, сформированного по значению индекса образовательных результатов за последние 3 года.
Школы ранжируются от меньшего значения индекса к большему и выделяются в квартили. Общее количество проранжированных по значению индекса образовательных результатов школ делится на четыре примерно равные части по 25 % каждая: от 1 квартиля (самого низкого значения индекса) до 4 квартиля (самого высокого значения индекса).
Далее с учетом исключения школы «зоны риска» из группы школ 1-го квартиля формируется список школ со стабильно низкими образовательными результатами, а из группы школ 4-го квартиля – школы со стабильно высокими образовательными результатами.
4.3 Для целей настоящего исследования критерий контекстного анализа «Устойчивость образовательных результатов обучающихся на уровне начального общего, основного общего и среднего общего образования» включает в себя следующие группы показателей:
-     группа показателей «Социальные условия»;
-     группа показателей «Тип образовательной организации»;
-     группа показателей «Кадровой состав организации».
Контекстный анализ используется как для анализа эффективности и результативности мероприятий, направленных на повышение качества образования в образовательных организациях Ханты-Мансийского автономного округа – Югры, так и для определения наиболее эффективных систем взаимодействия школ со стабильно низкими результатами обучения со школами-лидерами, направления деятельности которых предусматривают распространение эффективных педагогических практик и передового опыта.
Ключевой группой показателей для контекстного анализа с целью идентификации по итогам очередного отчетного года школ, имеющих стабильно высокие и стабильно низкие образовательные результаты обучающихся является группа показателей «Тип образовательной организации», в рамках которой учитывается:
-     территориальное расположение образовательной организации (городская или сельская местность);
-     вид образовательной организации (лицей, гимназия, средняя /начальная / основная общеобразовательная организация, коррекционная школа, интернат и т.п.).
4.4 Разграничение групп школ с позиции сопоставления значения индекса образовательных результатов и индекса социального благополучия (группа показателей контекстного анализа «Социальные условия») предусматривает выделение квартилей образовательных организаций по каждому из двух выше обозначенных параметров оценки.
Расположение квартилей строится от меньшего значения к большему, соответственно квартиль 1 включает ¼ от общего числа исследуемых организаций с минимальными значениями индекса образовательных результатов и индекса социального благополучия, а квартиль 4 – ¼ от общего числа исследуемых организаций с максимальными значениями индексов и результатов.
Совпадение значений квартилей 1 и 4 при попарном сравнении индекса социального благополучия школ (далее – ИСБШ) и индекса образовательных результатов (далее – ИОР) позволяет выделить следующие группы организаций:
-     «эффективных» – с одновременно высокими значениями ИСБШ (квартиль 4) и ИОР (квартиль 4);
-     «резильентных» – с низким значением ИСБШ (квартиль 1) при одновременно высоком значении ИОР (квартиль 4);
-     «несправляющихся» – с высоким значением ИСБШ (квартиль 4) и одновременно низким значением ИОР (квартиль 1);
-     «депривированных» – с одновременно низким значением ИСБШ (квартиль 1) и ИОР (квартиль 1).
Выделение указанных выше групп организаций, а также сопоставительный анализ состава групп в погодовом разрезе позволяет как непосредственно самим образовательным организациям, так и органом управления образованием провести оценку эффективности и результативности мероприятий, направленных на повышение качества образования.
4.5 Выделение школы «зоны риска» – группы школ, которые по выделенным признакам характеризуются как находящиеся в ситуации риска. Для целей настоящего исследования предлагается следующая классификация школ «зоны риска»:
1)   наличие факта резкой дифференциации индикаторов образовательных результатов в рамках различных оценочных процедур (ГИА, ВПР, РДР) по отдельной обследуемой организации – по значению показателя 1,5 и более раза;
Расчет показателя:
·      значение подиндекса ГИА деленное на значение подиндекса ВПР со значением 1,5 и более раза;
·      значение подиндекса ВПР деленное на значение подиндекса ГИА со значением 1,5 и более раза;
·      значение подиндекса ГИА деленное на значение подиндекса РДР со значением 1,5 и более раза;
·      значение подиндекса РДР деленное на значение подиндекса ГИА со значением 1,5 и более раза;
·      значение подиндекса ВПР деленное на значение подиндекса РДР со значением 1,5 и более раза;
·      значение подиндекса РДР деленное на значение подиндекса ВПР со значением 1,5 и более раза;
2)   наличие факта неустойчивости средних показателей образовательных результатов в динамике по совокупности оценочных процедур (ГИА, ВПР, РДР) по отдельной обследуемой организации – по значению показателя 1,5 и более раза:
·      среднее арифметическое подиндексов ГИА, ВПР, РДР текущего года, деленное на среднеарифметическое подиндексов ГИА, ВПР, РДР предыдущих 2-х лет со значением 1,5 и более раза;
·      среднее арифметическое подиндексов ГИА, ВПР, РДР предыдущих 2-х лет, деленное на среднеарифметическое подиндексов ГИА, ВПР и РДР текущего года со значением 1,5 и более раза;
3)   значение индекса образовательных результатов ниже среднего – для школ, относимых к группе повышенного уровня;
4)   наличие факта депривации по группе «вечернее образование» – высокий процент обучающихся вечернего (очно-заочного, заочного) обучения (4-ый квартиль по значению данного показателя);
5)   наличие данных по результатам оценочных процедур только за последний обследуемый год – вновь созданные или реорганизованные организации.
4.6 Аккумулирование сведений о результатах оценочных процедур в рамках региональной системы оценки качества образования в отношении образовательных организаций со стабильно низкими и стабильно высокими образовательными результатами реализуется путем формирования расширенных профилей образовательных организаций, содержавших сведения о результатах оценки качества образования в отношении уровня подготовки обучающихся.
Профиль результатов оценки качества подготовки обучающихся включает следующие данные:
-     значения индекса образовательных результатов и составляющих его подиндексов в сопоставлении со средними значениями как по совокупности оцениваемых организаций, так и по совокупности организаций соответствующего типа и вида;
-     фактическое и индексное значение показателей индекса образовательных результатов в сопоставлении со средними значениями по совокупности оцениваемых организаций и по Ханты-Мансийскому автономному округу – Югре;
-     значение отдельных показателей контекстного анализа данных.
5      Состав показателей комплексной оценки за 2019 год
Для целей комплексной оценки качества образовательных результатов обучающихся общеобразовательных организаций, расположенных на территории Ханты-Мансийского автономного округа – Югры, по итогам 2019 года с учетом комплексных данных по образовательным результатам системы общего образования Ханты-Мансийского автономного округа – Югры первичные данные показателей оценки индекса образовательных результатов по каждой общеобразовательной организации Ханты-Мансийского автономного округа – Югры формируются в составе:
Группа 1 «Государственная итоговая аттестация»
1)        Показатель 1. Средняя отметка государственной итоговой аттестации обучающихся по основным образовательным программам основного общего образования за 2019 год по предмету «математика»;
2)        Показатель 2. Средняя отметка государственной итоговой аттестации обучающихся по основным образовательным программам основного общего образования за 2019 год по предмету «русский язык»;
3)        Показатель 3. Средняя отметка государственной итоговой аттестации обучающихся по основным образовательным программам основного общего образования за 2019 год по предмету «обществознание»;
4)        Показатель 4. Средняя отметка государственной итоговой аттестации обучающихся по основным образовательным программам основного общего образования за 2019 год по предмету «информатика»;
5)        Показатель 5. Средний тестовый балл государственной итоговой аттестации обучающихся по основным образовательным программам среднего общего образования за 2019 год по предмету «математика» (базовый уровень);
6)        Показатель 6. Средний тестовый балл государственной итоговой аттестации обучающихся по основным образовательным программам среднего общего образования за 2019 год по предмету «математика» (профильный уровень);
7)        Показатель 7. Средний тестовый балл государственной итоговой аттестации обучающихся по основным образовательным программам среднего общего образования за 2019 год по предмету «русский язык»;
8)        Показатель 8. Средний тестовый балл государственной итоговой аттестации обучающихся по основным образовательным программам среднего общего образования за 2019 год по предмету «обществознание»;
9)        Показатель 9. Средний тестовый балл государственной итоговой аттестации обучающихся по основным образовательным программам среднего общего образования за 2019 год по предмету «физика»;
10)    Показатель 10. Количество имеющих место расхождений между средним баллом результатов государственной итоговой аттестации по образовательным программам основного общего и среднего общего образования по региону и средним баллом школы в размере 20 % и более (по показателям 1-9 в процентах от общего числа);
Группа 2 «Всероссийские проверочные работы»
11)    Показатель 11. Средняя отметка всероссийских проверочных работ обучающихся за 2019 год по предмету «математика» среди 4-х классов;
12)    Показатель 12. Средняя отметка всероссийских проверочных работ обучающихся за 2019 год по предмету «русский язык» среди 4-х классов;
13)    Показатель 13. Средняя отметка всероссийских проверочных работ обучающихся за 2019 год по предмету «окружающий мир» среди 4-х классов;
14)    Показатель 14. Средняя отметка всероссийских проверочных работ обучающихся за 2019 год по предмету «математика» среди 5-х классов;
15)    Показатель 15. Средняя отметка всероссийских проверочных работ обучающихся за 2019 год по предмету «русский язык» среди 5-х классов;
16)    Показатель 16. Средняя отметка всероссийских проверочных работ обучающихся за 2019 год по предмету «история» среди 5-х классов;
17)    Показатель 17. Средняя отметка всероссийских проверочных работ обучающихся за 2019 год по предмету «биология» среди 5-х классов;
18)    Показатель 18. Средняя отметка всероссийских проверочных работ обучающихся за 2019 год по предмету «математика» среди 6-х классов;
19)    Показатель 19. Средняя отметка всероссийских проверочных работ обучающихся за 2019 год по предмету «русский язык» среди 6-х классов;
20)    Показатель 20. Средняя отметка всероссийских проверочных работ обучающихся за 2019 год по предмету «обществознание» среди 6-х классов;
21)    Показатель 21. Средняя отметка всероссийских проверочных работ обучающихся за 2019 год по предмету «математика» среди 7-х классов;
22)    Показатель 22. Средняя отметка всероссийских проверочных работ обучающихся за 2019 год по предмету «русский язык» среди 7-х классов;
23)    Показатель 23. Средняя отметка всероссийских проверочных работ обучающихся за 2019 год по предмету «обществознание» среди 7-х классов;
24)    Показатель 24. Средняя отметка всероссийских проверочных работ обучающихся за 2019 год по предмету «физика» среди 7-х классов;
25)    Показатель 25. Средний первичный балл всероссийских проверочных работ обучающихся за 2019 год по предмету «история» среди 11-х классов;
26)    Показатель 26. Средний первичный балл всероссийских проверочных работ обучающихся за 2019 год по предмету «физика» среди 11-х классов;
27)    Показатель 27. Количество имеющих место расхождений между средним баллом результатов всероссийских проверочных работ по региону и средним баллом школы в размере 20 % и более (по показателям 11-26 в процентах от общего числа);
Группа 2 «Региональные диагностические работы»
28)    Показатель 28. Средняя отметка региональных диагностических работ обучающихся за 2019 год по предмету «математика» среди 9-х классов;
29)    Показатель 29. Средняя отметка региональных диагностических работ обучающихся за 2019 год по предмету «русский язык» среди 9-х классов;
30)    Показатель 30. Средняя отметка региональных диагностических работ обучающихся за 2019 год по предмету «математика» среди 11-х классов;
31)    Показатель 31. Средняя отметка региональных диагностических работ обучающихся за 2019 год по предмету «русский язык» среди 11-х классов;
32)    Показатель 32. Количество имеющих место расхождений между средним баллом результатов региональных диагностических работ по региону и средним баллом школы в размере 20 % и более (по показателям 28-31 в процентах от общего числа);
Группа 4 «Олимпиады»
33)    Показатель 33. Доля обучающихся, принявших участие в муниципальном этапе Всероссийской олимпиады школьников за 2019-2020 учебный год, в размере 0,5% и более;
34)    Показатель 34. Доля обучающихся, принявших участие в региональном этапе Всероссийской олимпиады школьников за 2018-2019 учебный год;
35)    Показатель 35. Количество победителей и призеров регионального этапа Всероссийской олимпиады школьников за 2018-2019 учебный год не менее 1 человека;
Группа 5 «Образовательные и профессиональные траектории»
36)    Показатель 36. Доля выпускников 11-х классов, не получивших в 2019 году аттестат о среднем общем образовании;
37)    Показатель 37. Доля выпускников 11-х классов, набравших в 2019 году от 221 до 300 первичных (тестовых) баллов по трем предметам государственной итоговой аттестации обучающихся по основным образовательным программам среднего общего образования, кроме математики базового уровня;
38)    Показатель 38. Доля выпускников 11-х классов, набравших в 2019 году до 160 первичных (тестовых) баллов по трем предметам государственной итоговой аттестации обучающихся по основным образовательным программам среднего общего образования, кроме математики базового уровня;
39)    Показатель 39. Доля выпускников 9-х классов, не получивших в 2019 году аттестат об основном общем образовании.
Каждый показатель имеет одинаковый весовой коэффициент в расчете соответствующего подиндекса.
Весовой коэффициент подиндекса устанавливается независимо от числа входящих в его состав показателей в следующем размере:
-     группа основных показателей «Государственная итоговая аттестация» (подиндекс ГИА) – весовой коэффициент 0,4;
-     группа основных показателей «Всероссийские проверочные работы» (подиндекс ВПР) – весовой коэффициент 0,3;
-     группа основных показателей «Региональные диагностические работы» (подиндекс РДР) – весовой коэффициент 0,1;
-     группа вспомогательных показателей «Олимпиады» (подиндекс Олимпиад) – весовой коэффициент 0,1;
-     группа вспомогательных показателей «Образовательные и профессиональные траектории» (подиндекс Образовательных траекторий) – весовой коэффициент 0,1.
Для задачи анализа динамики индекса образовательных результатов за последние 3 года состав показателей для 2017 и 2018 года берется аналогично представленному выше (при наличии).
ЗАКЛЮЧЕНИЕ
Разработанная методика комплексной оценки качества образовательных результатов обучающихся общеобразовательных организаций, расположенных на территории Ханты-Мансийского автономного округа – Югры ставит своей целью формирование информационно-аналитической основы региональной образовательной политики повышения качества общего образования и позволяет обеспечить, прежде всего,:
-     идентификацию по итогам отчетного года школ, имеющих стабильно высокие и стабильно низкие образовательные результаты обучающихся;
-     анализ эффективности и результативности мероприятий, направленных на повышение качества образования в образовательных организациях Ханты-Мансийского автономного округа – Югры, имеющих стабильно низкие образовательные результаты, а также в школах, функционирующих в неблагоприятных социальных условиях;
-     выявление школ «зоны риска», демонстрирующих резкую дифференциацию (неустойчивость) средних показателей образовательных результатов в динамике и/или в рамках различных оценочных процедур (ГИА, ВПР, РДР), в т.ч. интерпретируемую как признак необъективной оценки.
При проведении Комплексной оценки предусмотрено использование первичных данных регионального программного модуля платформы ABBYY «Региональный мониторинг», а также инструментария IBM SPSS Statistics и MS Excel.
На первом этапе Комплексной оценки формируется список общеобразовательных организаций – участников оценочной процедуры из числа организаций, реализующих на территории Ханты-Мансийского автономного округа – Югры образовательные программы начального общего, основного общего и среднего общего образования.
В отношение организаций-участников формируются данные контекстного анализа, включая тип и вид организации, значение индекса социального благополучия, категорию организации (сельская малокомплектная школа, школа со стабильно низкими или со стабильно высокими образовательными результатами и т.п.), значения показателей текущего кадрового состава и контингента обучающихся.
На следующем этапе в разрезе каждой обследуемой организации фиксируются значения 39-ти показателей по критерию идентификации, предусмотренные пунктом 5 настоящей методики. Отдельно по каждому показателю фиксируется факт его отсутствия или необъективности, в соответствии с данными официальной статистики и отчетов.
По каждому объективному показателю рассчитывается индекс показателя, принимающий значения от 0 до 1 в зависимости от позиции организации по данному показателю относительно фактически достигнутых минимальных и максимальных значений показателя среди оцениваемых организаций. Соответственно, организация с максимальным значением показателя получает значение индекса показателя, равное 1. Организации с минимальным значением показателя присваивается индекс 0.
Индекс для абсолютных и относительных параметров с установленным пороговым значением (индекс индикатора) рассчитывается путем приведения к шкале от «0» до «1» следующим образом – значение «0» присваивается, если показатель не удовлетворяет пороговому значению, а «1» – если показатель отвечает установленным требованиям.
Путем расчета среднеарифметического значения индексов показателей формируются 5 групп подиндексов:
-     подиндекс ГИА – группа основных показателей «Государственная итоговая аттестация»;
-     подиндекс ВПР – группа основных показателей «Всероссийские проверочные работы»;
-     подиндекс РДР – группа основных показателей «Региональные диагностические работы»;
-     подиндекс Олимпиад – группа вспомогательных показателей «Олимпиады»;
-     подиндекс Образовательных траекторий – группа вспомогательных показателей «Образовательные и профессиональные траектории».
Организации с отсутствующими подиндексами по трем основным группам показателей (подиндекс ГИА, подиндекс ВПР, подиндекс РДР) в итоговый список включаются без указания значения индекса образовательных результатов.
Суммирование подиндексов с учетом установленных в их отношении весовых коэффициентов формирует значение индекса образовательных результатов, на основании которого формируется итоговый список образовательных организаций.
Методикой Комплексной оценки образовательных результатов за 2019 год предполагается использование следующих весовых коэффициентов:
-     подиндекс ГИА – весовой коэффициент 0,4;
-     подиндекс ВПР – весовой коэффициент 0,3;
-     подиндекс РДР – весовой коэффициент 0,1;
-     подиндекс Олимпиад – весовой коэффициент 0,1;
-     подиндекс Образовательных траекторий – весовой коэффициент 0,1.
В итоговых списках (по типам и видам образовательных организаций) школы ранжируются от меньшего значения индекса к большему и выделяются в квартили. Общее количество проранжированных по значению индекса образовательных результатов школ делится на четыре примерно равные части по 25 % каждая: от 1 квартиля (самого низкого значения индекса) до 4 квартиля (самого высокого значения индекса).
Выделение школ «зоны риска» осуществляется по критериям, установленным пунктом 4.5 настоящей Методики, прежде всего на основе фиксации факта резкой дифференциации (неустойчивости) средних показателей образовательных результатов в динамике и/или в рамках различных оценочных процедур (ГИА, ВПР, РДР) по отдельной обследуемой организации.
Далее, с учетом исключения школ «зоны риска», из группы школ 1-го квартиля за последние 3 года формируется список школ со стабильно низкими образовательными результатами, а из группы школ 4-го квартиля за последние 3 года – школы со стабильно высокими образовательными результатами.
С учетом контекстного анализа по группам показателей «Социальные условия», «Тип образовательной организации» и «Кадровой состав организации» формируются профили образовательных организаций, а также даются рекомендации по определению наиболее эффективных систем взаимодействия школ со стабильно низкими результатами обучения со школами-лидерами, направления деятельности которых предусматривают распространение эффективных педагогических практик и передового опыта.
Результаты Комплексной оценки могут использоваться также для анализа эффективности и результативности мероприятий, направленных на повышение качества образования в образовательных организациях Ханты-Мансийского автономного округа – Югры.
Опубликовано: 18.09.2019 10:20        Обновлено: 24.12.2019 15:36