Согласование и совершенствование подходов к оцениванию развернутых ответов участников ОГЭ

Целью проведения массовых процедур оценки качества образования как правило, является не только сама оценка качества образования как таковая, но и использование полученных результатов в практических целях: оценка эффективности обучения, корректировка самого процесса дальнейшего обучения, учёт полученных результатов для отбора обучающихся при переходе на следующую ступень обучения и прочие.

Самой массовой процедурой оценки качества образования в России является процедура проведения государственной итоговой аттестации по образовательным программам среднего общего образования в форме основного государственного экзамена (ОГЭ).

ОГЭ — процедура не только самая массовая, но и самая значимая для всех участвующих в ней субъектов образования: выпускников, образовательных организаций, органов управления образованием различного уровня.

С одной стороны, от результатов ОГЭ зависит возможность и качество дальнейшего обучения для выпускников. С другой стороны, результаты столь массовой процедуры используются для диагностики образовательного процесса, принятия управленческих решений в сфере образования от рядовой школы до федеральных органов власти.

Очевидно, что для корректного решения всех поставленных задач, которые решаются путём проведения ОГЭ, необходимо максимальное обеспечение единых условий проведения и оценки результатов этой самой массовой процедуры, в которую включены все субъекты Российской Федерации.

Про Аттестация по программам основного общего образования в форме основного государственного экзамена (ОГЭ) во многом определяется качеством экспертной проверки предметными комиссиями выполнения заданий с развернутым ответом.

Однако вопросы обеспечения единых подходов к экспертному оцениванию развёрнутых ответов на всей территории России пока не решены до конца. Несомненно, существует система оценивания выполнения экзаменационных заданий, которая в обязательном порядке содержит критерии оценивания развёрнутых ответов, но этого недостаточно. До сих пор имеют место и ситуации существенного расхождения в оценивании одних и тех же работ разными экспертами, и ситуации серьёзного изменения баллов за развёрнутые ответы при рассмотрении апелляций, и ситуации пересмотра результатов оценивания после проведения перепроверок работ на региональных и федеральном уровнях. Конечно, тому есть объективные причины, ведь развёрнутые ответы должны быть проверены экспертом-человеком, а значит, какой бы совершенной ни была система оценивания развёрнутых ответов участников ОГЭ, всегда будет иметь место особое мнение эксперта, не всегда согласного с установленной системой оценивания, и пресловутый человеческий фактор.

Для обеспечения внедрения единых подходов к оцениванию развёрнутых ответов, которые минимизируют разногласия экспертов при оценивании, с 2014 года по всех территории России введена следующая система, которая реализуется в три этапа, — это согласование подходов к оцениванию на трёх уровнях.

Первый уровень — федеральный, предполагающий согласование подходов к оцениванию на федеральном уровне. Председатели каждой региональной предметной комиссии на очной встрече обсуждают проблематику оценивания в прошлом сезоне проведения ОГЭ, особенности заданий будущего года и связанные с ними нюансы оценивания, вырабатывают единые решения, подходы для использования в будущем сезоне проведения ОГЭ.

Второй уровень — согласование подходов к оцениванию на региональном

уровне в каждом субъекте Российской Федерации. Предполагается, что представители регионов (председатели предметных комиссий), участвующие в согласовании подходов на федеральном уровне, проводят обучения рядовых экспертов региональных предметных комиссий, внедряя те подходы к оцениванию, которые были выработаны на федеральном уровне. Такое внедрение не может быть формальностью, лекцией для прослушивания, проводится обучение экспертов на конкретных примерах экзаменационных работ, обязательно вводятся практические занятия по оцениванию. По результатам обучения эксперты проходят квалификационное испытание, осуществляя проверку ряда характерных работ, на котором демонстрируют понимание и принятие подходов к оцениванию. В противном же случае, когда эксперт не применяет выработанные согласованные подходы, он не включается в состав предметной комиссии, не участвует в проверке экзаменационных работ.

Третий уровень — оперативное согласование. Предполагается, что предметная комиссия проводит оперативное согласование после проведения экзамена, но ещё до начала проверки (в день экзамена или на следующий день), когда председатель комиссии может оперировать «боевыми» критериями оценивания развёрнутых ответов на конкретные задания, которые были предложены для выполнения участникам ОГЭ именно в этом регионе. При этом уточняются и конкретизируются согласованные подходы к оцениванию применительно к заданиям, которые выполнялись участниками экзамена.

К оперативному согласованию можно отнести и практику консультирования, активно внедряемую в работу предметных комиссий. Во время проверки экзаменационных работ наиболее подготовленные в отношении применения принципов согласованности эксперты при этом консультируют рядовых экспертов при возникновении у них каких-либо вопросов или затруднений при определении оценки того или иного развёрнутого ответа. При этом необходимо отличать практику консультирования от коллективного оценивания работ, что недопустимо. Также представляется целесообразным мониторинг председателем предметной комиссии оперативной статистики хода проверки с целью дополнительной корректировки работы экспертов со стороны председателя комиссии и экспертов-консультантов. Система согласования подходов к оцениванию базируется на следующихпринципах:

- Диалог в профессиональном сообществе с участием представителей субъектов Российской Федерации (как правило - председателей региональных предметных комиссий или их заместителей) и выработка единых договорённостей о значимости или незначимости ряда аспектов при оценивании экзаменационных работ. Такой диалог должен состояться заблаговременно до проведения и проверки результатов ОГЭ, поскольку необходимо время на внедрение выработанных подходов и отбора экспертов для включения в состав предметной комиссии.

- Строгая иерархическая структура предметных комиссий.

- Следование уже выработанным и согласованным подходам к оцениванию во время «боевой» проверки развёрнутых ответов вне зависимости от личного мнения эксперта, его положения, статуса вне процедуры проведения ОГЭ.

Проведение тщательного анализа уже прошедшего этапа проверки развёрнутых ответов с целью совершенствования выработанных согласованных подходов к оцениванию, которые будут использованы в следующем году. При этом анализируются и соблюдение требований к организации работы предметных комиссий, и сам процесс проверки, и случаи изменения результатов оценивания после основной проверки: третьи проверки, апелляции и перепроверки регионального и федерального уровня.

Иерархическая структура обеспечивает выполнение экспертами правил проверки, диктуемых председателем комиссии и экспертами-консультантами. Такая структура определяется посредством присвоения статусов каждому эксперту, включаемому в её состав. Статус эксперта (основной эксперт, старший эксперт, ведущий эксперт) определяется по результатам прохождения каждым экспертом квалификационных испытаний и определяет допуск эксперта к тем или иным функциям в рамках работы предметной комиссии. Например, основной эксперт не может выступать в качестве эксперта-консультанта или эксперта-предметника при рассмотрении апелляции. При этом важно понимать и учитывать, что установление иерархии в предметной комиссии не может зависеть от статусов конкретных экспертов в повседневной жизни, а должно быть основано на умении применения экспертами и критериального оценивания, и согласованных подходов к оцениванию работ ОГЭ. А это уже отдельное умение, которым необходимо овладеть. И, как и любым другим умением, не каждому, даже заслуженному в своей профессиональной области специалисту, удаётся овладеть таким умением.

Невозможно переоценить результаты анализа работы предметных комиссий. Качественно проведённый анализ и полученные выводы позволят не только оптимизировать процедуры проведения, обработки и проверки результатов ГИА, но и повлиять на образовательный процесс, поскольку будет затрагивать и вопросы содержания заданий, и статистику выполняемости заданий, а значит, и выявление слабых мест в достижении образовательных результатов участниками экзаменов.

В настоящее время такой анализ проводится в отношении ряда направлений

и результатов деятельности предметных комиссий. Остановимся на некоторых из них, касающихся непосредственно качества проверки развёрнутых ответов.

1. Рассогласованность между экспертами, проверяющими одни и те же работы.

Практика показывает, что результаты оценивания экспертов могут существенно различаться даже при небольшой разнице между суммами первичных баллов, рассогласование может фигурировать по большей части позиций (критериев) оценивания. В этом случае совпадение или небольшая разница между итоговыми суммарными баллами, выставленными экспертами, является не более чем случайностью.

Пример рассогласования между экспертами представлен в таблице 1.

Таблица 1

В данном случае разница в оценивании работы двумя экспертами очевидна.

Но, исходя из суммарных баллов, не кажется очевидным рассогласование в ситуации, представленной в Таблице 2.

Таблица 2

Однако при рассмотрении покритериальных оценок всё становится более понятным — ни по одной позиции оценивания эксперты не сошлись во мнении, а одинаковые суммы баллов уже не кажутся следствием качественной работы экспертов.

2. Анализ проведённого оценивания работ, направленных на третью проверку.

После выявления существенной разницы в оценивании первых двух проверок.

Рассмотрение результатов работы экспертов на третьих проверках даёт возможность как оценить работу каждого конкретного эксперта, так и сделать определённые выводы о позициях оценивания, вызвавшие наибольшие затруднения у экспертов при выставлении баллов, а также вызвавшие наибольшие затруднения у участников ОГЭ при выполнении заданий.

3. Анализ результатов рассмотрения апелляций.

До настоящего момента имели место случаи, когда после того как работа участника ОГЭ была проверена три раза — результаты первых двух проверок существенно различались, и работа была направлена на третью проверку, по результатам рассмотрения апелляции о несогласии с выставленными баллами, работа получала четвёртый набор оценок. При выявлении массовости таких случаев невольно возникает ряд вопросов в отношении экспертов, которые проверяли работу ранее: «А была ли, собственно, проверка этих работ или работал генератор случайных чисел?», «Почему изменён балл на апелляции, ведь работа проверена уже трижды?». Ответы на такие вопросы могут описывать и вполне объективные ситуации, но факты возникновения таких вопросов и разбирательств стимулируют сделать работу предметных комиссий более слаженной

и согласованной, исключить применение субъективизма.

***

Трёхуровневая система согласования подходов к оцениванию развёрнутых ответов на экзаменационные задания ОГЭ внедряется уже несколько лет. Это уже дало свой результат — количество существенных рассогласований при оценивании развёрнутых ответов каждый год заметно сокращается, что подтверждается статистикой.

Адрес публикации: https://www.prodlenka.org/metodicheskie-razrabotki/382952-soglasovanie-i-sovershenstvovanie-podhodov-k-