Статья «Международная программа по оценке образовательных достижений учащихся PISA и «PISA для школ». Опыт участия»

Шапинская Ирина Александровна,

учитель русского языка и литературы

МБОУ Лицей № 5

г. Воронеж.

Международная программа по оценке

образовательных достижений учащихся

PISA и «PISA для школ». Опыт участия.

Одним из важных приоритетов Российской Федерации выступает повышение качества образования: одна из приоритетных целей развития нашего государства на ближайшие несколько лет – вхождение Российской Федерации в число 10 ведущих стран мира по качеству общего образования.

Существенную роль в оценке качества российского образования играют международные сравнительные исследования, результаты которых позволяют выявить уровень и качество подготовки российских школьников в части овладения важными и признанными на международном уровне компетенциями.

Одним из таких исследований является Международная программа по оценке качества обучения PISA (Programme for International Student Assessment) проводится раз в 3 года, начиная с 2000 г., и проходит под патронажем Организации экономического сотрудничества и развития. Цель этого масштабного тестирования — провести оценку грамотности 15-летних школьников в разных видах учебной деятельности: естественнонаучной, математической, компьютерной и читательской. В каждом цикле исследования проекта PISA делается акцент на определенное направление

Международная программа по оценке образовательных достижений учащихся PISA является мониторинговым исследованием качества общего образования. Исследуется подготовка учащихся 15-летнего возраста: обладают ли они знаниями и умениями, необходимыми для полноценной жизни в современном обществе, умеют ли они решать задачи, используя навыки в различных сферах человеческой деятельности, способны ли они продуктивно общаться. Страны, используя результаты исследования, смогут определить сильные и слабые стороны образования, увидеть свой профиль на фоне других государств и определить направления совершенствования учебного процесса в школах.

Главное отличие программы PISA от ЕГЭ, ОГЭ и других российских тестов заключается в том, что она, в первую очередь, оценивает возможность школьников руководствоваться здравым смыслом и логикой при выполнении нестандартных задач. Исследование PISA сосредоточено на оценке практических умений и навыков учащихся и их умении применять знания, полученные в школе, в жизни. Можно сказать, что важнейший аспект грамотности и навыков XXI века — способность учеников применять школьные знания в реальной жизни.

Считается, что результаты PISA непосредственно связаны с экономическим и социальным развитием страны. Поэтому в образовательной политике многих стран результатам этого исследования придается ключевое значение.

Как проверяется уровень функциональной грамотности школьников в проекте PISA? В исследование включаются задания разного типа, которые проверяют не заученный материал по конкретному предмету, а владение учениками компетенциями в различных контекстах знаний по тому или иному предмету и межпредметного взаимодействия: здоровье человека, природные ресурсы, окружающая среда, экология, открытия в области науки и технологии.

Большую часть заданий составляют вопросы, предполагающие свободные ответы. А есть вопросы с определённым, нерасширяемым списком ответов. Это значит, что ученик должен выдать самостоятельный ответ, который будет ограничен конкретными словами или числами. Существуют интерактивные задания, направленные на наблюдение за каким-то объектом, в которых нужно сделать вывод о том, как функционирует этот объект. Есть задания с аналитическим решением, в которых стоит задача предусмотреть дальнейшее развитие событий или действие каких-то предметов. В 2015 году появились в PISA и задания для коллективного выполнения — коллаборативные. В таких заданиях предусмотрено совместное решение проблем с партнёрами, в качестве которых выступают виртуальные помощники. С ними обсуждают, анализируют и решают заданную проблему: что-то организовать, создать, придумать, переделать или наладить. Такие задания показывают, как ученик взаимодействует с партнёром, как распределяет обязанности, и умеет ли договариваться.

Но многие наши исследователи и ученые-аналитики считают, что тесты PISA имеют и некоторые недочёты: многие интерактивные творческие задания, по их мнению, должны иметь более гибкую систему ответов. В нескольких заданиях подобного типа эксперты заметили ошибки: разработчики попросту не смогли предвидеть другие (тоже правильные!) варианты решения тестов.

К сожалению, результаты наших школьников остаются невысокими на фоне других стран. Почему?

В 2019 году Национальный исследовательский университет «Высшая школа экономики» в электронном издании «Факты образования» опубликовал пособие «Основные результаты российских учащихся в международном исследовании читательской, математической и естественнонаучной грамотности PISA–2018 и их интерпретация».

Так, интерпретируя результаты исследования, специалисты высшей школы экономики, после получения низких результатов российских школьников в PISA‒2000, отмечают, что в учебниках, в контрольно-измерительных материалах было увеличено количество заданий по практическому применению знаний, начали распространяться активные форматы обучения. В ряде исследований было показано, что эти изменения положительно связаны с ростом результатов PISA c 2003 по 2015 год.

Но также отмечается, что негативным фактором, повлиявшим на результаты участия наших школьников в исследовании, стали изменения в системе образования последних лет, которые стимулируют учащихся, скорее, запоминать и действовать по образцу, а не мыслить критически, анализировать, сравнивать, экспериментировать. Речь идет, например, о широком распространении и Всероссийских проверочных работ, и об «ужесточении» ОГЭ после 9 класса.

Также в пособии перечисляются факторы, влияющие на результаты участия в исследовании.

1. Динамика баллов по чтению российских учащихся в зависимости от наличия у матери высшего образования.

2. Дисциплинарные проблемы, мешающие обучению.

3. Нехватка различных образовательных ресурсов в школе.

4. Психологический климат в школе: 37% учеников периодически страдают от буллинга (против 23% в среднем по ОЭСР), в том числе 12% подвергались ему несколько раз в неделю.

5. Большие различия наблюдаются в результатах учащихся из городов и сел.

А вот американский профессор педагогики Университета Аризоны Дэвид Берлинер заявляет, что результаты теста PISA связаны вовсе не с уровнем образования, а с качеством жизни в стране в целом. В США, кстати, тестирование PISA ученики проходят не блестяще.

Другое объяснение низким результатам дает Галина Ковалёва, координатор PISA в России. Она отмечает следующее: низкие результаты теста в нашей стране связаны с тем, что учителя превосходно обучают предмету, однако не замечают, как знания по этому предмету усваивают отдельные ученики в классе. Кроме того, Ковалёва говорит, что российская система образования заметно отличается, например, от финской (а Финляндия почти всегда лидирует в PISA). У нас существуют целые школы для способных детей, но при этом отстающие ученики оказываются совершенно «заброшенными». В Финляндии же нет «лицейских» классов и школ «с уклоном»: одарённым школьникам разрешено заниматься самостоятельно, а для отстающих разрабатываются специальные индивидуальные программы обучения.

К рассмотренному исследованию можно относиться по-разному: принимать во внимание или игнорировать. Но надо помнить, что в каждой системе есть свои недочеты и ошибки. Совершенной системы оценки, наверное, не существует, поэтому ошибочным является и погоня за лучшими местами в международном рейтинге. Но к итогам тестирования тоже нельзя не прислушиваться, потому что изначально исследования PISA направлены не только на оценку достижений учеников, но и на обнаружение слабых мест в системе школьного образования страны в целом. Результаты PISA — это результаты владения новыми важными компетенциями, ставшими ключевыми навыками современного человека, от которых зависит успех, реализация творческого потенциала и полноценное взаимодействие с обществом.

В 2020-2021 учебном году учащиеся МБОУ Лицей № 5 приняли участие в исследовании «PISA для школ». Как и Международная программа по оценке образовательных достижений PISA, исследование «PISA для школ» измеряет знания и навыки 15-летних учащихся в области чтения, математики и естественнонаучных дисциплин. Оно также анализирует их отношение к учебе, школе и изучает учебную среду самих школ. Важно отметить, что это исследование измеряет не только то, могут ли ученики воспроизвести полученные знания, но и то, насколько хорошо они могут экстраполировать свои знания и творчески применять их в новых контекстах. Исследование «PISA для школ» представляет собой уникальный инструмент, с помощью которого можно инновационным способом сравнить и оценить успеваемость отдельной школы по отношению к другим образовательным организациям в мире.

В отличие от основного исследования PISA, которое предназначено для получения результатов на государственном уровне, исследование «PISA для школ» предназначено для получения результатов на уровне школы в целях проведения сравнительного анализа и совершенствования работы школы.

В РФ в исследовании «PISA для школ» приняли 263 школы, в ОЭСР – 11 327.

В МБОУ Лицей № 5 из подходящего по возрасту количества девятиклассников были отобраны 55 учеников. В исследовании участвовали 81% от заявленных лицеистов. В РФ были отобраны 7911 уч-ся, в ОЭСР – 328281 уч-ся. В лицее прошли исследование 44 уч-ся, в РФ – 7608 школьников, в ОЭСР – 292999 уч-ся. Доля девочек среди учащихся лицея составила 50 %, в РФ – 50%, в ОЭСР – 50%. Поскольку исследование «PISA для школ» основывается на международной оценке образовательных достижений учащихся PISA, результаты МБОУ лицея № 5 можно сравнить с результатами образовательных учреждений из более чем 80 стран, которые участвовали в различных циклах исследования PISA.

Исследование проводилось в компьютерном формате

Основные сессии были проведены в три дня. Позже состоялась дополнительная сессия для учащихся, не принимавших участие в тестировании в основные дни по болезни.

Тестирование – 1,5 часа

10-минутный перерыв

30-минутная анкета.

Таким образом, время исследования составило 2 часа (120 минут).

Каковы результаты? Кратко их можно продемонстрировать следующим образом.

В сравнительной таблице 1 представлены статистически значимые результаты при 95%-м доверительном интервале. Результаты приводятся по международной 100-балльной шкале со средним значением 500 баллов.

Таблица 1.

Из данных таблицы видно, что учащиеся МБОУ лицей № 5 показывают результаты выше, чем результаты учащихся по РФ. Причем в читательской и естественно-научной грамотности мальчики и девочки показывают схожие результаты, а по результатам исследований математической грамотности девочки, обучающиеся в лицее, показали более высокие результаты, чем мальчики на 69%.

Говоря о вовлеченности и восприятии учащихся МБОУ лицей № 5, можно отметить, что 68% лицеистов, участников исследования «PISA для школ», считают, что естественно-научные дисциплины важны для их будущего; 25% лицеистов, участников исследования «PISA для школ», видят, что учителя оказывают индивидуальную поддержку слабоуспевающим, 11% лицеистов, участников исследования «PISA для школ», сталкиваются с нарушениями дисциплины и шумом в классе, и это их беспокоит.

Далее в таблице 2 представлены результаты учащихся МБОУ лицей № 5 по читательской, математической и естественнонаучной грамотности.

Таблица 2

Данные таблицы свидетельствуют о том, что читательская, математическая грамотность учащихся МБОУ лицей № 5 значительно выше, чем в РФ и значимо выше, чем в ОЭСР. Естественно-научная грамотность значительно выше, чем в РФ и схожа с результатами в ОЭСР.

Результаты учащихся по читательской грамотности

Исследование «PISA для школ» оценивает несколько различных когнитивных процессов, задействованных при чтении. В рамках исследования рассматриваются когнитивные стратегии, подходы или цели, которые читатели используют при работе с одним или несколькими текстами.

Задания исследования PISA оценивают сформированность компетенций во время таких процессов, как поиск информации, понимание буквального смысла, интерпретация информации, осмысление и оценивание содержания текста, а также осмысление и оценивание формы текста.

Исследование «PISA для школ» включает необходимые задания, чтобы представить эти пять процессов в виде объединенных данных по трем группам умений:

• Поиск информации: навигация в предоставленной информации для нахождения и извлечения одного или нескольких отдельных фрагментов информации, независимо от формата чтения (в печатном или цифровом виде).

• Понимание: включает в себя обработку прочитанного с целью придания тексту внутреннего смысла, независимо от того, как он сформулирован.

• Осмысление и оценивание информации: включает в себя использование знаний, представлений и взглядов, выходящих за рамки текста, с целью соотнесения информации, представленной в тексте, с собственным учебным и социально-бытовым опытом и системой ценностей.

В таблице 3 представлены результаты участия учащихся по читательской грамотности (три группы умений).

Таблица 3

Показатели таблицы свидетельствуют, что результаты участия учащихся МБОУ лицей № 5 значительно и значимо выше, чем результаты по РФ и в странах ОЭСР.

Результаты учащихся по математической грамотности

Согласно концепции исследования PISA, математическая грамотность подразумевает развитое математическое мышление, которое можно описать с помощью трех компетенций: умения формулировать задачу математически, умения применять математический аппарат для решения задачи, умения интегрировать и интерпретировать результаты.

Концепция определяет три умения: умение формулировать, умение применять и умение интерпретировать.

• Умение формулировать: решение начинается с выделения задачи в представленном контексте. Учащемуся необходимо определить, какие именно математические знания имеют отношение к описываемой ситуации, сформулировать ситуацию математически в соответствии с заданными условиями, упростить ситуацию, применив возможные допущения. Таким образом, учащийся превращает «задачу в контексте» в «математическую задачу», которая может быть решена с помощью инструментов математики.

• Умение применять: чтобы решить задачу с помощью математики, необходимо использовать математические концепции, факты, процессы и методы рассуждения для получения «математических результатов». Этот этап может включать в себя математические манипуляции, трансформации и вычисления, как с использованием математических средств, так и без них.

• Умение интерпретировать: чтобы связать полученные математические результаты с контекстом задачи, их необходимо интерпретировать с точки зрения исходного условия. Таким образом, учащийся должен интерпретировать полученные математические результаты и их обоснованность в контексте задачи реального мира.

В таблице 4 представлены результаты учащихся по математической грамотности (три группы умений).

Таблица 4

По всем показателям таблицы видно, что математическая грамотность у учащихся МБОУ лицей № 5 значительно и значимо выше, чем в РФ и в странах ОЭСР.

Результаты учащихся по естественнонаучной грамотности

Деятельность в сфере естественнонаучных дисциплин требует наличия трех элементов: научной компетенции, знания стандартных методологических процедур, применяемых в науке, и знания содержания естественнонаучной дисциплины.

Эти три элемента взаимосвязаны. Объяснение научных и технологических явлений, например, требует знания содержания предмета. Анализ научных изысканий и интерпретация результатов с научной точки зрения также требуют понимания того, как добываются научные знания, и некоторой степени уверенности в применении этих знаний.

Согласно определению исследования PISA, человек, обладающий естественнонаучной грамотностью, способен и готов участвовать в аргументированной дискуссии о науке и технологиях. Для этого необходимо иметь сформированные умения:

• Умение объяснять: подразумевает способность распознавать, предлагать и анализировать научные объяснения целого ряда природных и технологических явлений.

• Умение оценивать и применять: подразумевает умение описывать, планировать и оценивать научные исследования и предлагать пути решения задач с научной точки зрения.

• Умение интерпретировать с научной точки зрения: подразумевает умение анализировать и оценивать данные, утверждения и аргументы, представленные в различных формах, и делать соответствующие научные выводы.

В таблице 5 представлены результаты учащихся по естественнонаучной грамотности (три группы умений).

Таблица 5

Данные таблицы показывают, что умение оценивать и применять у учащихся МБОУ лицей № 5 в рамках естественно-научная грамотности выше, чем в РФ и схожа с показателями в странах ОЭСР.

Из результатов исследования «PISA» для школ можно наблюдать удовлетворительное участие учащихся МБОУ лицей № 5 в исследовании.

Использованные источники:

1. https://tass.ru/obschestvo/5182103

2. https://rosuchebnik.ru/material/issledovaniya-pisa-2018-v-rossii/

3. https://www.gazeta.ru/social/2019/12/09/12831446.shtml

4. https://god2021bull.com/issledovanie-pisa-2021-goda-napravlenie-podgotovka/

5. https://lk-fisoko.obrnadzor.gov.ru/

Адрес публикации: https://www.prodlenka.org/metodicheskie-razrabotki/468350-statja-mezhdunarodnaja-programma-po-ocenke-ob