3.1.1 Научный проект «Измерение ключевых навыков и компетенций»

Научное направление 3. Занятость, социальная активность и формирование ключевых навыков и компетенций → Исследовательская программа 3.1 Навыки и компетенции: отдача, формирование, инструменты оценки

Период реализации проекта 

2020-2025

Связь научного проекта с тематикой человеческого потенциала

Динамика экономического развития и трансформации рынков труда приводят к появлению новых требований к уровню развития навыков и компетенций человека, включая не только традиционно понимаемые образовательные результаты, но и гораздо более широкий набор других характеристик, которые сегодня находятся за пределами внимания формальных систем образования, но, в действительности, составляют важную часть человеческого капитала в XXI веке. Изучение отдачи от социальных, личностных и эмоциональных характеристик человеческого потенциала во многом сдерживается отсутствием высококачественных современных инструментов оценки, обладающих высоким уровнем валидности и надежности.

Научный проект «Измерение ключевых навыков и компетенций» фокусируется на поиске и разработке концептуальных моделей, психометрических подходов и методов для валидного и надежного измерения ключевых навыков и компетенций в образовании.

Цель проекта:

Разработка на базе инновационных подходов, опирающихся на концептуальные основы, учитывающие новые требования к оцениванию человеческого потенциала как комплексной рамки, инструментов оценивания сложных конструктов, являющихся частью человеческого потенциала и их апробация на конкретных выборках в рамках системы образования

Задачи проекта:

1. Разработка теоретических моделей измерения ключевых навыков и компетенций учащихся, включающих операциональные определения ключевых навыков и компетенций, их предполагаемую внутреннюю структуру и поведенческие индикаторы их проявления
2. Создание качественных, надежных и валидных компьютеризированных инструментов оценки ключевых навыков и компетенций, а также методов анализа собираемых данных. Разработка психометрических моделей и статистических методов анализа результатов, учитывающих сложность теоретической структуры и природы проявления ключевых навыков и компетенций, развиваемых у учащихся в процессе обучения, включая социально-эмоциональные навыки
3. Исследование сформированности компетенций 4К (критическое мышление, креативность, коммуникация и кооперация) в начальной школе, уровня цифровой грамотности выпускников основной школы, взаимосвязи социально-эмоциональных навыков и мотивации учащихся начальной и основной школы с их образовательными результатами и субъективным благополучием, уровня критического мышления и уровня развития компетентности в области экономики и управления студентов российских вузов
4. Исследование возможностей использования коллатеральной информации (контекстной информации и информации из цифровой среды оценивания) при измерении индивидуального прогресса учащихся и доступных данных из социальной сети ВКонтакте для изучения факторов образовательных достижений школьников

Ключевые результаты

2020 г.

Разработаны теоретические рамки измерения универсальных компетенций для начальной школы на основе модели 4К (критическое мышление, креативность, коммуникация и кооперация), проведена адаптация инструмента измерения компетентности в области экономики и управления студентов (созданного в рамках проекта WiWiKom (Германия)) к российскому образовательному контексту

2021 г.

Разработаны теоретические модели измерения компетенций критического мышления и креативности учащихся основной школы, цифровой грамотности учащихся основной школы, критического мышления студентов вузов, а именно: проведен анализ проблем операционализации, анализ существующих в мире моделей и инструментов их измерения, сформулированы определения, выделены и описаны составляющие для всех конструктов, определены поведенческие характеристики, которые могут являться свидетельствами сформированности составляющих конструкта и потенциальные продукты деятельности, в которых они могут проявляться.

Проведена апробация и обоснование психометрического качества инструмента измерения компетентности в области экономики и управления студентов вузов, инструментов сценарного типа для оценки социально-эмоциональных навыков и учебной мотивации учащихся начальной и основной школы, инструмента измерения базовых математических навыков, разработан и апробирован пробный алгоритм автоматического начисления баллов за задания с коротким конструируемым ответом открытого типа в цифровых инструментах.

2022 г.

Проведена работа по разработке и апробации инструментов оценивая ключевых навыков и компетенций (критическое мышление, креативность, коммуникация, кооперация), цифровой грамотности, социально-эмоциональных навыков, базовой грамотности для общей школы и критического мышления, и экономической грамотности для высшей школы. Для повышения точности и надежности измерений в платформу тестирования внедрен автоматический сбор дополнительной информации о поведении респондентов на платформе тестирования, разработаны прототипы моделей автоматического начисления баллов. Исследованы возможности применения моделей когнитивной диагностики для предоставления формирующей обратной связи по результатам тестирования.

Пример компьютерной системы и результаты апробации теста на большой выборке учащихся одного из крупных городов РФ

Образовательные программы 

Образовательная программа магистратуры «Обучение и оценивание как наука»

Образовательная траектория «Дизайн образовательных продуктов» на магистерской программе «Педагогическое образование»

Майнор «Исследователь в EdTech»

Серия совместных образовательных мастер-классов НИУ ВШЭ и РАНХиГС «Социальное и гуманитарное измерение человеческого потенциала» 

Учебный курс «Сравнительный анализ систем образования»

Публикации

1. Угланова И.Л. Погожина И.Н. Что может предложить новая методология оценки мышления школьников современному образованию? // Вопросы образования
2. Federiakin D. et al. Cross-national structure of economic competence: Insights from a German and Russian assessment //Research in Comparative and International Education. – 2022. – Т. 17. – №. 2. – С. 225-245. doi
3. Доклад «Оценка универсальных компетенций как результатов высшего образования». Авторский коллектив: С. М. Авдеева, П. В. Гасс, Е. Ю. Карданова, Ю. Н. Корешникова, А. А. Куликова, Е. А. Орел, Т. В. Пащенко, П. С. Сорокин. Национальный исследовательский университет «Высшая школа экономики». — М.: НИУ ВШЭ, 2021
4. Авдеева С.М., Уваров А.Ю., Тарасова К.В. Цифровая трансформация школ и информационно-коммуникационная компетентность учащихся //Вопросы образования. – 2022. – №. 1. – С. 218-243. doi
5. Т.Н. Канонир, И.Л. Угланова, А.А. Куликова Мониторинг субъективного благополучия в школе: оценка в рамках современной теории тестирования //Мониторинг общественного мнения: экономические и социальные перемены. – 2022. – №. 4 (170). – С. 247-272. doi
6. Parmaksiz L., Kanonire T. A  (2022) Comparative Investigation of the Rasch/Guttman Scenario Approach: Measuring Learning Motivation Toward Mathematics in Elementary School. //Assessment for Effective Intervention. – 2022. – Т. 48. – №. 1. – С. 34-42. doi
7. Kuzmina Y., Antipkina I. (2022) The Association between Approximate Number Sense (ANS) and Math Achievement Depends on the Format of the ANS Test //Journal of Cognition and Development. – 2022. – Т. 23. – №. 4. – С. 545-570. doi
8. Бакай Е. А., Юсупова Э. М., Антипкина И. В. Читают или делают вид? Анализ поведения учащихся начальных классов при выполнении заданий теста читательской грамотности //Вопросы образования. – 2023. – №. 1. – С. 8-28. doi
9. Иванова А. Е., Антипкина И. В. Декомпозиция трудности заданий в тесте читательской грамотности //Вопросы образования. – 2023. – №. 3. – С. 92-112., doi

Инструменты

Тест экономической грамотности

Инструмент оценки социально-эмоциональных навыков с использованием сценарных заданий невербального типа

Инструмент оценивания цифровой грамотности учащихся основной школы

Инструмент оценки критического мышления студентов вузов

Тестовые задания измерения критического мышления, креативности, коммуникации и кооперации

Инструмент измерения базовых навыков по математике для учащихся 1 класса

Конференции

XXII Апрельская международная научная конференция по проблемам развития экономики и общества (Москва, Россия, 13-30 апреля 2021 г.):
специальный круглый стол «Оценка универсальных компетентностей как результатов высшего образования» (19.04.2021)

Международный научный семинар «Возможности и проблемы оценки компетенций студентов в системе высшего образования: краткий обзор современного состояния исследований» из серии мероприятия в рамках Международного научного семинара «Измерения и анализ данных в психологии и образовании» (Москва, Россия, 23 сентября 2021 г.)

Вебинар «Оценка цифровых компетенций учащихся: опыт разработки инструментов и результаты исследований» в рамках Международного научного семинара «Измерения и анализ данных в психологии и образовании» (Москва, Россия, 9 декабря 2021 г.)

XXIII Ясинская (Апрельская) международная научная конференция по проблемам развития экономики и общества (Москва, Россия, 5-22 апреля 2022 г.):
специальная сессия «Универсальные компетенции как ядро человеческого потенциала: формирование и оценивание» (05/04/2022)