Валидация содержания теста по информатике в рамках ЕНТ: экспертная оценка и психометрический анализ

Аннотация

Актуальность исследования значима, поскольку Единое национальное тестирование в Казахстане является экзаменом с высокой ставкой, результаты которого оказывают существенное влияние на образовательные траектории выпускников. Это обуславливает необходимость обеспечения валидности и надежности тестовых материалов, особенно по динамично развивающимся предметам, таким как информатика. Дополнительное значение имеет независимая верификация содержания теста в связи с переходом информатики в категорию профильных предметов с 2022 года. Исследование проводилось с целью проведения комплексного анализа содержательной валидности теста по информатике ЕНТ через экспертизу соответствия спецификации требованиям Государственного общеобязательного стандарта образования (ГОСО) и психометрическую оценку качества заданий. В исследовании использовались смешанные методы, включающие контент-анализ 54 учебных целей, независимую экспертную оценку с участием шести экспертов, качественный анализ методом тематического кодирования и количественную оценку по модели Раша на выборке из 116 учащихся. Результаты исследования показали, что в структуре учебных целей преобладали задания на понимание (25%) и применение (30%), при этом наблюдался недостаток заданий высоких когнитивных уровней, таких как анализ (15%) и оценка (10%). Экспертный анализ подтвердил репрезентативность содержания с коэффициентом согласия Каппа 0,80, однако выявил необходимость включения современных тем, таких как 3D-моделирование и информационная безопасность. Психометрический анализ продемонстрировал высокую надежность теста с α = 0,94 и соответствие большинства заданий модели Раша, при этом были идентифицированы два проблемных задания с Outfit MNSQ выше 1,5. По результатам исследования разработаны рекомендации по модернизации теста: уточнены формулировки учебных целей, добавлены новые тематические блоки и скорректированы проблемные задания. Комплексный подход к валидации доказал свою эффективность для повышения качества измерительных материалов. Результаты могут быть применены в практике разработки и обновления тестовых спецификаций.