Большая рыбка по гамбургскому счету

Младший научный сотрудник НУЛ СОН Ксения Тенишева съездила в Гамбург, где работают лучшие специалисты в сфере анализа данных по качеству образования, чтобы проконсультироваться по поводу своей будущей статьи «Conditional environmental effects of achievement on math self-esteem»

Сейчас не только исследователи, но и обыватели, интересующиеся состоянием образования в России и за рубежом, наслышаны о таких сравнительных программах, как TIMSS (Trends in International Mathematics and Science Study) и PIRLS (Progress in International Reading Literacy Study). Тем более, что, в отличие от «провальной» для нас PISA, в этих исследованиях Россия стабильно показывает себя очень хорошо.

Мне согласились помочь коллеги из отдела аналитики RandA (Research and Analysis) Andrés Sandoval-Hernandez (начальник отдела) и Plamen Mirazchyiski. RandA – часть международной организации IEA (International Association for the Evaluation of Educational Achievement), с 1958 года проводящей международные сравнительные исследования. На данный момент самыми известными и масштабными из них являются «близнецы» PIRLS и TIMSS, исследования успехов 4- и 8-классников по чтению, математике и науке, проводимые более чем в пятидесяти странах мира. Сравнительный характер данных объясняет и их сложность: без специального тренинга довольно сложно разобраться во всех хитростях работы с материалами. Раз в четыре года собирается уникальная и крайне интересная информация не только об успеваемости школьников по трем предметам, но и об их установках, школьном климате, домашних характеристиках. Помимо опросника для учеников, IEA каждый раз готовит анкеты для родителей, учителей и директоров, что в сочетании со сбором данных не только для относительно взрослых (8 класс), но и для совсем юных (4 класс) учащихся выгодно отличает TIMSS и PIRLS от более известной и раскрученной программы оценки школьников PISA, организованной OECD.

Андрес и его коллеги не только знают все о данных, но и знакомы с тематикой, как этой моей работы, так и других исследований лаборатории. Например, Андрес сейчас публикует статью, посвященную новому подходу к технике моделирования структурными уравнениями (которую мы регулярно применяем в наших исследованиях) в соавторстве с Оливером Людтке (Oliver Lüdtke), одним из главных соавторов Герберта Марша. В целом же вся деятельность центра направлена на изучение «добавленной стоимости» (value-added) разных характеристик образовательных успехов как школ, так и целых стран, а также связи разных факторов с успехами по науке, математике и чтению в 4 и 8 классах. Также активно ведется подготовка отчетов для политиков в сфере образования. Такие масштабные межстрановые исследования проводятся во многом именно для того, чтобы дать экспертам возможность сравнивать системы образования в разных государствах и перенимать друг у друга лучший опыт.

Уже несколько месяцев я работаю над проектом, посвященным изучению эффекта «большой рыбки в маленьком пруду» на основе данных TIMSS. С первыми находками я выступала на конференции в Кадисе и не так давно – на конференции в честь дня рождения НУЛ СОН. Мы интерпретируем полученные результаты в рамках теории социального сравнения и концепта воспринимаемой славы (reflected glory). Ученики выстраивают представление о своих способностях в соответствии с успехами их одноклассников, и чем лучше учатся окружающие, тем выше должны быть успехи индивида, чтобы он был уверен в себе и не испытывал депривации в результате сравнения. В то же время, школьники ориентируются и на статус их класса или учебного заведения: те, кто учится в действительно «крутых» математических школах, будут лучше думать о своих способностях в сфере математики, несмотря даже на скромные успехи в этой сфере. При этом самые успешные ученики оказываются одинаково уверенными в себе как в лучших, так и в худших школах.

Практически все полученные результаты подтверждают аспекты концепции «большой рыбки в маленьком пруду» Герберта Марша, взятую нами за образец, кроме одного. Мы не обнаружили отрицательного влияния средней успеваемости на уверенность учащегося в своих силах, а этот эффект является ключевым для концепции (чем выше средний балл, тем успешнее класс/школа, т.е. «больше пруд»). Прежде чем публиковать уже практически готовую статью, мне было необходимо убедиться в отсутствии ошибок в расчетах, для чего я и поехала к коллегам в Гамбург.

Мой трехдневный визит начался с коллоквиума, на котором я презентовала свое исследование, остальные два дня мы плотно работали непосредственно с данными, проверяя мои вычисления. Я была приятно удивлена, получив много хорошей, конструктивной критики, которой часто так не хватает при выступлениях на разных конференциях. Хотя слушателей было немного, они представляли все важные отделы IEA: анализ данных, формирование выборки (sampling), подготовка первичных отчетов. Это исследователи, которые уже не первый год работают с действительно непростыми данными TIMSS и PIRLS, готовят опросники, составляют стратифицированные выборки для настолько разных стран, как Америка, Катар и Россия. Именно они придумали такой сложный способ подсчета результатов тестов по математике, науке и чтению как plausible values, позже перенятый OECD, организатором PISA. Выслушивать критику от таких специалистов было и страшно, и отрадно.

Большинство комментариев касалось улучшения моделей и дальнейшего развития исследования. Никто не критиковал методологическую и концептуальную рамку проекта. Как затем выяснилось, главная проблема заключалась в том, что я неверно работала с plausible values по математике: необходимо считать отдельную модель для каждого из значений (всего их пять), а уже затем вычислять итоговый коэффициент. В остальном же мне рекомендовали попробовать проверить, как работает моя модель в большем количестве стран, включая Латинскую Америку (где очень легко отследить стратификацию в школьной системе) и арабский Восток (где стратификация так же видна и при этом малоизученна). Проверенная статья скоро выйдет в серии препринтов НИУ ВШЭ.

---

Подготовила Ксения Тенишева