Открытый семинар «СМИНЧ VS БЯМ: экспериментальное исследование возможностей диагностики трудностей чтения у школьников с помощью сгенерированных текстов»

10 сентября на первом в этом году открытом семинаре нашей научно-учебной группы магистрантка ОП «Языковые технологии в бизнесе и образовании» НИУ ВШЭ Екатерина Костина представила доклад «СМИНЧ VS БЯМ: экспериментальное исследование возможностей диагностики трудностей чтения у школьников с помощью сгенерированных текстов».

В рамках доклада Екатерина рассказала о целях и ограничениях СМИНЧ (Стандартизированной методики оценки навыков чтения): методика призвана оценивать уровень сформированности навыков чтения у детей младшего школьного возраста, однако из-за небольшого количества текстов тестирование не получается проводить так часто, как этого требует учебный процесс. Учителям зачастую приходится самостоятельно находить материал для проверки навыков чтения у школьников, но эти тексты не всегда хорошо сбалансированы, а их поиск отнимает большое количество времени. Генерация при помощи LLM позволяет создавать тексты необходимой сложности и тематики с минимальными трудозатратами.

Предыдущее исследование показало, что prompting дает более качественные результаты по сравнению с fine-tuning'ом, поэтому тексты для эксперимента генерировались с помощью промпта, задающего длину, сложность, структуру, стиль и другие параметры текста. Затем один из сгенерированных текстов был отобран в качестве материала для экспериментального исследования со школьниками, при этом отобранный текст по большей части представлял собой диалог.

В пилотном эксперименте приняли участие 10 учеников второго класса общеобразовательной школы, на основании комментариев классного руководителя из выборки были исключены дети с выраженными трудностями или высокими навыками чтения. Каждый школьник читал два текста — оригинальный и сгенерированный; порядок предъявления был сбалансирован. Фиксировались скорость чтения, количество ошибок, понимание текста и способ чтения.

Результаты эксперимента свидетельствуют о том, что оригинальный текст СМИНЧ и сгенерированный при помощи LLM не имеют статистически значимых различий по основным показателям оценки уровня (скорость чтения, количество ошибок). Однако LLM-текст обладает лучшей дифференцирующей способностью: позволяет точнее разделять учащихся по уровню беглости чтения и выявлять взаимосвязь между количеством ошибок и пониманием текста.

В ходе обсуждения Екатерине предложили несколько идей для дальнейших исследований в области оценки навыков чтения при помощи сгенерированных текстов: провести эксперимент на монологическом, а не диалогическом тексте, тестировать испытуемых на эмоциональный интеллект перед чтением, фиксировать и анализировать не только количество ошибок при чтении, но их их характер, а также попробовать генерировать тексты для оценки навыков чтения у взрослых.

Благодарим Екатерину за интересный доклад и предлагаем вам посмотреть ее выступление.