Современные методы текстового анализа

2026/2027

Учебный год

RUS

Обучение ведется на русском языке

3

Кредиты

Кто читает:

Школа лингвистики

Статус:

Курс по выбору

Когда читается:

4-й курс, 3 модуль

Преподаватель

Старченко Алексей Миронович

Программа дисциплины

Аннотация

Курс «Современные методы текстового анализа» направлен на формирование знаний, умений и компетенций в области текстового анализа источников различного содержания. Задачи курса: изучить методологические и методические аспекты работы с документами в формате электронного текста; уметь создавать электронный текст как информационный ресурс и визуализировать его в различных форматах; изучить элементы гипертекста и его возможности для работы и представления текстовых данных; изучить методы, технологии и программное обеспечение для компьютеризированного анализа текстовых документов. В рамках курса так же предполагается знакомство с корпусами, их анализ, оценка и использование в собственных исследованиях. Пререквизит - владение одним из восточных языков на уровне не ниже intermediate.

Цель освоения дисциплины

• Освоение ряда инструментов компьютерной лингвистики и цифровых методов в гуманитарных науках, которые могут быть использованы для анализа текста в языковых, культурологических и политологических исследованиях
• Отработка практических навыков текстового анализа с использованием языка программирования Python

Планируемые результаты обучения

• Имеет представления об основных направлениях в компьютерном анализе текстов
• Может назвать основные сферы практического применения инструментов компьютерной лингвистики
• Может назвать и проиллюстрировать примерами исследовательских вопросов основные направления лингвистики
• Умеет дать определение корпуса в лингвистике
• Может перечислить или умеет найти основные корпуса своего языка на программе Востоковедение
• Может перечислить или умеет найти основные корпуса русского языка
• Может перечислить основные типы корпусов и сформулировать различия между ними
• Умеет составлять запросы для поиска в корпусе
• Умеет при составлении поискового запроса задавать условия с опорой на разметку и мета-разметку
• Умеет работать с выдачей при поиске в корпусе, умеет экспортировать её для дальнейшей обработки
• Умеет перечислить основные частотностные характеристики текста
• Умеет создать частотный список для текста или коллекции текстов
• Умеет проанализировать частотный список
• Может определить основные типы графиков
• Может выбрать визуальную репрезентацию для данных различной структуры
• Может построить графики разных типов с помощью языка Python
• Может дать определение основным статистическим метрикам
• Может сформулировать различие между средним арифметическим и медианой
• Может посчитать основные статистические метрики
• Может выбрать статистический инструмент, подходящий для проверки гипотезы
• Может применить основные статистические тесты: t-test, хи-квадрат
• Имеет представление о регрессии в статистике
• Может назвать и объяснить основные инструменты компьютерной лингвистики: лемматизация, токенизация, морфологический и синтаксический анализ, определение тональности текста, выявление именованных сущностей
• Умеет использовать инструменты компьютерной лингвистики: лемматизация, токенизация, морфологический и синтаксический анализ, определение тональности текста, выявление именованных сущностей
• Может создать и использовать базу данных для хранения результатов обработки текста
• Имеет представление об использовании методов машинного обучения для анализа текстов

Содержание учебной дисциплины

• Введение
• Методы корпусной лингвистики
• Визуализация частотных характеристик текста
• Статистические инструменты анализа текста
• Основные инструменты компьютерной лингвистики

Элементы контроля

• Экзамен
• Homework

Промежуточная аттестация

• 2026/2027 3rd module
  0.4 * Экзамен + 0.6 * Homework

Список литературы

Рекомендуемая основная литература

• Введение в лингвистику - Шабанова Н.А., Станиславская С.А., Соколова О.И., Федюнина С.М. - Издательство "ФЛИНТА" - 978-5-9765-4249-5 - 2019 - русский - https://e.lanbook.com/book/123650 - ЛАНЬ - 123650

Рекомендуемая дополнительная литература

• Корпусная лингвистика - Грудева Е. В. - Издательство "ФЛИНТА" - 978-5-9765-1497-3 - 2025 - русский - https://e.lanbook.com/book/504928 - ЛАНЬ - 504928

Авторы

• Старченко Алексей Миронович
• Дьячкова Анна Евгеньевна