Дисциплина относится к базовой части профессионального цикла. Студенты получат фундаментальные и практические знания по всем этапам современного веб-поиска: от сбора данных (краулинг) и индексации до классических и нейросетевых методов ранжирования, включая обучение ранжированию (Learning to Rank), трансформеры и векторный поиск. В ходе курса реализуются несколько домашних заданий (на базе соревнований Kaggle) и финальный проект. Для освоения необходимы знания по дисциплинам «Машинное обучение», «Теория вероятностей и математическая статистика», а также базовое владение Python.
Цель освоения дисциплины
Формирование у студентов теоретических знаний и практических навыков в области веб-поиска и ранжирования, включая современные методы на основе машинного обучения и нейросетей, а также развитие инженерных компетенций по созданию поисковых систем и их компонентов.
Планируемые результаты обучения
Знает основные понятия, модели и архитектуры веб-поиска, включая классические и нейросетевые методы ранжирования;
Умеет собирать и индексировать веб-данные, оценивать качество поиска, реализовывать модели ранжирования (BM25, Learning to Rank, трансформеры) на Python;
Владеет инструментарием для создания поисковых систем (Whoosh, FAISS, PyTorch, LightGBM) и методами оптимизации их производительности.
Содержание учебной дисциплины
Раздел 1. Введение, сбор данных и индексация
Раздел 2. Обработка запросов и классическое ранжирование
Раздел 3. Поведенческое, ссылочное ранжирование и машинное обучение
Раздел 4. Нейросетевые методы поиска и векторный поиск
Элементы контроля
Одз
Одз — суммарная оценка за четыре домашних задания (максимум 50 баллов).
Домашние задания (4 работы, максимум 50 баллов)
ДЗ 1 — Индексация и булев поиск (10 баллов).
ДЗ 2 — Текстовое ранжирование (10 баллов).
ДЗ 3 — Машинное обучение ранжированию (Learning to Rank) (15 баллов)
ДЗ 4 — Нейросетевые модели ранжирования (15 баллов).
Опроект
Итоговое испытание по курсу проводится в формате защиты финального проекта. Каждый студент (или команда) представляет разработанную поисковую систему или её ключевые компоненты, демонстрирует полученные результаты (метрики качества, поведение модели в контесте, сравнение с бейзлайнами) и отвечает на вопросы преподавателя и/или комиссии.
Защита проекта включает краткую структурированную презентацию постановки задачи, используемых данных, выбранных моделей и архитектур, экспериментов, анализа метрик и ограничений решения, а также обсуждение возможных улучшений и дальнейшего развития системы.
Промежуточная аттестация
2026/2027 2nd module
Итоговая оценка за курс формируется на основе накопленной балльной системы и затем переводится в 10‑балльную шкалу НИУ ВШЭ.
Общая сумма баллов по курсу:
Окурс = Одз + Опроект
Одз — суммарная оценка за четыре домашних задания (максимум 50 баллов).
Опроект — оценка за финальный проект (максимум 50 баллов).
Список литературы
Рекомендуемая основная литература
Gossen, T. (2015). Search Engines for Children : Search User Interfaces and Information-Seeking Behaviour. Wiesbaden: Springer Vieweg. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1159664
Sándor Dominich. The Modern Algebra of Information Retrieval (2008), Springer
Рекомендуемая дополнительная литература
Advances in information retrieval: 36th European Conference on IR Research, ECIR 2014, Amsterdam, The Netherlands, April 13-16, 2014: proceedings. (2014). Springer. https://doi.org/10.1007/978-3-319-06028-6
Программа дисциплины
Аннотация
Цель освоения дисциплины
Планируемые результаты обучения
Содержание учебной дисциплины
Элементы контроля
Промежуточная аттестация
Список литературы
Рекомендуемая основная литература
Рекомендуемая дополнительная литература
Авторы