Дисциплина относится к базовой части профессионального цикла. Студенты получат фундаментальные и практические знания по всем этапам современного веб-поиска: от сбора данных (краулинг) и индексации до классических и нейросетевых методов ранжирования, включая обучение ранжированию (Learning to Rank), трансформеры и векторный поиск. В ходе курса реализуются несколько домашних заданий (на базе соревнований Kaggle) и финальный проект. Для освоения необходимы знания по дисциплинам «Машинное обучение», «Теория вероятностей и математическая статистика», а также базовое владение Python.
Цель освоения дисциплины
Формирование у студентов теоретических знаний и практических навыков в области веб-поиска и ранжирования, включая современные методы на основе машинного обучения и нейросетей, а также развитие инженерных компетенций по созданию поисковых систем и их компонентов.
Планируемые результаты обучения
Знает основные понятия, модели и архитектуры веб-поиска, включая классические и нейросетевые методы ранжирования;
Умеет собирать и индексировать веб-данные, оценивать качество поиска, реализовывать модели ранжирования (BM25, Learning to Rank, трансформеры) на Python;
Владеет инструментарием для создания поисковых систем (Whoosh, FAISS, PyTorch, LightGBM) и методами оптимизации их производительности.
Содержание учебной дисциплины
Раздел 1. Введение, сбор данных и индексация
Раздел 2. Обработка запросов и классическое ранжирование
Раздел 3. Поведенческое, ссылочное ранжирование и машинное обучение
Раздел 4. Нейросетевые методы поиска и векторный поиск
Элементы контроля
Одз
Одз — суммарная оценка за четыре домашних задания (максимум 50 баллов).
Домашние задания (4 работы, максимум 50 баллов)
ДЗ 1 — Индексация и булев поиск (10 баллов).
ДЗ 2 — Текстовое ранжирование (10 баллов).
ДЗ 3 — Машинное обучение ранжированию (Learning to Rank) (15 баллов)
ДЗ 4 — Нейросетевые модели ранжирования (15 баллов).
Опроект
Итоговое испытание по курсу проводится в формате защиты финального проекта. Каждый студент (или команда) представляет разработанную поисковую систему или её ключевые компоненты, демонстрирует полученные результаты (метрики качества, поведение модели в контесте, сравнение с бейзлайнами) и отвечает на вопросы преподавателя и/или комиссии.
Защита проекта включает краткую структурированную презентацию постановки задачи, используемых данных, выбранных моделей и архитектур, экспериментов, анализа метрик и ограничений решения, а также обсуждение возможных улучшений и дальнейшего развития системы.
Промежуточная аттестация
2026/2027 2nd module
Итоговая оценка за курс формируется на основе накопленной балльной системы и затем переводится в 10‑балльную шкалу НИУ ВШЭ.
Общая сумма баллов по курсу:
Окурс = Одз + Опроект
Одз — суммарная оценка за четыре домашних задания (максимум 50 баллов).
Опроект — оценка за финальный проект (максимум 50 баллов).
Список литературы
Рекомендуемая основная литература
Gossen, T. (2015). Search Engines for Children : Search User Interfaces and Information-Seeking Behaviour. Wiesbaden: Springer Vieweg. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1159664
Sándor Dominich. The Modern Algebra of Information Retrieval (2008), Springer
Рекомендуемая дополнительная литература
Advances in information retrieval: 36th European Conference on IR Research, ECIR 2014, Amsterdam, The Netherlands, April 13-16, 2014: proceedings. (2014). Springer. https://doi.org/10.1007/978-3-319-06028-6
Преподаватели
Аллаяров Руслан Садуллаевич
Васильев Анатолий Михайлович
Зарубин Антон Александрович
Программа дисциплины
Аннотация
Цель освоения дисциплины
Планируемые результаты обучения
Содержание учебной дисциплины
Элементы контроля
Промежуточная аттестация
Список литературы
Рекомендуемая основная литература
Рекомендуемая дополнительная литература
Авторы