Design and Analysis of Online Experiments

2026/2027

Academic Year

RUS

Instruction in Russian

6

ECTS credits

Delivered at:

Department of Informatics

Course type:

Elective course

When:

1 year, 3, 4 module

Программа дисциплины

Аннотация

В рамках данного курса студенты разберут все этапы проведения A/B-тестирования – от особенностей планирования с учетом бизнес-ограничений до деталей анализа экспериментальных данных и принципов принятия решений на основе полученных результатов. Рассматриваются различные варианты дизайна подобных экспериментов, их ограничения и особенности анализа данных. Является дисциплиной по выбору, необходим опыт программирования на Python и знание основ теории вероятности и математической статистики

Цель освоения дисциплины

• формирование комплексных теоретических знаний и практических компетенций в области проектирования, статистического анализа и операционного сопровождения онлайн-экспериментов (А/B-тестов), необходимых для принятия обоснованных продуктовых решений в условиях неопределенности

Планируемые результаты обучения

• проводит углубленный статистический анализ результатов онлайн-экспериментов, включая техники повышения чувствительности и снижения дисперсии
• оценивает качество и достоверность проведенного теста через проверку внутренней и внешней валидности
• разрабатывает корректный дизайн А/B-эксперимента
• применяет методы причинно-следственного вывода для определения границ применимости классических тестов и адаптирует дизайн эксперимента под сложные условия
• выстраивает операционный процесс проведения онлайн-экспериментов, минимизируя искажения результатов от эффекта новизны, сетевых эффектов и проблемы подглядывания
• формулирует итоговые продуктовые и бизнес-решения на основе комплексной интерпретации результатов А/B-тестов с учетом архитектурных особенностей и ограничений современных платформ для экспериментирования

Содержание учебной дисциплины

• Анализ онлайн-экспериментов
• Дизайн онлайн-эксперимента
• Внедрение экспериментов

Элементы контроля

• Экзамен
• Упражнения
  Для закрепления навыков по работе с задачами по статистике студентам предлагается выполнить упражнения из онлайн-курса. Источник упражнений определяется преподавателем, но может быть изменен студентом по согласованию с преподавателем (например, если содержание предложенного курса уже пройдено студентом).
• Текущая активность
  Выполнение заданий на семинаре и при подготовке к нему
• Майнд-мэп экспериментов
• Дизайн эксперимента
  Составление детального дизайна эксперимента. Выполняется в группах
• Дополнительные методы анализа
  Анализ статей по методам причинно-следственного вывода

Промежуточная аттестация

• 2026/2027 4th module
  0.15 * Дизайн эксперимента + 0.3 * Текущая активность + 0.1 * Упражнения + 0.15 * Дополнительные методы анализа + 0.2 * Майнд-мэп экспериментов + 0.1 * Экзамен

Список литературы

Рекомендуемая основная литература

• Сюй, Я. Доверительное А/В-тестирование / Я. Сюй, Д. Тан, Р. Кохави , перевод с английского В. С. Яценкова. — Москва : ДМК Пресс, 2021. — 298 с. — ISBN 978-5-97060-913-2. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/241022 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.

Рекомендуемая дополнительная литература

• Kohavi, R., & Thomke, S. (2017). The Surprising Power of Online Experiments: Getting the Most out of A/B and Other Controlled Tests. Harvard Business Review, 95(5), 74–82.
• Щурин, К. В. Планирование и организация эксперимента : учебное пособие для вузов / К. В. Щурин, Е. К. Волкова. — 2-е изд., стер. — Санкт-Петербург : Лань, 2025. — 336 с. — ISBN 978-5-507-50674-3. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/454484 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.

Авторы

• Суворова Алёна Владимировна