Планирование и анализ онлайн-экспериментов

2026/2027

Учебный год

RUS

Обучение ведется на русском языке

6

Кредиты

Кто читает:

Департамент информатики

Статус:

Курс по выбору

Когда читается:

1-й курс, 3, 4 модуль

Программа дисциплины

Аннотация

В рамках данного курса студенты разберут все этапы проведения A/B-тестирования – от особенностей планирования с учетом бизнес-ограничений до деталей анализа экспериментальных данных и принципов принятия решений на основе полученных результатов. Рассматриваются различные варианты дизайна подобных экспериментов, их ограничения и особенности анализа данных. Является дисциплиной по выбору, необходим опыт программирования на Python и знание основ теории вероятности и математической статистики

Цель освоения дисциплины

• формирование комплексных теоретических знаний и практических компетенций в области проектирования, статистического анализа и операционного сопровождения онлайн-экспериментов (А/B-тестов), необходимых для принятия обоснованных продуктовых решений в условиях неопределенности

Планируемые результаты обучения

• проводит углубленный статистический анализ результатов онлайн-экспериментов, включая техники повышения чувствительности и снижения дисперсии
• оценивает качество и достоверность проведенного теста через проверку внутренней и внешней валидности
• разрабатывает корректный дизайн А/B-эксперимента
• применяет методы причинно-следственного вывода для определения границ применимости классических тестов и адаптирует дизайн эксперимента под сложные условия
• выстраивает операционный процесс проведения онлайн-экспериментов, минимизируя искажения результатов от эффекта новизны, сетевых эффектов и проблемы подглядывания
• формулирует итоговые продуктовые и бизнес-решения на основе комплексной интерпретации результатов А/B-тестов с учетом архитектурных особенностей и ограничений современных платформ для экспериментирования

Содержание учебной дисциплины

• Анализ онлайн-экспериментов
• Дизайн онлайн-эксперимента
• Внедрение экспериментов

Элементы контроля

• Экзамен
• Упражнения
  Для закрепления навыков по работе с задачами по статистике студентам предлагается выполнить упражнения из онлайн-курса. Источник упражнений определяется преподавателем, но может быть изменен студентом по согласованию с преподавателем (например, если содержание предложенного курса уже пройдено студентом).
• Текущая активность
  Выполнение заданий на семинаре и при подготовке к нему
• Майнд-мэп экспериментов
• Дизайн эксперимента
  Составление детального дизайна эксперимента. Выполняется в группах
• Дополнительные методы анализа
  Анализ статей по методам причинно-следственного вывода

Промежуточная аттестация

• 2026/2027 4th module
  0.15 * Дизайн эксперимента + 0.3 * Текущая активность + 0.1 * Упражнения + 0.15 * Дополнительные методы анализа + 0.2 * Майнд-мэп экспериментов + 0.1 * Экзамен

Список литературы

Рекомендуемая основная литература

• Доверительное А/В-тестирование - Сюй Я., Тан Д., Кохави Р. - Издательство "ДМК Пресс" - 978-5-97060-913-2 - 2021 - русский - https://e.lanbook.com/book/241022 - ЛАНЬ - 241022

Рекомендуемая дополнительная литература

• Kohavi, R., & Thomke, S. (2017). The Surprising Power of Online Experiments: Getting the Most out of A/B and Other Controlled Tests. Harvard Business Review, 95(5), 74–82.
• Планирование и организация эксперимента - Щурин К. В., Волкова Е. К. - Издательство "Лань" - 978-5-507-50674-3 - 2025 - русский - https://e.lanbook.com/book/454484 - ЛАНЬ - 454484

Авторы

• Суворова Алёна Владимировна