• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Распределенная обработка и анализ больших данных

2019/2020
Учебный год
RUS
Обучение ведется на русском языке
8
Кредиты
Статус:
Курс обязательный
Когда читается:
2-й курс, 3 модуль

Преподаватель

Программа дисциплины

Аннотация

Настоящая дисциплина относится к циклу дисциплин по выбору студента. Изучение данной дисциплины базируется на следующих дисциплинах: • «Современные методы анализа данных», • «Математические основы анализа данных», • «Практическое программирование и анализ данных в специализированных средах». Для освоения учебной дисциплины, студенты должны владеть следующими знаниями и компетенциями: • Способность рефлексировать (оценивать и перерабатывать) освоенные методы и способы деятельности; • Способность к самостоятельному освоению новых методов исследований, изменению научного и производственного профиля своей деятельности; • Способность анализировать, верифицировать, оценивать полноту информации в ходе про-фессиональной деятельности, при необходимости восполнять и синтезировать недостаю-щую информацию; • Способность создавать, описывать и ответственно контролировать выполнение технологи-ческих требований и нормативных документов профессиональной деятельности; • Способность использовать в профессиональной деятельности знания в области естествен-ных наук, математики и информатики, понимание основных фактов, концепций, принципов теорий, связанных с прикладной математикой и информатикой; • Способность строить и решать математические модели в соответствии с направлением подготовки и специализацией. Основные положения дисциплины могут быть использованы в дальнейшем при написании ВКР и обучении в аспирантуре.
Цель освоения дисциплины

Цель освоения дисциплины

  • ознакомление студентов с основными методами обработки больших данных
  • формирование понимания внутреннего устройства, механики работы, области применимости существующих решений
  • получение студентами практических навыков анализа больших массивов информации
Результаты освоения дисциплины

Результаты освоения дисциплины

  • Знает общие понятия дисциплины.
  • Знает базы данных и СУБД. SQL и NoSQL.
  • Знает модельMapReduce. Владеет понятием потоков данных.
  • Знает основы систем Hadoop, Sparkand
  • Владеет понятием алгоритмов на больших данных (кластеризация, понижение размерности, популярные предметные наборы и ассоциативные правила)
  • Владеет понятием алгоритмов на больших данных (рекомендательные системы и интернет-реклама)
  • Владеет понятием алгоритмов на больших данных (анализ и обработка данных из социальных сетей)
  • способен применять алгоритмы обработки больших данных в задачах принятия решений. Владеет понятием архитектуры систем обработки больших данных
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Введение в анализ больших дан-ных. Как алгоритмы для больших данных отличаются от обычных?
  • Базы данных и СУБД. SQL и NoSQL.
  • МодельMapReduce. Потоки данных.
  • Основы систем Hadoop, Sparkand других.
  • Алгоритмы на больших данных: Кластеризация, понижение размер-ности, популярные предметные наборы и ассоциативные правила.
  • Алгоритмы на больших данных: Рекомендательные системы и интернет-реклама
  • Алгоритмы на больших данных: анализ и обработка данных из социальных сетей
  • Применения алгоритмов обработки больших данных в задачах принятия решений. Архитектура систем обработки больших данных
Элементы контроля

Элементы контроля

  • неблокирующий Created with Sketch. Контрольная работа
  • неблокирующий Created with Sketch. Домашнее задание
  • блокирующий Created with Sketch. Экзамен
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (3 модуль)
    0.2 * Домашнее задание + 0.2 * Контрольная работа + 0.6 * Экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • Guller, M. (2015). Big Data Analytics with Spark : A Practitioner’s Guide to Using Spark for Large Scale Data Analysis. [Berkeley, CA]: Apress. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1174460

Рекомендуемая дополнительная литература

  • Barga, R., Tok, W.-H., & Fontama, V. (2015). Predictive Analytics with Microsoft Azure Machine Learning 2nd Edition (Vol. Second edition). [Berkley, CA]: Apress. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1057093