Иногда файл Excel — это просто файл. Структурированные данные, которые легко анализировать и которые созданы по определенным алгоритмам — это не Big data. Даже если это очень большие таблицы.

В то же время и объемная и неструктурированная информация — это тоже не Big data.

Что же относится к Big data? Когда поток содержит в себе структурированные и неструктурированные данные, информация представлена в различных видах и форме, массив настолько велик и настолько быстро растет, что нужны специальные инструменты обработки — тогда можно говорить о Big data.

У больших данных есть три характеристики (3V):

1. Объем (Volume)
2. Скорость (Velocity)
3. Разнообразие (Variety)

Большие данные — незаменимый инструмент практически во всех сферах. Например, их используют в медицине для предотвращения роста заболеваний и лечения на ранних стадиях, в образовании для персонализации обучения, в производстве для уменьшения издержек, в продажах для регулирования цен и создания прогнозов, в логистике, в банках для обеспечения безопасности операций, они необходимы в физике, климатологии, сейсмологии, экологии.

Но как именно обращаться с большими данными? Как получить от них практическую пользу? Откуда они берутся, как их собирать, где хранить, как анализировать?

Без обработки ценность больших данных крайне низка.

В этом курсе на доступных, понятных и практических примерах вы узнаете, как использовать большие данные в компаниях.

Чему научатся сотрудники после курса

• Находить области применения больших данных в своей профессии
• Собирать данные, знать разные методы сбора
• Классифицировать данные
• Преобразовывать данные в единую систему
• Организовывать хранилища данных, использовать для этого разные решения: «у себя» / в публичном облаке / в корпоративном облаке
• Использовать разные методы анализа

1. краудсорсинг
2. смешение и интеграция данных
3. машинное обучение
4. предиктивный анализ
5. имитационная модель
6. статистический анализ
7. data mining

• Взаимодействовать с экспертами по Big data в одном информационном поле

Результат для компании

Управление большими данными помогает компаниям эффективнее решать такие задачи:

• улучшать потребительский опыт
• привлекать большее число клиентов
• оптимизировать производственные процессы
• разрабатывать новые продукты
• составлять прогнозы
• оптимизировать маркетинговые стратегии
• принимать решения в условиях изменений или неопределенности