Gatsby
ВЕЧНЫЙ
- Регистрация
- 10 Окт 2018
- Сообщения
- 55,565
- Реакции
- 290,162
Работа с данными временных рядов: хранение и визуализация
Storing & Visualizing Time Series Data
learndataengineering
Обработка, хранение и визуализация данных временных рядов становится всё более важной задачей. От данных IoT и системных журналов до статистики производственных процессов - объём информации, требующей обработки, постоянно растёт.
Системы хранения временных рядов, такие как InfluxDB, и инструменты визуализации, такие как Grafana, позволяют управлять данными и делать их доступными для анализа. В этом курсе вы научитесь строить полноценный пайплайн для работы с временными рядами на практике.
Что вы изучите в курсе
Структура курса
Введение
Вы получите обзор проекта, познакомитесь с используемым набором данных и интерфейсом InfluxDB: графики, запросы, структура данных. Также разберём архитектуру платформы, чтобы понять, как все компоненты взаимодействуют.
Проектирование схемы данных
Познакомитесь с особенностями реляционных и временных баз данных, разберётесь, в каких случаях использовать каждую из них. Научитесь проектировать схему хранения, исходя из особенностей данных и способов их использования.
Настройка окружения
Установите и запустите InfluxDB и Grafana с помощью Docker. Настроите Python-библиотеку для работы с InfluxDB, создадите токен доступа и подготовите среду разработки в VS Code.
Работа с тестовыми данными
Научитесь загружать тестовые CSV-файлы и погодные данные в InfluxDB с помощью Python. Разберёте возможные проблемы при загрузке данных и пути их решения.
Работа с данными о качестве воздуха
Загрузите данные о качестве воздуха в InfluxDB, напишете запросы на Python и подключите Grafana к InfluxDB для создания визуализаций. Настроите источник данных и создадите дашборд для анализа качества воздуха.
Работа с внешним погодным API
Познакомитесь с API погоды, получите ключ доступа и научитесь управлять часовыми поясами. Подключите внешний API, загрузите данные в InfluxDB и визуализируйте их на дашборде Grafana.
Работа с дашбордами Grafana
Изучите возможности Grafana: многопользовательский режим, управление правами доступа, настройка пользователей и организаций. В финальной части проекта создадите две организации в Grafana, подключите к ним данные о погоде и данные о качестве воздуха, применяя полученные знания на практике.
Этот курс даст вам практические навыки работы с современными инструментами хранения и визуализации данных временных рядов, которые востребованы в реальных проектах аналитики и мониторинга.
Материал на английском языке
Подробнее:
Скачать:
Storing & Visualizing Time Series Data
learndataengineering
Обработка, хранение и визуализация данных временных рядов становится всё более важной задачей. От данных IoT и системных журналов до статистики производственных процессов - объём информации, требующей обработки, постоянно растёт.
Системы хранения временных рядов, такие как InfluxDB, и инструменты визуализации, такие как Grafana, позволяют управлять данными и делать их доступными для анализа. В этом курсе вы научитесь строить полноценный пайплайн для работы с временными рядами на практике.
Что вы изучите в курсе
- Как обрабатывать данные временных рядов из CSV-файлов (например, данные о качестве воздуха)
- Как подключить внешние API для получения погодных данных в реальном времени
- Как записывать данные во InfluxDB 2.0 и запрашивать их с помощью Python и языка Flux
- Как создавать и настраивать дашборды в Grafana: установка сервера, настройка панелей и управление доступом
Структура курса
Введение
Вы получите обзор проекта, познакомитесь с используемым набором данных и интерфейсом InfluxDB: графики, запросы, структура данных. Также разберём архитектуру платформы, чтобы понять, как все компоненты взаимодействуют.
Проектирование схемы данных
Познакомитесь с особенностями реляционных и временных баз данных, разберётесь, в каких случаях использовать каждую из них. Научитесь проектировать схему хранения, исходя из особенностей данных и способов их использования.
Настройка окружения
Установите и запустите InfluxDB и Grafana с помощью Docker. Настроите Python-библиотеку для работы с InfluxDB, создадите токен доступа и подготовите среду разработки в VS Code.
Работа с тестовыми данными
Научитесь загружать тестовые CSV-файлы и погодные данные в InfluxDB с помощью Python. Разберёте возможные проблемы при загрузке данных и пути их решения.
Работа с данными о качестве воздуха
Загрузите данные о качестве воздуха в InfluxDB, напишете запросы на Python и подключите Grafana к InfluxDB для создания визуализаций. Настроите источник данных и создадите дашборд для анализа качества воздуха.
Работа с внешним погодным API
Познакомитесь с API погоды, получите ключ доступа и научитесь управлять часовыми поясами. Подключите внешний API, загрузите данные в InfluxDB и визуализируйте их на дашборде Grafana.
Работа с дашбордами Grafana
Изучите возможности Grafana: многопользовательский режим, управление правами доступа, настройка пользователей и организаций. В финальной части проекта создадите две организации в Grafana, подключите к ним данные о погоде и данные о качестве воздуха, применяя полученные знания на практике.
Этот курс даст вам практические навыки работы с современными инструментами хранения и визуализации данных временных рядов, которые востребованы в реальных проектах аналитики и мониторинга.
Материал на английском языке
Подробнее:
Скрытое содержимое доступно для зарегистрированных пользователей!
Скачать:
Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.
