Программирование Контейнеризация ETL c AWS, TDengine и Grafana - learndataengineering (2025)

[Gatsby]

Контейнеризация ETL c AWS, TDengine и Grafana
Dockerized ETL With AWS, TDengine & Grafana
learndataengineering




Инженерам данных часто нужно быстро настроить простой ETL-скрипт, который просто выполняет свою задачу. В этом проекте вы узнаете, как легко реализовать такой ETL на AWS: подключить живые данные из погодного API и записывать их во временную базу данных TDengine.
Что вы изучите
Основы временных баз данных
Познакомитесь с основами работы временных баз данных, их архитектурой и случаями применения.
Работа с публичным API погоды
Настроите и исследуете внешний погодный API, напишете Python-скрипт для чтения данных из API.
Docker-ETL на AWS
Упакуете скрипт в Docker-контейнер и развернете его как серверлесс ETL с помощью Amazon Elastic Container Registry (ECR), Lambda и EventBridge.
Настройка TDengine
Познакомитесь с TDengine, настроите экземпляр через облако TDengine и сконфигурируете базу данных.
Визуализация данных в Grafana
Визуализируете данные из API, сохраненные в TDengine, с помощью Grafana. Узнаете, как подключить TDengine к Grafana и создать дашборд для анализа данных.

Материал на английском языке

Подробнее:

Скачать:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.