Программирование Contact Tracing с использованием Elasticsearch - learndataengineering (2025)

[Zero]

Contact Tracing с использованием Elasticsearch
Contact Tracing with Elasticsearch
learndataengineering

О чём курс:

Проект посвящён использованию Elasticsearch для анализа сканирований телефонов и отслеживания перемещений пользователей по посещаемым магазинам; рассматривается набор данных со 100 000 пользователей и 1 000 000 сканирований. Для проекта создаются данные на Python и Pandas на основе датасета магазинов Сан-Франциско: выбираются 10 000 магазинов и формируются 100 000 вымышленных пользователей, совершающих в среднем по 10 сканирований. Работа включает преобразование данных и загрузку в Elasticsearch в формате parquet, управление индексами и поиск документов через Kibana, а также создание интерфейса на Streamlit с картами, фильтрами и таблицами. В интерфейсе предусмотрены поиск по названию магазина, ZIP-коду и идентификатору бизнеса, а также отслеживание посещений по Device ID. Проект рассчитан на тех, кто хочет освоить перечисленные этапы работы с данными и Elasticsearch; в описании также указана разработка страниц и выполнение запросов к Elasticsearch.

В этом увлекательном инженерном проекте вы научитесь отслеживать перемещения пользователей по их сканированиям с телефона. Цель проекта - использовать Elasticsearch как поисковую систему для анализа набора данных, в котором 100,000 пользователей посещают магазины и делают 1,000,000 сканирований.
Вы создадите собственный набор данных на Python и Pandas, используя открытый датасет магазинов Сан-Франциско, содержащий более 140,000 магазинов с их названиями и координатами. Из этого датасета вы выберете 10,000 магазинов и создадите 100,000 вымышленных пользователей, которые совершат в среднем по 10 сканирований каждый. После загрузки данных в Elasticsearch вы создадите пользовательский интерфейс на Streamlit для визуализации данных.
Интерфейс вашего приложения включает:

• Поиск по названию магазина
• Поиск по ZIP-коду для фильтрации магазинов по районам
• Поиск по идентификатору бизнеса для анализа посещений
• Поиск и отслеживание по Device ID, чтобы видеть, где побывал конкретный пользователь

В процессе работы над проектом вы научитесь:

• Преобразовывать данные и загружать их в формате parquet в Elasticsearch
• Работать с Kibana для управления индексами и поиска документов
• Создавать интерактивный интерфейс на Streamlit с элементами управления, картами Folium и таблицами
• Настраивать страницы и выполнять запросы к Elasticsearch

Программа курса

• Подготовка датасета Сан-Франциско с 10,000 магазинами
• Генерация 100,000 вымышленных пользователей
• Слияние данных пользователей с магазинами
• Создание 1,000,000 сканирований приложением
• Подготовка данных для загрузки в Elasticsearch
• Загрузка данных в Elasticsearch
• Разработка Streamlit-приложения: карты, фильтры, таблицы
• Настройка страницы и работа с запросами Elasticsearch

Требования
Перед началом работы рекомендуется пройти курс «Анализ логов в Elasticsearch» для понимания основ работы с Elasticsearch. Также, из-за обширной работы с данными, желательно пройти уроки по Pandas из курса «Python для инженеров данных».
Проект рассчитан на компьютер с 8 ГБ оперативной памяти.

Материал на английском языке

Подробнее:

Скачать:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.