Data Engineering
Pipeline de Sentiment temps réel
Analyse de sentiment en streaming Kafka + Spark, entièrement Dockerisée.
- Année
- 2024
- Rôle
- Développeur solo
- Type
- Data Engineering
Vue d'ensemble
Infrastructure d'analyse de sentiment en temps réel : des producteurs scrapant Hespress, Twitter et YouTube alimentent Kafka ; Spark Streaming traite le flux vers MongoDB ; des dashboards Streamlit visualisent les résultats en direct. Chaque composant conteneurisé avec Docker Compose.
Points clés
- Producteurs multi-sources (presse, Twitter, YouTube)
- Consommation Spark Streaming vers MongoDB
- Dashboards temps réel, déploiement Docker en une commande
Stack
- Kafka
- PySpark
- MongoDB
- Docker
- Streamlit
- Python
