هندسة بيانات
تحليل مشاعر آني
خط معالجة Kafka + Spark لتحليل المشاعر، بحاويات Docker كاملة.
- السنة
- 2024
- الدور
- مطور منفرد
- النوع
- هندسة بيانات
نظرة عامة
بنية تحتية لتحليل المشاعر في الزمن الحقيقي: منتجون يكشطون هسبريس وتويتر ويوتيوب يغذّون Kafka؛ يعالج Spark Streaming التدفق إلى MongoDB؛ لوحات Streamlit تعرض النتائج مباشرة. كل مكون في حاويات Docker Compose.
أبرز النقاط
- منتجات كشط متعددة المصادر (صحافة، تويتر، يوتيوب)
- استهلاك Spark Streaming إلى MongoDB
- لوحات آنية ونشر بأمر واحد
التقنيات
- Kafka
- PySpark
- MongoDB
- Docker
- Streamlit
- Python
