Plateforme Big Data complète : ingestion, traitement, dashboarding et prédiction
Un projet ambitieux mené dans le cadre du module Big Data à CY Tech : concevoir un pipeline complet, de la collecte des données des taxis de New York jusqu’à la prédiction du tarif d’une course. Data Lake, Spark, Data Warehouse, dashboard interactif et orchestration via Airflow — une architecture pensée comme en entreprise.
Le défi pour notre équipe a été de maîtriser toute la chaîne, en assurant cohérence, performance et automatisation d’un système Big Data de bout en bout.
Plateforme Big Data complète : ingestion, traitement, dashboarding et prédiction Lire la suite »




