Kunde: The Quality Group GmbH
Branche: Einzelhandelunternehmen
Geschäftsfeld: B2B
Website: The Quality Group
Laufzeit: 08/2022 - 04/2024
Technologischer Fortschritt für datengesteuerte Entscheidungen
Unsere Reise mit einem führenden E-Commerce-Unternehmen führte uns durch die Skalierung und Weiterentwicklung ihres Data Warehouses mit Databricks in der AWS Cloud. Mit einem starken Fokus auf Technologiepartnerschaften und die Integration verschiedener Systeme, darunter Shop-, PIM-, ERP-, Logistik- und Bezahlsysteme, haben wir an einer Erfolgsgeschichte mitgewirkt, die die Datenanalyse auf ein neues Level gehoben hat.
Technologien
Databricks, Apache Spark, Delta Lake, Airbyte, dbt, Tableau, Git, SQS, AWS Athena
Erfolgreiche Skalierung eines Data Warehouses in der AWS Cloud
Neue Datenquellen und Datentests für Spitzenqualität
Da das Data Warehouse stetig um neue Datenquellen erweitert wird, war der erste Schritt auf unserer Reise das Schreiben von wiederverwendbaren Connectoren. Damit konnten neue Datenquellen mit geringen Anpassungen schnell eingebunden werden. Der nächste und konsequente Schritt war die Einführung von Datentests durch Benjamin Weigang, speziell durch das Tool "soda". Diese Maßnahme zielte darauf ab, die Datenqualität sicherzustellen. Das Ergebnis? Eine erhebliche Verbesserung der Datenqualität durch frühzeitige Erkennung und Behebung von Fehlern und Datenproblemen. Benachrichtigungen und Monitoring-Mechanismen wurden implementiert, um sicherzustellen, dass das Team proaktiv auf Unregelmäßigkeiten reagieren kann.
Infrastructure as Code für klare Strukturen
Die Einführung von Infrastructure as Code (IaC) durch Selena Hättasch war ein weiterer wichtiger Schritt auf unserem Weg. Durch die Implementierung einer klar strukturierten Architektur für die Airbyte EC2 Instanz und die Databricks Workflows wurde nicht nur die Verwaltung erleichtert, sondern auch die Skalierbarkeit verbessert. Die Automatisierung von Prozessen ermöglichte dem Team, sich auf strategische Aufgaben zu konzentrieren, anstatt sich mit manuellen Konfigurationen zu befassen.
Migration von Athena zum Unity Catalog
Eine kritische Entscheidung war die Migration von Athena zum Unity Catalog in Databricks. Diese Umstellung brachte nicht nur eine erhebliche Leistungssteigerung, sondern auch eine verbesserte Sicherheit durch die Einführung eines spezifischen Rechte- und Rollensystems. Der Lineage Graph ermöglichte eine transparente Visualisierung der Datenflüsse, was die Nachvollziehbarkeit und Compliance-Anforderungen des Kunden erfüllte.
Agile Methoden und Teamgestaltung
Auch außerhalb des Codes haben wir den Kunden auf der Reise begleitet.
Agile Methoden für Flexibilität und Effizienz
Die Einführung agiler Methoden begleitete uns stetig in dieser Erfolgsgeschichte. Durch die Einführung von Scrum konnte unser Team selbstorganisiert arbeiten und gleichzeitig die Planbarkeit der Auslieferung neuer Features sicherstellen. Dieses agile Framework erlaubte es uns, flexibel und effizient auf sich ändernde Anforderungen zu reagieren.
Regelmäßige Sprint-Planung, tägliche Standups und Retros ermöglichten eine kontinuierliche Verbesserung des Teams. Der Einsatz von Tools wie Jira und Confluence steigerte die Transparenz und Zusammenarbeit.
Das Projektteam entwickelte sich zu einem agilen Motor, der in der Lage war, die dynamischen Anforderungen des Kunden zeitnah umzusetzen. Dank Carolin Rimkus, die mit ihrem unermüdlichen Einsatz für Agilität konnte das Team dahin kommen, wo es heute ist.
Teamgestaltung und Experteneinbindung
Die Teilnahme an Bewerbungsgesprächen von Marius de Vries ermöglichte es uns, ein Fachteam aufzubauen, das perfekt auf die Anforderungen des Kunden zugeschnitten war. Durch die Integration von Experten mit unterschiedlichem Know-how konnte das Projektteam Synergien schaffen und eine umfassende Lösung für den Kunden bieten. Dank der Einführung eines einheitlichen Onboarding Prozesses ist es möglich, neue Teammitglieder effizient in das Team zu integrieren und frühzeitig in die eigenständige Entwicklung zu bringen.
Insgesamt hat diese Reise zu einer nachhaltigen und effektiven Datenanalyseumgebung geführt. Durch die Kombination von Technologie, Fachkenntnissen und agilen Prinzipien haben wir nicht nur ein Data Warehouse skaliert, sondern auch die Grundlagen für datengesteuerte Entscheidungen geschaffen, die das Unternehmen auf seinem Weg in die Zukunft begleiten werden.