Wir trauern um Leo Ramírez
Im modernen Data Engineering geht es v.a. um die Entwicklung modularer Datenprodukte. Dieser Artikel beschreibt die Vorteile von Modularität gegenüber monolithischen Datenpipelines und erklärt Schritt für Schritt, wie sich Datenprodukte mithilfe von Databricks entwickeln lassen – von der Definition eines Data Contracts über die Erstellung und Implementierung von Databricks Asset Bundles bis hin zur Einrichtung einer CI/CD-Pipeline und der Veröffentlichung von Metadaten.
Together with our customer CluePoints, we evaluated new technologies, tools and standards for data storage, data processing, data versioning, and data lineage. These might become useful for refactoring their self-serve data platform.
Der dezentrale Datenarchitekturansatz soll Entwicklerinnen und Entwickler in die Lage versetzen, selbstständig domänenübergreifende Datenanalysen durchzuführen.
Finden können Sie uns auch auf