Blog & Artikel von Jochen Christ

Entwicklung eines Datenprodukts mit Databricks

Im modernen Data Engineering geht es v.a. um die Entwicklung modularer Datenprodukte. Dieser Artikel beschreibt die Vorteile von Modularität gegenüber monolithischen Datenpipelines und erklärt Schritt für Schritt, wie sich Datenprodukte mithilfe von Databricks entwickeln lassen – von der Definition eines Data Contracts über die Erstellung und Implementierung von Databricks Asset Bundles bis hin zur Einrichtung einer CI/CD-Pipeline und der Veröffentlichung von Metadaten.

Blog-Post

Compacted State Feeds

Event notification vs. Event-carried State Transfer vs. Delta loads. How to design good event architectures for mutable data?

Artikel

Was ist ein Datenprodukt?

Blog-Post

Was ist ein Data Contract?

Ein Data Contract definiert die Struktur, das Format, die Semantik, die Qualität und die Nutzungsbedingungen für den Datenaustausch zwischen einem Datenanbieter und seinen Konsumenten. Es ist damit ein zentrales Werkzeug, damit sich Teams über Daten-Schnittstellen verständigen können und somit Stabilität, Datenqualität und Nachvollziehbarkeit in der Datenarchitektur gewährleisten.

Artikel

Data Mesh: Entwicklungsteams heben Datenschätze

Der dezentrale Datenarchitekturansatz soll Entwicklerinnen und Entwickler in die Lage versetzen, selbstständig domänenübergreifende Datenanalysen durchzuführen.

Artikel

HTTP-Feeds

Asynchrone Schnittstellen ohne Kafka oder RabbitMQ

Artikel

Docker Server

Integrationstests sind zur Qualitätsabsicherung in komplexen Softwaresystemen unverzichtbar, dauern aber häufig sehr lange in der Testausführung. Hier hilft ein dedizierter Docker-Server.

Artikel

Remote Mob Programming bei INNOQ

Bei INNOQ nutzen einige Teams die Arbeitsmethode Remote Mob Programming erfolgreich in Kundenprojekten, teilweise sogar schon seit über zwei Jahren. Wir haben vier Teams gefragt, wie ihre Erfahrungen mit dieser besonderen Arbeitsmethodik sind und waren.

Erfolgreich im Homeoffice arbeiten

Best practices aus zwei Jahren im Homeoffice

Blog-Post

Warum Quarkus.io _nicht_ geiler ist als Spring

Quarkus.io ist ein neues Framework, das optimiert ist, um Java Anwendungen Cloud Native laufen zu lassen. Sollte ich meine Java-Anwendungen daher jetzt nicht mehr in Spring Boot sondern in Quarkus.io entwickeln?

Blog-Post

Structured Logging with Structured Arguments

How to make better log statements with Structured Arguments

Blog-Post

OpenID Connect Auth-Proxy

Blog-Post

Logging mit Docker und Elasticsearch

Wenn eine Anwendung als Microservices oder Self-contained Systems in Docker-Containern läuft, stellt sich die Frage, wie auf die Log-Einträge der Anwendung zugegriffen wird. Die Antwort lautet in der Regel: „Elasticsearch”. Aber wie kommen die Logs in Elasticsearch?