2024-10-01
Embedded Files
ETL Strecke vom DWH zum FHIR Server mit Dagster -
Eine Einführung
ETL Strecke vom DWH zum FHIR Server mit Dagster -
Eine Einführung
Dipl.-Ing. Ralf Lützkendorf
Dipl.-Ing. Ralf Lützkendorf
📍 Magdeburg
👨🏽🔬 wissenschaftlicher Mitarbeiter
🏫 Institut für Biometrie und Medizinische Informatik (IBMI), Med. Fakultät Universitätsklinikum Magdeburg A. ö. R.
Inhalte
Inhalte
Verwendung von Dagster als Workflow-Orchestrator für ETL-Prozesse
Datenbasierte Workflows mit Assets: Vorstellung der zentralen Rolle von Assets in Dagster, mit Fokus auf die bessere Transparenz und Wartbarkeit von Pipelines
Zusammenarbeit zwischen Teams durch klare Rollenaufteilung: Erklären, wie Dagster die Zusammenarbeit zwischen Daten-Teams und Infrastruktur-Teams unterstützt, indem es Rollen und Verantwortlichkeiten klar trennt.
Lernziele
Lernziele
Die TeilnehmerInnen kennen...
Dagster als Werkzeug zur Orchestrierung von ETL-Pipelines.
Grundlagen von Dagster: Verstehen der Kernkonzepte wie Assets, Pipelines und Graphen, sowie ihre Rolle in der Strukturierung von Workflows.
Nachvollziehbarkeit und Datenabhängigkeiten: Erkennen, wie Dagster den Überblick über Datenabhängigkeiten verbessert und durch Asset-basierte Workflows die Transparenz über Datenflüsse erhöht.
Folien
Folien
2024.10.01 - Kolloquium MII - Dagster - Luetzkendorf.pdfAufzeichnung
Aufzeichnung
Page updated
Report abuse