Apache Airflow mit Shopware: Datenjobs für Händler in Österreich planen und überwachen

Apache Airflow ist eine Open-Source-Plattform, mit der Entwickler Datenpipelines als Code definieren, nach Zeitplan ausführen und überwachen. Für Shopware-Shops eignet sie sich, wenn Importe, Abgleiche und Auswertungen zu komplex für Cronjobs werden.

Der Leitfaden richtet sich an Onlinehändler in Österreich und Deutschland, die Datenflüsse rund um Shopware zuverlässig orchestrieren möchten.

Airflow beschreibt Abläufe als DAGs (gerichtete azyklische Graphen): Jeder Knoten ist eine Aufgabe, die Kanten legen Reihenfolge und Abhängigkeiten fest. DAGs werden in Python geschrieben, ein Scheduler startet sie nach Zeitplan oder auf Auslöser, Worker führen die Aufgaben aus, und eine Weboberfläche zeigt Läufe, Laufzeiten, Fehler und Logs. Wiederholungen bei Fehlern, Benachrichtigungen und Nachläufe für verpasste Zeitfenster sind eingebaut.

Ursprünglich bei Airbnb entstanden, ist Airflow heute ein Apache-Projekt und Standardwerkzeug in Data-Engineering-Teams. Verwaltete Varianten gibt es bei Astronomer, AWS (MWAA) und Google Cloud (Cloud Composer).

Shopware bringt für wiederkehrende Aufgaben den Scheduled-Task-Mechanismus und die Message Queue mit, für Ereignisse den Flow Builder. Airflow lohnt sich, wenn Abläufe über Shopware hinausreichen und mehrere Systeme in einer definierten Reihenfolge beteiligt sind:

• Produktimporte mit Vorverarbeitung: Lieferantendaten laden, bereinigen, mit PIM-Daten anreichern, Bilder konvertieren, dann per Sync-API in Shopware schreiben.
• Bestands- und Preisabgleiche aus mehreren Quellen (ERP, Lager, Marktplätze) mit Regeln, welche Quelle Vorrang hat.
• Auswertungen und Data Warehouse: Bestellungen, Kunden und Produktdaten nächtlich in BigQuery, Snowflake oder PostgreSQL laden und Berichte aufbereiten.
• Fulfillment-Ketten: Bestellungen an Logistiker übergeben, Rückmeldungen einsammeln, Status in Shopware setzen, Ausnahmen an den Kundenservice melden.
• Machine-Learning-Pipelines: Empfehlungen oder Nachfrageprognosen trainieren und die Ergebnisse als Produktdaten oder Tags zurückspielen.

Für einzelne einfache Abläufe ist Airflow überdimensioniert; dann reichen Flow Builder, ein Scheduled Task im Plugin oder eine Plattform wie n8n.

Airflow spricht mit Shopware über die Admin-API. Ein typischer Bestandsabgleich in vereinfachter Form:

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime, timedelta

def lade_bestaende(): ...        # Bestände aus dem ERP holen
def bereinige(): ...             # Artikelnummern prüfen, Dubletten entfernen
def schreibe_shopware(): ...     # POST /api/_action/sync in Paketen von 500 Artikeln

with DAG("shopware_bestandsabgleich", start_date=datetime(2026, 1, 1),
         schedule="*/15 * * * *", catchup=False,
         default_args={"retries": 3, "retry_delay": timedelta(minutes=5)}) as dag:
    laden = PythonOperator(task_id="laden", python_callable=lade_bestaende)
    pruefen = PythonOperator(task_id="pruefen", python_callable=bereinige)
    schreiben = PythonOperator(task_id="schreiben", python_callable=schreibe_shopware)
    laden >> pruefen >> schreiben

Der DAG läuft alle 15 Minuten, wiederholt fehlgeschlagene Aufgaben dreimal und zeigt jeden Lauf in der Oberfläche. Zugangsdaten für Shopware liegen in Airflow-Connections oder einem Secret-Backend, nicht im Code.

• Hosting: Airflow braucht Scheduler, Webserver, Worker und eine Metadaten-Datenbank. Für den Einstieg reicht Docker Compose auf einem eigenen Server; für den Produktivbetrieb bieten sich verwaltete Dienste an.
• Idempotenz: Jede Aufgabe muss mehrfach laufen dürfen, ohne Schaden anzurichten. Feste IDs und Upserts über die Sync-API sorgen dafür, dass Wiederholungen keine Dubletten erzeugen.
• API-Last: Große Datenmengen in Paketen schreiben und die Indexierung in die Warteschlange verlagern, damit der Shop während des Laufs schnell bleibt.
• Überwachung: Alarme bei fehlgeschlagenen Läufen per E-Mail, Slack oder Teams; Laufzeiten beobachten, um wachsende Datenmengen früh zu erkennen.
• Datenschutz: Kundendaten nur dann in Pipelines ziehen, wenn der Zweck es erfordert, und Logs ohne personenbezogene Daten schreiben.

• Shopware Scheduled Tasks und Message Queue: für Aufgaben innerhalb des Shops, als Plugin umgesetzt.
• Flow Builder und Webhooks: für ereignisgesteuerte Abläufe ohne Zeitplan.
• n8n, Make, Zapier: für Verbindungen zwischen SaaS-Werkzeugen ohne Programmierung.
• Prefect, Dagster, Temporal: moderne Alternativen zu Airflow mit anderem Schwerpunkt; Prefect und Dagster im Data Engineering, Temporal bei langlaufenden, zuverlässigen Workflows.
• AWS Step Functions, Google Cloud Workflows: Orchestrierung in der jeweiligen Cloud, ohne eigenen Betrieb.

Apache Airflow ist die richtige Wahl, wenn Datenjobs rund um Shopware komplex, vielstufig und geschäftskritisch werden und ein Team sie als Code pflegen will. Für kleine Shops ist der Betrieb zu aufwendig; dort reichen die Bordmittel von Shopware oder eine No-Code-Plattform. Wir unterstützen bei der Entscheidung und bauen die Anbindung an die Admin-API, siehe Shopware-Plugin-Entwicklung. Weitere Begriffe erklärt unser Shopware-Wörterbuch.

Sie möchten Datenjobs rund um Ihren Shopware-Shop mit Apache Airflow orchestrieren? solution25 betreut Onlinehändler in Österreich und Deutschland bei Konzeption, Umsetzung und Betrieb.