Apache Airflow è una piattaforma open source con cui gli sviluppatori definiscono le data pipeline come codice, le eseguono secondo una pianificazione e le monitorano. Per gli shop Shopware, anche dei merchant in Italia, è adatta quando importazioni, allineamenti e analisi diventano troppo complessi per i cronjob.
Che cos'è Apache Airflow?
Airflow descrive i processi come DAG (grafi aciclici diretti): ogni nodo è un’attività, gli archi stabiliscono ordine e dipendenze. I DAG si scrivono in Python, uno scheduler li avvia secondo pianificazione o su trigger, i worker eseguono le attività e un’interfaccia web mostra esecuzioni, durate, errori e log. Ripetizioni in caso di errore, notifiche e recupero delle finestre temporali mancate sono integrati.
Nato originariamente in Airbnb, Airflow è oggi un progetto Apache e uno strumento standard nei team di data engineering. Esistono varianti gestite di Astronomer, AWS (MWAA) e Google Cloud (Cloud Composer).
Quando Airflow ha senso per Shopware
Per le attività ricorrenti Shopware offre il meccanismo degli Scheduled Task e la Message Queue, per gli eventi il Flow Builder. Airflow conviene quando i processi vanno oltre Shopware e coinvolgono più sistemi in un ordine definito:
Importazioni prodotto con pre-elaborazione: caricare i dati dei fornitori, pulirli, arricchirli con dati PIM, convertire le immagini, poi scriverli in Shopware tramite la Sync API.
Allineamenti di giacenze e prezzi da più fonti (ERP, magazzino, marketplace) con regole su quale fonte ha la precedenza.
Analisi e data warehouse: caricare ogni notte ordini, clienti e dati prodotto in BigQuery, Snowflake o PostgreSQL e preparare i report.
Catene di evasione: affidare gli ordini ai corrieri (ad esempio Poste Italiane, BRT o GLS Italy), raccogliere i riscontri, impostare lo stato in Shopware, segnalare le eccezioni all’assistenza clienti.
Pipeline di machine learning: addestrare suggerimenti o previsioni della domanda e restituire i risultati come dati prodotto o tag.
Per singoli processi semplici Airflow è sovradimensionato; in quel caso bastano il Flow Builder, uno Scheduled Task nel plugin o una piattaforma come n8n.
Come si presenta un DAG per Shopware
Airflow comunica con Shopware tramite la Admin API. Un tipico allineamento delle giacenze in forma semplificata:
from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime, timedelta
def carica_giacenze(): ... # recuperare le giacenze dall'ERP
def pulisci(): ... # verificare i codici articolo, rimuovere i duplicati
def scrivi_shopware(): ... # POST /api/_action/sync in pacchetti da 500 articoli
with DAG("shopware_allineamento_giacenze", start_date=datetime(2026, 1, 1),
schedule="*/15 * * * *", catchup=False,
default_args={"retries": 3, "retry_delay": timedelta(minutes=5)}) as dag:
carica = PythonOperator(task_id="carica", python_callable=carica_giacenze)
verifica = PythonOperator(task_id="verifica", python_callable=pulisci)
scrivi = PythonOperator(task_id="scrivi", python_callable=scrivi_shopware)
carica >> verifica >> scrivi
Il DAG viene eseguito ogni 15 minuti, ripete tre volte le attività non riuscite e mostra ogni esecuzione nell’interfaccia. Le credenziali per Shopware si trovano nelle Airflow Connections o in un secret backend, non nel codice.
Gestione e architettura
Hosting: Airflow richiede scheduler, webserver, worker e un database di metadati. Per iniziare basta Docker Compose su un server proprio; per la produzione sono indicati i servizi gestiti.
Idempotenza: ogni attività deve poter essere eseguita più volte senza danni. ID fissi e upsert tramite la Sync API garantiscono che le ripetizioni non creino duplicati.
Carico sulle API: scrivere grandi volumi di dati a pacchetti e spostare l’indicizzazione in coda, così che lo shop resti veloce durante l’esecuzione.
Monitoraggio: allarmi sulle esecuzioni non riuscite via e-mail, Slack o Teams; osservare le durate per riconoscere per tempo la crescita dei volumi di dati.
Protezione dei dati: portare i dati dei clienti nelle pipeline solo quando lo scopo lo richiede e scrivere log senza dati personali, come previsto dal GDPR.
Alternative e inquadramento
Scheduled Task e Message Queue di Shopware: per attività interne allo shop, realizzate come plugin.
Flow Builder e webhook: per processi basati su eventi senza pianificazione.
n8n, Make, Zapier: per collegamenti tra strumenti SaaS senza programmazione.
Prefect, Dagster, Temporal: alternative moderne ad Airflow con focus diversi; Prefect e Dagster nel data engineering, Temporal per flussi di lunga durata e affidabili.
AWS Step Functions, Google Cloud Workflows: orchestrazione nel rispettivo cloud, senza gestione propria.
Conclusione
Apache Airflow è la scelta giusta quando i job sui dati attorno a Shopware diventano complessi, articolati in più passaggi e critici per il business, e un team vuole gestirli come codice. Per i piccoli shop la gestione è troppo onerosa; lì bastano gli strumenti integrati di Shopware o una piattaforma no-code. Supportiamo anche merchant in Italia nella scelta e realizziamo il collegamento alla Admin API, vedi sviluppo di plugin Shopware. Altri termini sono spiegati nel nostro glossario Shopware.
