Data pipeline

Data pipeline (dátový tok) je automatizovaná postupnosť krokov, ktorá prenáša dáta zo zdrojov do cieľového prostredia a podľa potreby ich spracúva. Môže zahŕňať extrakciu, transformáciu, validáciu, ukladanie a odovzdanie dát analytickým alebo reportingovým nástrojom.

Ako data pipeline funguje

Pipeline môže načítavať dáta z databáz, aplikácií, API alebo súborov. Následne ich upraví, skontroluje a uloží napríklad do dátového skladu či data lake. Proces môže bežať v plánovaných intervaloch alebo reagovať na udalosti. Jednotlivé kroky na seba nadväzujú a ich výsledok ovplyvňuje dostupnosť dát.

Čo je dôležité pri návrhu

Okrem výkonu je potrebné riešiť monitoring, opakovanie neúspešných behov, spracovanie chýb, kvalitu dát, bezpečnosť a dokumentáciu. Bez týchto prvkov môže pipeline dáta síce prenášať, ale nebude spoľahlivo prevádzkovateľná.