Dva typy dátových inžinierov, ktoré stretnete v práci

Dátové inžinierstvo je kľúčovým prvkom dátového ekosystému pozostávajúceho z rôznych odborníkov, ktorí zohrávajú zásadné úlohy pri správe a spracovaní údajov. Aj keď názov práce môže byť rovnaký, ako som v priebehu rokov videl, dátoví inžinieri často spadajú do dvoch odlišných archetypov: „obchodný“ dátový inžinier a „technický“ dátový inžinier, ako ich rád nazývam. V tomto blogovom príspevku preskúmame tieto dva archetypy, ich charakteristiky a ich prínos do sveta dátového inžinierstva.

Businessy Data Engineer

Títo ľudia sú o riešení obchodných problémov. Sú nadšení pre sledovanie metrík, kľúčové ukazovatele výkonu (KPI) a vytváranie interaktívnych informačných panelov. Často majú rozsiahle skúsenosti s SQL a majú zručnosti v kódovaní vo všestranných jazykoch, ako je Python, ktorý je ideálny na manipuláciu a analýzu údajov.

Zodpovednosti : Primárne sa zameriavajú na premenu obchodných potrieb do dátových riešení. Budujú dátové kanály na zhromažďovanie, transformáciu a načítanie údajov, čo umožňuje zmysluplné informácie pre tých, ktorí rozhodujú. Títo odborníci sa často označujú ako inžinieri Business Intelligence (BI).

Denné úlohy : Typický deň môže zahŕňať zhromažďovanie požiadaviek od zainteresovaných strán, navrhovanie dashboardov, skriptovanie v Pythone alebo SQL na extrakciu a transformáciu údajov a spoluprácu s obchodnými tímami s cieľom zabezpečiť rozhodovanie založené na údajoch.

Technologický dátový inžinier

Na druhej strane, technickí dátoví inžinieri sú priťahovaní k riešeniu problémov s mierkou. Darí sa im skúmať a implementovať nové technológie a často uprednostňujú kódovanie v jazykoch ako Scala alebo Java. Sú zodpovední za budovanie škálovateľných dátových kanálov, ktoré dokážu spracovať obrovské objemy údajov.

Zodpovednosti : Dátoví inžinieri Techy sa zameriavajú na budovanie a udržiavanie robustnej dátovej infraštruktúry. Zabezpečujú, že dátové kanály sú škálovateľné, spoľahlivé a schopné spracovať veľké množiny údajov. Ovládajú nástroje ako Apache Spark, Apache Flink a Apache Airflow, ktoré sú životne dôležité pre spracovanie obrovského množstva údajov a poznajú zložitosť cloudových nástrojov.

Denné úlohy : Typický deň pre technického dátového inžiniera môže zahŕňať optimalizáciu dátových kanálov, riešenie problémov s výkonom, experimentovanie s novými technológiami ukladania a spracovania dát a spoluprácu s dátovými vedcami na nasadení modelov strojového učenia.

Premostenie priepasti

Aj keď tieto dva archetypy dátových inžinierov majú odlišné úlohy a zodpovednosti, existuje obrovský potenciál, keď spolupracujú. Schopnosť podnikového dátového inžiniera porozumieť a preložiť obchodné požiadavky dopĺňa odbornosť technického dátového inžiniera pri vytváraní škálovateľných riešení. Obchodníci rozumejú tomu, čo obleky chcú, a technológovia stavajú dátovú elektráreň na podporu týchto potrieb. Spolupráca medzi týmito dvoma typmi dátových inžinierov môže viesť k vytvoreniu výkonných dátovo orientovaných riešení. Vďaka tímovej práci funguje sen, však?

A tu je vec: väčšina školení v oblasti dátového inžinierstva sa zameriava na technickú stránku vecí, čo ponecháva medzeru pre podnikových dátových inžinierov. Potrebujeme obsah, ktorý predstavuje ich úlohu, pomáha jednotlivcom pri identifikácii vhodných pracovných ponúk a vedie ich na ceste učenia sa.

S ktorým typom sa stotožňujete?

Ďakujem za prečítanie!

Zaujíma vás niečo alebo sa chcete podeliť? Zanechajte svoj komentár nižšie! Pozrite si môj blog alebo ma sledujte cez LinkedIn , Substack alebo Telegram .