Dviejų tipų duomenų inžinieriai, kuriuos sutinkate darbe

Duomenų inžinerija yra esminis duomenų ekosistemos elementas, kurį sudaro įvairūs profesionalai, atliekantys esminius vaidmenis tvarkant ir apdorojant duomenis. Nors pareigų pavadinimas gali būti tas pats, kaip mačiau bėgant metams, duomenų inžinieriai dažnai skirstomi į du skirtingus archetipus: „verslo“ duomenų inžinierius ir „techniškas“ duomenų inžinierius, kaip aš mėgstu juos vadinti. Šiame tinklaraščio įraše išnagrinėsime šiuos du archetipus, jų savybes ir indėlį į duomenų inžinerijos pasaulį.

Verslus duomenų inžinierius

Šie žmonės siekia išspręsti verslo problemas. Jie aistringai stebi metriką, pagrindinius našumo rodiklius (KPI) ir kuria interaktyvias informacijos suvestines. Dažnai jie turi didelę SQL patirtį ir kodavimo įgūdžius įvairiomis kalbomis, tokiomis kaip Python, idealiai tinkančios duomenų apdorojimui ir analizei.

Atsakomybės : pagrindinis dėmesys skiriamas verslo poreikių pavertimui duomenų sprendimais. Jie kuria duomenų vamzdynus duomenims rinkti, transformuoti ir įkelti, todėl sprendimus priimantys asmenys gali gauti reikšmingų įžvalgų. Šie specialistai dažnai vadinami verslo žvalgybos (BI) inžinieriais.

Kasdienės užduotys : įprasta diena gali apimti suinteresuotųjų šalių reikalavimų rinkimą, prietaisų skydelių kūrimą, scenarijų kūrimą Python arba SQL duomenims išgauti ir transformuoti bei bendradarbiavimą su verslo komandomis, kad būtų užtikrintas duomenimis pagrįstų sprendimų priėmimas.

Techninis duomenų inžinierius

Kita vertus, techninius duomenų inžinierius traukia masto problemų sprendimas. Jie klesti tyrinėdami ir diegdami naujas technologijas ir dažnai renkasi kodavimą tokiomis kalbomis kaip „Scala“ ar „Java“. Jie yra atsakingi už keičiamo dydžio duomenų vamzdynų, galinčių apdoroti didelius duomenų kiekius, kūrimą.

Pareigos : Techy duomenų inžinieriai daugiausia dėmesio skiria patikimos duomenų infrastruktūros kūrimui ir priežiūrai. Jie užtikrina, kad duomenų vamzdynai būtų keičiamo dydžio, patikimi ir gali apdoroti didelius duomenų rinkinius. Jie puikiai išmano tokius įrankius kaip „Apache Spark“, „Apache Flink“ ir „Apache Airflow“, kurie yra gyvybiškai svarbūs apdorojant didelius duomenų kiekius ir išmano debesies įrankių sudėtingumą.

Kasdienės užduotys : Įprasta techninio duomenų inžinieriaus diena gali apimti duomenų vamzdynų optimizavimą, našumo problemų šalinimą, eksperimentavimą su naujomis duomenų saugojimo ir apdorojimo technologijomis ir bendradarbiavimą su duomenų mokslininkais, kad būtų įdiegti mašininio mokymosi modeliai.

Atotrūkio tiltas

Nors šie du duomenų inžinierių archetipai turi skirtingus vaidmenis ir pareigas, jie turi didžiulį potencialą, kai jie dirba kartu. Verslo duomenų inžinieriaus gebėjimas suprasti ir išversti verslo reikalavimus papildo techninio duomenų inžinieriaus patirtį kuriant keičiamo dydžio sprendimus. Verslūs žmonės supranta, ko nori kostiumai, o techniniai žmonės sukuria duomenų galią, kad patenkintų šiuos poreikius. Šių dviejų tipų duomenų inžinierių bendradarbiavimas gali padėti sukurti galingus duomenimis pagrįstus sprendimus. Komandinis darbas leidžia įgyvendinti svajonę, tiesa?

Dabar štai koks dalykas: dauguma duomenų inžinerijos mokymų sutelkia dėmesį į techninę dalykų pusę, todėl verslo duomenų inžinieriams lieka spragų. Mums reikia turinio, kuris parodytų jų vaidmenį, padėtų asmenims rasti tinkamus darbo skelbimus ir padėtų jiems mokytis.

Su kokiu tipu tapatini?

Ačiū, kad skaitėte!

Domina kažkas ar turite minčių pasidalinti? Palikite savo komentarą žemiau! Peržiūrėkite mano tinklaraštį arba sekite mane per LinkedIn , Substack arba Telegram .