Два типи інженерів даних, яких ви зустрічаєте на роботі

Розробка даних є ключовим елементом екосистеми даних, що складається з різних професіоналів, які відіграють важливу роль в управлінні та обробці даних. Хоча назва посади може бути однаковою, як я бачив протягом багатьох років, інженери даних часто поділяються на два різні архетипи: «діловий» інженер даних і «технічний» інженер даних, як я люблю їх називати. У цій публікації блогу ми дослідимо ці два архетипи, їхні характеристики та внесок у світ інженерії даних.

Інженер бізнес-даних

Усі ці люди займаються вирішенням бізнес-проблем. Вони захоплені відстеженням показників, ключовими показниками ефективності (KPI) і створенням інтерактивних інформаційних панелей. Часто вони мають великий досвід роботи з SQL і володіють навичками програмування на таких універсальних мовах, як Python, що ідеально підходить для обробки та аналізу даних.

Обов’язки : їх основна увага приділяється перетворенню потреб бізнесу в рішення для обробки даних. Вони створюють конвеєри даних для збору, перетворення та завантаження даних, що дає змогу особам, які приймають рішення, отримати значущу інформацію. Цих фахівців часто називають інженерами бізнес-аналітики (BI).

Щоденні завдання : типовий день може включати збір вимог від зацікавлених сторін, розробку інформаційних панелей, створення сценаріїв на Python або SQL для вилучення та перетворення даних, а також співпрацю з бізнес-командами для забезпечення прийняття рішень на основі даних.

Технічний інженер даних

З іншого боку, технічні інженери обробки даних залучаються до вирішення проблем масштабу. Вони процвітають у дослідженні та впровадженні нових технологій і часто віддають перевагу програмуванню на таких мовах, як Scala чи Java. Вони відповідають за створення масштабованих каналів даних, які можуть обробляти величезні обсяги даних.

Обов’язки : технічні інженери з обробки даних зосереджуються на створенні та підтримці надійної інфраструктури даних. Вони гарантують, що канали даних є масштабованими, надійними та здатними обробляти великі набори даних. Вони добре володіють такими інструментами, як Apache Spark, Apache Flink і Apache Airflow, які є життєво важливими для обробки величезних обсягів даних, і знають тонкощі хмарних інструментів.

Щоденні завдання : типовий день для технічного інженера даних може включати оптимізацію конвеєрів даних, усунення проблем із продуктивністю, експериментування з новими технологіями зберігання та обробки даних і співпрацю з науковцями з обробки даних для розгортання моделей машинного навчання.

Подолання розриву

Незважаючи на те, що ці два архетипи інженерів обробки даних мають різні ролі та обов’язки, у їх співпраці є величезний потенціал. Здатність бізнес-інженера даних розуміти та перекладати бізнес-вимоги доповнює досвід технічного інженера даних у створенні масштабованих рішень. Ділові люди розуміють, чого хочуть костюми, а технічні люди створюють центр даних для підтримки цих потреб. Співпраця між цими двома типами інженерів даних може призвести до створення потужних рішень на основі даних. Командна робота робить мрію успішною, чи не так?

Ось у чому річ: більшість тренінгів з інженерії даних зосереджуються на технічній стороні речей, залишаючи прогалину для бізнес-інженера з обробки даних. Нам потрібен контент, який демонструє їхню роль, допомагає людям знайти відповідні оголошення про роботу та спрямовує їх на навчальний шлях.

З яким типом ви ідентифікуєте себе?

Дякую за читання!

Вам щось цікаво чи є думки, якими можна поділитися? Залиште свій коментар нижче! Перегляньте мій блог або підпишіться на мене через LinkedIn , Substack або Telegram .