Data Engineer (Azure)

Technologie, których używamy

O projekcie

Twój zakres obowiązków

• Transformacja, walidacja i przygotowanie danych zgodnie z wymaganiami architektonicznymi (data contracts, schematy, standardy jakości).
• Współpraca z architektem, zespołem ML oraz DevOps w zakresie optymalizacji pipeline’ów i infrastruktury.
• Udostępnianie przetworzonych danych (np. poprzez warstwę curated / gold, API, tabele Delta, feature store).
• Projektowanie i implementacja data pipelines wspierających funkcjonalność Custom Triage.
• Integracja i przetwarzanie danych w środowiskach analitycznych takich jak Azure Databricks.
• Budowa mechanizmów ingestii danych z systemów źródłowych (np. Azure Event Hubs).
• Zapewnienie skalowalności, niezawodności i monitoringu przepływów danych.
• Integracja zewnętrznych workloadów ML z istniejącą architekturą danych.

Nasze wymagania

• Minimum 4-letnie doświadczenie komercyjne na stanowisku Data Engineer.
• Doświadczenie w pracy z rozwiązaniami streamingowymi, w szczególności Azure Event Hubs.
• Doświadczenie w projektowaniu i budowie skalowalnych pipeline’ów ETL/ELT.
• Bardzo dobra znajomość Azure Databricks.
• Biegła znajomość języka angielskiego.
• Bardzo dobra znajomość Python.

Mile widziane

• Doświadczenie z obszaru Observability (monitoring, tracing, logging).
• Doświadczenie z Azure Functions.
• Znajomość modelowania danych.

Tak organizujemy naszą pracę

Tak pracujemy

To oferujemy

• Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
• Wsparcie dedykowanej osoby kontaktowej z Connectis, dostępnej w celu pomocy w sprawach związanych z projektem.
• Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku.
• 5000 PLN za polecenie znajomych do naszych projektów.
• Dostęp do najnowszych technologii i narzędzi pracy.
• Szybki i zdalny proces.
• Praca 100% zdalna.