Data Engineer

Technologie, których używamy

Twój zakres obowiązków

• Projektowanie i rozwijanie protokołów ETL/ELT (batch + ewentualnie streaming) z systemów źródłowych do Data Lake, opartych na narzędziach orkiestracji typu Airflow/Kubeflow/równoważne, również w systemach distributed computing
• Współtworzenie fundamentów Data Lake: warstwy danych (raw/processsed/curated), standardy nazewnictwa i partycjonowania, schematy i kontrakty danych, podejście do wersjonowania
• Implementacja i utrzymanie integracji danych oraz automatyzacja uruchomień
• Zapewnienie jakości i niezawodności danych
• Przygotowanie danych pod ML/AI: budowa zbiorów trening/valid/test, pipeline'y przygotowania cech, współpraca przy potokach treningu i inferencji oraz integracji danych z usługami ML/AI
• Praca w realiach self-hosted: optymalizacja wydajności, kosztów zasobów, stabilność i bezpieczeństwo
• Współpraca z zespołami BI/ML/AI/produktowymi: doprecyzowanie potrzeb, definicji KPI i priorytetów backlogu danych

Nasze wymagania

• 2-5 lat doświadczenia w roli Data Engineer
• Bardzo dobra znajomość SQL + praktyka programowania w Python (ETL, integracje, automatyzacja)
• Doświadczenie z przetwarzaniem dużych wolumenów danych i narzędziami klasy Spark (lub równoważne): mile widziane Kafka/streaming
• Praktyka w środowisku Linux (on-prem) oraz rozumienie ograniczeń i obowiązków wynikających z self-hosted
• Dobre praktyki inżynierskie: Git, code review, testy, logowanie/monitoring, dokumentacja techniczna
• Umiejętność projektowania struktur danych
• Współpraca przy ML/AI: zrozumienie potrzeb danych dla treningu/inferencji (reprodukowalność, wersjonowanie datasetów)
• Angielski na poziomie komunikatywnym (min. B2)

Mile widziane

• Orkiestracja workflow (np. Airflow lub równoważne), CI/CD, Docker/Kubernetes
• Doświadczenie z obiektowym storage (MinIO) i projektowaniem Data Lake bez "gotowego" stacku (dobór narzędzi, standardów, wzorców)
• Narzędzia MLOps (np. MLflow), data/model versioning, obserwowalność danych dla modeli
• Doświadczenie w budowaniu rozwiązań typu data warehouse/lake i ich produkcyjnego utrzymania
• Doświadczenie w pracy z systemami o wysokiej dostępności
• Znajomość technik bezpiecznego przechowywania danych: szyfrowanie at rest, in transit
• Doświadczenie w pracy w sektorze lotniczym, a szczególnie przy systemach związanych z kontrolą ruchu lutniczego

Tak organizujemy naszą pracę

Tak pracujemy

Skład zespołu

Takie dajemy możliwości rozwoju

To oferujemy

• Umowa o pracę
• Hybrydowy system pracy
• Pracę w kilkuosobowym zespole
• Merytoryczne wsparcie na każdym etapie wdrożenia
• Bogaty pakiet medyczny w Luxmed (w tym stomatologię)
• Pakiet Multisport
• Możliwość korzystania z Ośrodka Sportu znajdującego się na terenie Agencji
• Dyżury lekarza w przychodni znajdującej się w naszej siedzibie
• Bezpłatny parking dla pracowników
• Dofinansowanie do wypoczynku
• Dofinansowanie do biletów do kina, teatru, na koncerty dla pracowników i członków rodziny
• Dofinansowanie do edukacji dzieci
• Dofinansowanie do kursów/szkoleń
• Dodatkowe ubezpieczenie
• Pracowniczy Program Emerytalny
• Pakiet świadczeń z Zakładowego Funduszu Świadczeń Socjalnych

Benefity