Big Data Developer Spark

Technologie, których używamy

O projekcie

Twój zakres obowiązków

• Projektowanie i implementacja pipeline'ów do ingestion, transformacji i przetwarzania dużych wolumenów danych.
• Industrializacja rozwiązań data processing ➡️ niezawodność, odporność na błędy, skalowalność.
• Rozwój jobów Spark/Scala: przetwarzanie wsadowe, data mapping, optymalizacja wydajności.
• Analiza źródeł danych i przekształcanie wymagań biznesowych w specyfikacje techniczne.
• Udział w projektowaniu architektury Big Data i rekomendowanie rozwiązań technicznych.
• Code review, dbałość o clean code, standardy TDD/BDD i dobre praktyki DevOps.
• Współpraca w zespole Agile/Scrum (sprinty 2-3 tygodnie, release train).
• Wsparcie L3 ➡️ troubleshooting i utrzymanie środowisk produkcyjnych.
• Identyfikacja ryzyk technicznych oraz proponowanie strategii mitygacji.
• Tworzenie dokumentacji technicznej, test planów i specyfikacji.

Nasze wymagania

• Min. 4 lata komercyjnego doświadczenia w data engineering / software engineering.
• Zaawansowana znajomość Apache Spark (Scala API - preferowane, Java API - akceptowane).
• Biegły angielski (C1+) ➡️ codzienna komunikacja techniczna i biznesowa w środowisku międzynarodowym.
• Wykształcenie wyższe: Computer Science, Software Engineering lub pokrewne.
• Solidne praktyki TDD ➡️ pisanie testowalnego kodu jako standard, nie wyjątek.
• Praktyczna znajomość Hive i SQL na poziomie produkcyjnym.
• Szukamy Seniora z potencjałem Tech Leada.

Mile widziane

• CI/CD (Jenkins, GitLab CI lub podobne), Git flow, branching strategies.
• Python (szczególnie w kontekście Airflow ➡️orkiestracja pipeline'ów).
• Doświadczenie z Azure (ADF, ADLS, Databricks lub pokrewne usługi).
• Doświadczenie w środowiskach SAFe / release train.
• Znajomość architektury mikroserwisowej i REST API.

Tak organizujemy naszą pracę

Tak pracujemy

To oferujemy

• Udział w spotkaniach integracyjnych i meetupach technologicznych, dzielenie się wiedzą i doświadczeniem z szerszą społecznością inżynierską.
• Wsparcie dedykowanej osoby po stronie Connectis, która zawsze jest dostępna, by pomóc Ci w sprawach związanych z projektem.
• Praca w międzynarodowym środowisku inżynierskim z wysoką kulturą jakości kodu (TDD, code review, clean code).
• Udział w dużym, wieloletnim projekcie modernizacji i migracji do chmury, realny wpływ na architekturę systemu.
• 🏢 Model hybrydowy, większość czasu w biurze (3 dni w tygodniu), elastyczność w pozostałe dni.
• Codzienny kontakt z nowoczesnym stackiem Big Data w kontekście bankowości inwestycyjnej.
• Sprzęt roboczy, laptop i peryferia zapewnione od pierwszego dnia.
• Nowoczesne, komfortowe biuro w Warszawie.