Senior Data Engineer

Senior Data Engineer (min. 6 lat doświadczenia)Tryb: 100% zdalnieForma współpracy: B2B Wynagrodzenie: 160-180zł/hO projekcieDołączysz do międzynarodowego projektu realizowanego dla globalnej organizacji z sektora fintech, budującej nowoczesną platformę analityczną do przetwarzania danych transakcyjnych w czasie zbliżonym do rzeczywistego.System obsługuje setki milionów rekordów dziennie z wielu źródeł (API, strumienie zdarzeń, systemy legacy). Główne cele platformy:wykrywanie nadużyć finansowych,budowa modeli scoringowych,personalizacja ofert produktowych,raportowanie regulacyjne.Architektura oparta jest o rozwiązania chmurowe (AWS), przetwarzanie rozproszone w Spark oraz hurtownię danych Snowflake. Zespół pracuje w modelu produktowym, z dużą autonomią techniczną i realnym wpływem na decyzje architektoniczne.Zakres odpowiedzialnościProjektowanie i rozwój skalowalnych pipeline’ów danych (batch i streaming)Budowa i optymalizacja procesów ETL/ELT w Pythonie i PySparkuModelowanie danych w Snowflake (schema design, performance tuning)Zapewnienie jakości danych (walidacja, monitoring, testy)Współpraca z Data Scientistami oraz zespołem BIUdział w decyzjach architektonicznych i code reviewWdrażanie dobrych praktyk DevOps/DataOpsWymaganiaMinimum 6 lat doświadczenia jako Data EngineerBardzo dobra znajomość PythonKomercyjne doświadczenie z PySparkPraktyczna znajomość Snowflake (modelowanie danych, optymalizacja zapytań)Doświadczenie w pracy z dużymi wolumenami danychZnajomość architektury chmurowej (preferowany AWS)Bardzo dobra znajomość SQLUmiejętność projektowania skalowalnych i odpornych rozwiązańMile widziane:Doświadczenie w przetwarzaniu strumieniowym (np. Kafka)Znajomość narzędzi orkiestracyjnych (np. Airflow)Doświadczenie w środowisku regulowanym (fintech/bankowość)OferujemyRealny wpływ na architekturę platformy przetwarzającej setki milionów rekordów dzienniePracę przy projekcie o wysokiej skali i dużej złożoności technologicznejElastyczne godziny pracy i możliwość pracy zdalnejBudżet szkoleniowy oraz certyfikacjePrywatną opiekę medyczną i kartę sportowąStabilną, długoterminową współpracę