Senior Data Engineer (GCP / AWS)

Technologie, których używamy

O projekcie

Twój zakres obowiązków

• Projektowanie, budowanie i rozwijanie skalowalnych oraz bezpiecznych pipeline’ów danych w środowiskach multi-cloud (Google Cloud Platform oraz AWS)
• Tworzenie i utrzymywanie procesów integracji oraz transformacji danych pomiędzy systemami chmurowymi a lokalnymi bazami danych Oracle
• Współpraca z zespołami tradingu, ryzyka oraz analityki w celu zrozumienia potrzeb biznesowych i dostarczania rozwiązań danych w trybie real-time oraz batch
• Monitorowanie i optymalizacja wydajności systemów danych, wspierających aplikacje tradingowe o wysokiej wrażliwości na opóźnienia
• Zapewnienie wysokiej jakości zarządzania danymi (data governance), śledzenia pochodzenia danych (data lineage) oraz zgodności z regulacjami branżowymi (m.in. MiFID II, FCA)
• Automatyzacja procesów danych z wykorzystaniem Infrastructure as Code (Terraform), pipeline’ów CI/CD oraz narzędzi konteneryzacji (Docker, Kubernetes)

Nasze wymagania

• Min. 6 lat doświadczenia na podobnym stanowisku
• Bardzo dobra znajomość usług danych w chmurze w środowiskach Google Cloud Platform (GCP) oraz Amazon Web Services (AWS), w szczególności narzędzi takich jak: BigQuery, DataPlex, DBT, Pub/Sub, Dataflow, S3, Glue czy Redshift
• Bardzo dobra znajomość Oracle SQL oraz PL/SQL, w tym doświadczenie w pracy z rozbudowanymi procedurami składowanymi oraz dużymi zbiorami danych
• Bardzo dobra znajomość Python
• Doświadczenie w pracy z systemami streamingowymi i messagingowymi oraz narzędziami wspierającymi procesy CI/CD (np. Jenkins, GitLab) oraz orkiestracją kontenerów (Kubernetes)
• Doświadczenie w pracy z Infrastructure as Code, w szczególności z wykorzystaniem Terraform do zarządzania infrastrukturą chmurową
• Bardzo dobra znajomość modelowania danych, hurtowni danych oraz wzorców ETL/ELT
• Doświadczenie w prowadzeniu zespołu lub mentoringu członków zespołu
• Znajomość metodyk Agile (np. Scrum, Kanban) oraz narzędzi wspierających zarządzanie pracą zespołu (np. Jira)

Mile widziane

• Doświadczenie w pracy z narzędziami do orkiestracji pipeline’ów danych, takimi jak Apache Airflow, DBT lub podobne rozwiązania
• Znajomość raportowania regulacyjnego, danych rynkowych lub systemów monitorowania transakcji (trade surveillance)
• Doświadczenie w pracy z rynkami finansowymi lub systemami tradingowymi oraz zrozumienie praktyk bezpieczeństwa danych i wymogów compliance

To oferujemy

• Długofalową stabilną współpracę w oparciu o kontrakt B2B
• Szansę na rozwój w dużej strukturze, bezpośredni kontakt z Managerem zespołu
• Pracę w firmie, w której IT jest dojrzałe i globalne, a metodyki zwinne są respektowane
• Dopłatę do karty MultiSport oraz ubezpieczenia