Data Engineer Middle

Data Engineer Middle

Scalo Sp. z o.o.

100 - 135 PLN / HOUR
Hybrid
B2B

Hexjobs Insights

Poszukiwany Data Engineer Middle do pracy nad integracją i przetwarzaniem danych w GCP oraz on-prem. Wymagania: 4 lata w GCP, znajomość ETL, Python, REST API.

Schlüsselwörter

Data Engineering
ETL
GCP
Python
Apache AirFlow
REST API
Kafka
Data Analysis
PostgreSQL
ScyllaDB

Vorteile

  • Stawka do 135 PLN/h
  • Hybrydowy model pracy
  • Praca przy dużych wolumenach danych (~100 TB)
  • Możliwość rozwoju w projektach integracji danych
  • Praca w renomowanej firmie

Technologie, których używamy

O projekcie

Twój zakres obowiązków

  • udział w projekcie z obszaru integracji oraz przetwarzania danych w środowiskach chmurowych i on‑prem,
  • realizacja zadań związanych z budową i rozwojem procesów integracyjnych w GCP oraz on‑prem,
  • praca z narzędziami ETL w środowisku GCP: Apache AirFlow, DataFlow, DataProc,
  • wykorzystanie baz danych GCP: BigQuery, BigTable oraz Scylla Cloud,
  • praca z kolejkami danych: Kafka, GCP Pub/Sub,
  • projektowanie, budowa i tuning baz danych w środowiskach on‑prem (Oracle, PostgreSQL, ScyllaDB),
  • korzystanie z narzędzi ETL na on‑prem na poziomie zaawansowanym: Informatica Power Center, NIFI,
  • praca z narzędziem harmonogramującym Automate Now (Infinity Data),
  • tworzenie i wystawianie usług REST API,
  • rozwój narzędzi i frameworków w Pythonie oraz PySpark,
  • tworzenie narzędzi wspomagających wydajne ładowanie danych w języku Rust,
  • odpowiedzialność za obszar wystawiania danych pod usługi działające w wysokim reżimie wydajnościowym (24h),
  • praca w środowisku dużych wolumenów danych (~100 TB),
  • praca w modelu hybrydowym: 1 dzień w tygodniu w biurze w Warszawie,
  • stawka do 135 PLN/h w oparciu o współpracę B2B.

Nasze wymagania

  • masz co najmniej 4 lata doświadczenia jako Data Engineer GCP w obszarze procesów integracji danych,
  • znasz dobrze narzędzia ETL na GCP (Apache AirFlow, DataFlow, DataProc),
  • biegle posługujesz się bazami danych GCP (BigQuery, BigTable, Scylla Cloud) i potrafisz je projektować oraz optymalizować,
  • potrafisz pracować z kolejkami danych: Kafka, GCP Pub/Sub,
  • masz co najmniej 3 lata doświadczenia jako Developer ETL w środowiskach on‑prem,
  • biegle korzystasz z narzędzi ETL on‑prem: Informatica Power Center i NIFI,
  • masz ekspercką znajomość baz Oracle, PostgreSQL oraz ScyllaDB,
  • bardzo dobrze znasz narzędzie harmonogramujące Automate Now,
  • potrafisz wystawiać usługi REST API,
  • masz co najmniej 4 lata doświadczenia jako programista Python (data integration & analysis) oraz PySpark,
  • dobrze znasz język Rust w kontekście tworzenia narzędzi do wydajnego ładowania danych,
  • potrafisz przejąć odpowiedzialność za obszary wymagające wysokiej dostępności i wydajności,
  • masz podstawową wiedzę w zakresie programowania mikroserwisów w Javie,
  • dobrze czujesz się w systemach Linux na poziomie zaawansowanego użytkownika,
  • masz doświadczenie w pracy z dużymi wolumenami danych (~100 TB),
  • posiadasz rozwinięte umiejętności analityczne i szybko przyswajasz wiedzę,
  • działasz samodzielnie, kreatywnie i terminowo,

Mile widziane

  • znajomość Groovy,
  • znajomość GIT, Grafany i Apache JMeter.

Tak organizujemy naszą pracę

Tak pracujemy

Skład zespołu

To oferujemy

  • stabilną współpracę i różnorodne projekty (Software, Embedded, Data, Cloud Services),
  • możliwość rozwoju kompetencji jako Ambasador Scalo - doskonal skille techniczne i presalesowe w społeczności naszych ekspertów, wpływaj na rozwój organizacji, wspieraj innych,
  • przestrzeń do budowania marki osobistej - twórz wartościowe treści, dziel się wiedzą i doświadczeniem, występuj jako prelegent na wydarzeniach (np. ProMeet),
  • prywatną opiekę medyczną - Luxmed,
  • kafeteryjny system benefitów - Motivizer,
  • dostęp do karty Multisport,
  • program poleceń pracowniczych z nagrodami,
  • integracje i wydarzenia firmowe.

Benefity

Aufrufe: 12
Veröffentlichtvor 29 Tagen
Läuft abin etwa 14 Stunden
Art des VertragsB2B
ArbeitsmodusHybrid

Ähnliche Jobs, die für Sie von Interesse sein könnten

Basierend auf "Data Engineer Middle"

Keine Angebote gefunden, versuchen Sie, Ihre Suchkriterien zu ändern.