
Data Engineer Middle
Scalo Sp. z o.o.
100 - 135 PLN / HOUR
Hybrid
B2B
Status
Hexjobs Insights
Poszukiwany Data Engineer Middle do pracy nad integracją i przetwarzaniem danych w GCP oraz on-prem. Wymagania: 4 lata w GCP, znajomość ETL, Python, REST API.
Schlüsselwörter
Data Engineering
ETL
GCP
Python
Apache AirFlow
REST API
Kafka
Data Analysis
PostgreSQL
ScyllaDB
Vorteile
- Stawka do 135 PLN/h
- Hybrydowy model pracy
- Praca przy dużych wolumenach danych (~100 TB)
- Możliwość rozwoju w projektach integracji danych
- Praca w renomowanej firmie
Technologie, których używamy
O projekcie
Twój zakres obowiązków
- udział w projekcie z obszaru integracji oraz przetwarzania danych w środowiskach chmurowych i on‑prem,
- realizacja zadań związanych z budową i rozwojem procesów integracyjnych w GCP oraz on‑prem,
- praca z narzędziami ETL w środowisku GCP: Apache AirFlow, DataFlow, DataProc,
- wykorzystanie baz danych GCP: BigQuery, BigTable oraz Scylla Cloud,
- praca z kolejkami danych: Kafka, GCP Pub/Sub,
- projektowanie, budowa i tuning baz danych w środowiskach on‑prem (Oracle, PostgreSQL, ScyllaDB),
- korzystanie z narzędzi ETL na on‑prem na poziomie zaawansowanym: Informatica Power Center, NIFI,
- praca z narzędziem harmonogramującym Automate Now (Infinity Data),
- tworzenie i wystawianie usług REST API,
- rozwój narzędzi i frameworków w Pythonie oraz PySpark,
- tworzenie narzędzi wspomagających wydajne ładowanie danych w języku Rust,
- odpowiedzialność za obszar wystawiania danych pod usługi działające w wysokim reżimie wydajnościowym (24h),
- praca w środowisku dużych wolumenów danych (~100 TB),
- praca w modelu hybrydowym: 1 dzień w tygodniu w biurze w Warszawie,
- stawka do 135 PLN/h w oparciu o współpracę B2B.
Nasze wymagania
- masz co najmniej 4 lata doświadczenia jako Data Engineer GCP w obszarze procesów integracji danych,
- znasz dobrze narzędzia ETL na GCP (Apache AirFlow, DataFlow, DataProc),
- biegle posługujesz się bazami danych GCP (BigQuery, BigTable, Scylla Cloud) i potrafisz je projektować oraz optymalizować,
- potrafisz pracować z kolejkami danych: Kafka, GCP Pub/Sub,
- masz co najmniej 3 lata doświadczenia jako Developer ETL w środowiskach on‑prem,
- biegle korzystasz z narzędzi ETL on‑prem: Informatica Power Center i NIFI,
- masz ekspercką znajomość baz Oracle, PostgreSQL oraz ScyllaDB,
- bardzo dobrze znasz narzędzie harmonogramujące Automate Now,
- potrafisz wystawiać usługi REST API,
- masz co najmniej 4 lata doświadczenia jako programista Python (data integration & analysis) oraz PySpark,
- dobrze znasz język Rust w kontekście tworzenia narzędzi do wydajnego ładowania danych,
- potrafisz przejąć odpowiedzialność za obszary wymagające wysokiej dostępności i wydajności,
- masz podstawową wiedzę w zakresie programowania mikroserwisów w Javie,
- dobrze czujesz się w systemach Linux na poziomie zaawansowanego użytkownika,
- masz doświadczenie w pracy z dużymi wolumenami danych (~100 TB),
- posiadasz rozwinięte umiejętności analityczne i szybko przyswajasz wiedzę,
- działasz samodzielnie, kreatywnie i terminowo,
Mile widziane
- znajomość Groovy,
- znajomość GIT, Grafany i Apache JMeter.
Tak organizujemy naszą pracę
Tak pracujemy
Skład zespołu
To oferujemy
- stabilną współpracę i różnorodne projekty (Software, Embedded, Data, Cloud Services),
- możliwość rozwoju kompetencji jako Ambasador Scalo - doskonal skille techniczne i presalesowe w społeczności naszych ekspertów, wpływaj na rozwój organizacji, wspieraj innych,
- przestrzeń do budowania marki osobistej - twórz wartościowe treści, dziel się wiedzą i doświadczeniem, występuj jako prelegent na wydarzeniach (np. ProMeet),
- prywatną opiekę medyczną - Luxmed,
- kafeteryjny system benefitów - Motivizer,
- dostęp do karty Multisport,
- program poleceń pracowniczych z nagrodami,
- integracje i wydarzenia firmowe.
Benefity
Aufrufe: 12
| Veröffentlicht | vor 29 Tagen |
| Läuft ab | in etwa 14 Stunden |
| Art des Vertrags | B2B |
| Arbeitsmodus | Hybrid |
Ähnliche Jobs, die für Sie von Interesse sein könnten
Basierend auf "Data Engineer Middle"
Keine Angebote gefunden, versuchen Sie, Ihre Suchkriterien zu ändern.