Data Engineer/Architect

Senior Data Engineer / Data Platform Engineer (z elementami architektury)Lokalizacja: Zdalnie Forma współpracy: B2B Wynagrodzenie: 180 - 220zł/hO projekcieBudujemy centralną platformę danych, która integruje dane z wielu systemów operacyjnych i udostępnia je do analityki, raportowania oraz modeli machine learning. System przetwarza zarówno dane wsadowe, jak i strumieniowe, a jego celem jest zapewnienie jednego, spójnego źródła prawdy dla całej organizacji.Projekt obejmuje:budowę i rozwój hurtowni danych / lakehousetworzenie pipeline’ów ETL/ELTprojektowanie warstw danych: raw → staging → curatedwsparcie dla zespołów analitycznych i data scienceTwoja rolaNa tym stanowisku będziesz łączyć pracę inżynierską i architektoniczną:rozwijać i utrzymywać pipeline’y danychprojektować strukturę i przepływy danychpodejmować decyzje technologiczne dotyczące data stackudbać o skalowalność, jakość i wydajność przetwarzania danychZakres obowiązkówProjektowanie i implementacja pipeline’ów ETL/ELTModelowanie danych w hurtowni danychOptymalizacja zapytań SQL i procesów przetwarzaniaWspółtworzenie architektury platformy danychWdrażanie dobrych praktyk: versioning, testy danych, monitoringWspółpraca z analitykami, data scientistami i zespołem backendWymagania (must-have)Bardzo dobra znajomość SQLMinimum 4–5 lat doświadczenia jako Data EngineerDoświadczenie w pracy z Pythonem (np. Pandas, PySpark)Praktyczna znajomość narzędzi orkiestracji (np. Airflow)Doświadczenie z hurtowniami danych (BigQuery / Snowflake / Redshift / PostgreSQL)Znajomość przetwarzania dużych wolumenów danych (np. Spark)Doświadczenie z chmurą: AWS, GCP lub AzureMile widziane (nice to have)Doświadczenie w projektowaniu architektury danychZnajomość koncepcji Data Lake / Lakehouse / Data MeshPrzetwarzanie strumieniowe (Kafka, Pub/Sub, Kinesis)Narzędzia do transformacji danych, np. dbtDocker, Kubernetes i CI/CDSzukamy osoby, którapotrafi pisać wydajny i czytelny kod, ale też myśli o systemie jako całościinteresuje się architekturą danych i chce mieć wpływ na decyzje technologicznepotrafi proponować ulepszenia i brać odpowiedzialność za rozwiązaniaOferujemyrealny wpływ na architekturę platformy danychpracę z nowoczesnym stackiem chmurowymdużą autonomię technologicznąbudżet szkoleniowy i czas na rozwójstabilny projekt z długoterminową perspektywą