Data Engineer Spark
Must-have:
- Minimum 6 lata doświadczenia komercyjnego w pracy z Apache Spark oraz środowiskach produkcyjnych. Mile widziane doświadczenie bankowe.
- Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.
- Praktyczne doświadczenie w integracji Apache Spark z MongoDB przy użyciu MongoDB Spark Connector.
- Znajomość modelowania dokumentowego oraz indeksowania w MongoDB.
- Doświadczenie z Apache Iceberg, w szczególności w zakresie zarządzania tabelami, wersjonowania danych oraz operacji upsert/merge.
- Praktyczna znajomość języka Python.
- Doświadczenie w budowaniu i utrzymywaniu procesów CI/CD z wykorzystaniem Jenkins.
- Znajomość narzędzi Prometheus i Grafana.
- Doświadczenie w pracy w metodykach Agile (Scrum/Kanban).
- Znajomość Jira i Confluence.
Mile widziane
- Doświadczenie z Delta Lake lub Apache Hudi.
- Znajomość Docker i Kubernetes oraz Spark Operator.
- Praktyczna znajomość OpenTelemetry lub Dynatrace.
- Doświadczenie w projektowaniu rozwiązań monitorowania procesów batch i streaming.
- Znajomość zagadnień Data Quality, Data Observability i zarządzania cyklem życia danych.
Poszukujemy doświadczonego Data Engineer/Spark / Data Lakehouse Developera, który dołączy do zespołu Data Platform i będzie uczestniczył w rozwoju nowoczesnych rozwiązań przetwarzania oraz zarządzania danymi.
Osoba na tym stanowisku będzie odpowiedzialna za projektowanie i implementację mechanizmów rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, a także za synchronizację danych z systemami źródłowymi. Ważnym elementem projektu będzie również budowa i rozwój architektury Data Lakehouse, obejmującej przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (Raw, Bronze, Silver, Gold).
Dołącz do projektu!
Jeśli masz doświadczenie w budowaniu wydajnych rozwiązań Big Data, dobrze znasz Apache Spark i chcesz rozwijać nowoczesną architekturę Data Lakehouse, zapraszamy do aplikowania!
,[Projektowanie oraz implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL., Porównywanie danych przechowywanych w MongoDB z danymi w systemach źródłowych., Tworzenie reguł walidacji i jakości danych oraz wykrywanie duplikatów, braków i anomalii., Generowanie raportów i alertów dotyczących niezgodności danych., Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector., Implementacja procesów odczytu i zapisu danych., Optymalizacja operacji odczytu, m.in. poprzez partitioning, predicate push-down i schema-aware reads., Projektowanie i rozwój warstw danych Raw, Bronze, Silver i Gold., Implementacja rozwiązań opartych na Apache Iceberg, Delta Lake lub Apache Hudi., Zarządzanie tabelami wersjonowanymi oraz optymalizacja operacji zapisu i aktualizacji danych (upsert/merge)., Wdrażanie CI/CD dla schematów tabel, migracji i wersjonowania., Tuning procesów Apache Spark, w tym partitioning, caching, broadcast joins i Adaptive Query Execution., Optymalizacja zapytań oraz kosztów przetwarzania danych w środowisku Data Lakehouse., Konfiguracja monitoringu i metryk z wykorzystaniem Prometheus i Grafana., Integracja logowania i distributed tracing z wykorzystaniem OpenTelemetry lub Dynatrace., Definiowanie SLA/SLO oraz alertów dotyczących świeżości danych i poprawności realizacji zadań., Automatyzacja wdrożeń aplikacji Spark z wykorzystaniem Docker, Kubernetes i Spark Operator., Diagnozowanie problemów związanych z jakością danych, opóźnieniami i niezgodnościami., Tworzenie i utrzymywanie dokumentacji technicznej, runbooków oraz diagramów przepływu danych., Współpraca z Data Engineerami, Business Analystami, testerami i zespołem DevOps., Udział w pracach prowadzonych w metodykach Scrum/Kanban., Prowadzenie code review oraz warsztatów technicznych.] Requirements: Apache Spark, Spark SQL, PySpark, MongoDB, Spark, Apache, Python, CI/CD, Jenkins, Prometheus, Grafana, Agile, Scrum, Kanban, Jira, Confluence, Docker, Kubernetes, Dynatrace
Podobne oferty
Analityk/analityczka baz danych data analyst
NSURE POLAND Sp. z o.o.
Wrocław
2026-11-23
od 31,40 zł/h
Umowa zlecenie/dzieło
Senior Data Engineer
AIDA Recruitment
Warsaw
2026-11-21
Senior Data Analyst
AIDA Recruitment
Kraków
2026-11-21
Executive Azure Data Engineer Data & Cloud
KPMG
Łódź Gdańsk Poznań Katowice Wrocław Kraków Warszawa
2026-11-22
Lead Data & AI Engineer Kraków/Wrocław/Warsaw Poland
Unit8 SA
Kraków Wrocław Warszawa
2026-11-22
Senior Data Engineer DBT Airflow Snowflake
Vecten
Remote Warsaw Warszawa
2026-11-22
Data & Analytics Consultant Databricks Azure
Appstronauts
Remote Warszawa Rzeszów Kraków Częstochowa Wrocław Gdańsk Poznań Lublin
2026-11-22
Senior Data Engineer
Capgemini Polska Sp. z o.o.
Katowice Wrocław Gdańsk Kraków Opole Poznań Warszawa Lublin
2026-11-22
Senior Database Engineer
XTB
Remote Warsaw Gdańsk Katowice Łódź Kraków Poznań
2026-11-22
AWS Databricks Platform Engineer
Xebia Sp. z o.o.
Warszawa Gdańsk Rzeszów Wrocław
2026-11-22