Data engineer

Opis stanowiska

• Projektowanie i wdrażanie skutecznych procesów ETL i ELT dla operacyjnych składnic danych.
• Analiza danych i tworzenie modeli logicznych oraz fizycznych.
• Optymalizacja zapytań SQL w środowiskach relacyjnych i hurtowianych, zarówno lokalnych, jak i chmurowych (GCP).
• Tworzenie przepływów danych, zarówno offline jak i strumieniowych.
• Projektowanie i implementacja datamartów tematycznych w bazach relacyjnych i kolumnowych.
• Projektowanie oraz wdrażanie nowych rozwiązań technologicznych zgodnie z potrzebami biznesowymi.
• Analiza i rozwiązywanie problemów technicznych oraz wsparcie procesu testów i wdrażania nowych rozwiązań.
• Tworzenie skryptów i aplikacji do ładowania danych z użyciem Pythona.
• Praca w metodologii DevOps.

Wymagania

• Co najmniej 2 lata doświadczenia na podobnym stanowisku.
• Biegłość w narzędziach ETL, zwłaszcza Informatica Power Center.
• Znajomość i doświadczenie w technologiach Google Cloud Platform (GCP), w tym BigQuery, Pub-Sub, Anthos i Cloud Storage Buckets.
• Umiejętność programowania w Pythonie, ze znajomością jednego z frameworków (Flask, Django).
• Doświadczenie w projektowaniu i tworzeniu baz danych relacyjnych (np. PostgreSQL, Oracle).
• Doświadczenie w pracy w środowisku Linux i środowisku chmurowym GCP, w tym z narzędziami takimi jak Cloud SQL i Kubernetes.
• Znajomość narzędzi harmonogramujących jak Apache Airflow czy AutomateNow.
• Doświadczenie w pracy z dużymi zbiorami danych (przynajmniej 100 TB).

Oferujemy