Data engineer

О вакансии

Задачи: разработки и поддержки витрин данных в Hadoop (HDFS, Icberg, Hive), ETL - Spark, CTL - Oozie, CI/CD - Jenkins + BitBucket. И NRT пайплайны, Kafka, dynamic tables. языки - Python, Java, Scala. Обязанности разработка DWH/DataLake/LakeHouse построение поставки данных в Batch/NRT/RealTime оптимизация ETL повышение актуальности данных снижение latency доступа к данным разработка и валидация архитектуры данных Требования отличное знание SQL (join, CTE, оконные функции, фреймы и др.) опыт работы с Hadoop, Spark, Iceberg/Paimon опыт работы с Kafka и др.