Senior Data Engineer

Dynata ищет Senior Data Engineer для создания и поддержки потоков данных, слоев преобразования и моделей, которые поддерживают их корпоративный lakehouse. Роль предполагает построение надежных решений ELT и ETL, работу как с пакетной, так и с потоковой обработкой, а также устранение таких проблем, как сбои пайплайнов и проблемы с производительностью. Она также включает интеграцию разных типов данных, улучшение физических и логических моделей данных вместе с data architects, настройку проверок качества данных и участие в code review и разработке инженерных стандартов. В объявлении указаны Apache Spark, Kafka, Flink, Delta Lake, Iceberg, SQL, PySpark, Great Expectations, dbt, Terraform, Helm, Airflow, Prefect, Dagster, AWS Glue, Azure Data Factory, GCP Dataflow, Git, CI/CD, Docker, Kubernetes, Databricks, Snowflake и Apache Hudi. Кандидаты должны иметь как минимум 6 лет опыта в data engineering и степень бакалавра в Computer Science, Engineering или смежной технической области. Необходимы сильные навыки Python, SQL и PySpark, а также опыт поставки решений в корпоративном масштабе. Роль удаленная и full-time. Она предназначена для опытных data engineer, которые могут взять на себя техническое лидерство и поддерживать менее опытных коллег через наставничество и обмен знаниями.