Senior Data Engineer/ Databricks, PySpark, Python

EPAM Systems LLC ищет старшего инженера по данным с опытом работы в Databricks, PySpark и Python для участия в проекте, связанном со сбором, обработкой и анализом телеметрических данных автомобилей для известного европейского автопроизводителя. В обязанности входит управление крупномасштабной платформой, обрабатывающей десятки терабайт данных в Azure Databricks, а также контроль за примерно 200 заданиями Databricks. В настоящее время основное внимание уделяется поддержанию и развитию решения, которое уже развернуто в нескольких регионах, включая Европу, Северную Америку и Китай, с планами дальнейшего расширения в Китае. Критически важным аспектом этой должности является обеспечение масштабируемости системы при поддержании предсказуемых затрат на инфраструктуру и эксплуатацию. Должность полная и расположена в штате Джорджия. Эта возможность идеально подходит для кандидатов с значительным опытом в области инженерии данных и крепким фоном в указанных технологиях.