Team lead data engineers/Руководитель разработки признаков ML-моделей рисков
Чем предстоит заниматься
- Руководство командой Data Engineers: постановка целей, распределение задач, менторинг и контроль качества выполнения.
- Проектирование, реализация и сопровождение ETL/ELT-процессов на базе Airflow, Hadoop, PySpark, Python.
- Разработка и оптимизация высоконагруженных приложений обработки данных, профилирование и устранение узких мест.
- Настройка и поддержка отказоустойчивых пайплайнов данных с контролем качества, ретраями и SLA.
- Проведение code review, внедрение стандартов разработки и практик тестирования, участие в принятии архитектурных решений.
- Поддержка и развитие хранилищ данных.
- Взаимодействие с заказчиками и разработчиками: интеграция источников данных, формирование требований, согласование SLA.
- Ведение процессов и коммуникаций в Jira: контроль прогресса, отражение статуса задач, поддержка прозрачности работы команды.
Наши пожелания к кандидатам
- Python - уверенное знание структур данных и алгоритмов, применение принципов ООП и ФП, опыт написания тестируемого и поддерживаемого кода, использование библиотек для обработки и анализа данных (pandas, numpy), навыки отладки и профилирования приложений.
- PySpark - опыт разработки и оптимизации распределённых приложений обработки данных, уверенное знание ключевых трансформаций и действий, умение управлять разделами (partitions), использовать broadcast join и другие техники оптимизации, опыт профилирования приложений Spark.
- Apache Airflow - уверенное владение DAG-ориентированным подходом, опыт проектирования сложных ETL/ELT-процессов, настройка SLA, ретраев и сенсоров, интеграция с внешними системами, мониторинг и отладка пайплайнов.
- Hadoop - знание принципов работы HDFS и YARN, управление ресурсами и квотами, понимание влияния параметров конфигурации на производительность и отказоустойчивость.
- SQL и базы данных - опыт написания сложных SQL-запросов с использованием аналитических оконных функций, оптимизация запросов под большие объёмы данных.
- Опыт промышленной эксплуатации высоконагруженных систем обработки данных, включая настройку мониторинга, алертинга и автоматического восстановления пайплайнов.
- Опыт проведения code review: умение выявлять потенциальные узкие места, давать конструктивную обратную связь и внедрять стандарты качества кода.
- Управленческий опыт: руководство командой от 3 человек, планирование и приоритизация задач, наставничество, развитие сотрудников, участие в performance review.
- Опыт организации рабочих процессов в Jira: настройка workflow, ведение спринтов, работа с backlog и контроль статусов задач.
Что мы предлагаем
- Стабильную работу в одном из крупнейших банков страны
- Сильное DS community, большое разнообразие рабочих и внерабочих активностей. telegram: @aaanalytics
- Конкурентную заработную плату, соцпакет.
- Условия для роста и развития (в т.ч. конференции, тренинги, внутренние программы развития).
- Дружный коллектив единомышленников (все специалисты, занимающиеся машинным обучением объединены одним департаментом для максимально плотного и продуктивного обмена знаниями).
- Передовой стек технологий, высокопроизводительное оборудование.
- Возможность решать разнообразные прикладные задачи с выводом в промышленную эксплуатацию, возможность существенно влиять на результат (в т.ч. в бизнес-смысле) и способы его достижения (вплоть до внесения изменений в архитектуру).
- Квартальный бонус по результатам работы;
- ДМС, страхование жизни;
- корпоративное обучение;
Как с нами связаться
По всем интересующим вопросам обращайтесь к сотруднику отдела по подбору персонала: Пономарева Анастасия Сергеевна
APONOMAREVA7@ALFABANK.RUОткликнуться на вакансию
Расскажите нам о себе, и мы обязательно свяжемся с вами