Старший специалист направления мониторинга качества моделирования
Чем предстоит заниматься
Ищем аналитика в проект по созданию цензор-модуля — системы автоматической фильтрации нежелательного контента в генерации LLM. Модуль будет интегрирован в ключевые продукты банка — от виртуальных помощников до внутренних чат-ботов. Проект только запустился, поэтому будет возможность влиять на ход принятия решений. Зона ответственности — контроль качества и стабильности ML-сервисов цензор-модуля, построенных на базе LLM. На начальных этапах упор будет на работу с текстом, в будущем скорее всего придем и к работе с изображениями. Работа на стыке анализа данных, построения мониторинга, общения с разработкой и бизнесом. Ищем человека, который не просто «мониторит графики», а понимает, что происходит под капотом у моделей, умеет ставить гипотезы и проверять их на практике, готов копаться в логах, пайплайнах и коде.
- Опыт в валидации, разработке или мониторинге NLP-моделей;
- Уверенное владение Python и SQL;
- Опыт работы с BI-инструментами;
- Опыт работы с Hadoop/Spark/Hive — важно;
- Понимание принципов работы LLM: от архитектур до особенностей inference;
- Умение формулировать гипотезы и проверять их на данных;
- Навыки постановки бизнес-требований, описание процессов.
- Опыт в мониторинге ML-моделей;
- Участие в разработке или аудите LLM;
- Понимание базовых принципов MLOps или построения data-инфраструктуры;
- Участие в ML-соревнованиях, Kaggle-контестах, публикации, pet-проекты.
Наши пожелания к кандидатам
- Мониторинг систем автоматической генерации текста и изображений с использованием продвинутых подходов в аналитике и мат статистике;
- Участие в проектировании и запуске систем контроля качества генерации;
- Построение и автоматизация пайплайнов для мониторинга моделей;
- Разработка метрик, визуализаций, алертов;
- Анализ отклонений, формулирование гипотез, тестирование и обсуждение с разработкой;
- Сбор, агрегация и интерпретация логов работы моделей;
- Работа в связке с продуктом, DS, разработкой и бизнесом.
Что мы предлагаем
- Минимум бюрократии — фокус на суть;
- Работа с живыми LLM в реальных продуктах;
- Карьерный рост: пересмотр зарплат раз в год;
- Квартальный бонус по результатам работы;
- ДМС со стоматологией с первого дня работы + 10 дней полной компенсации больничного;
- Стабильную работу в одном из крупнейших банков страны;
- Конкурентную заработную плату, соцпакет;
- • Условия для роста и развития (в т.ч. конференции, тренинги, внутренние программы развития).
Как с нами связаться
По всем интересующим вопросам обращайтесь к сотруднику отдела по подбору персонала: Пономарева Анастасия Сергеевна
APONOMAREVA7@ALFABANK.RUОткликнуться на вакансию
Расскажите нам о себе, и мы обязательно свяжемся с вами