Data engineer / Spark developer

Sber AI Lab занимается как научной деятельностью, так и разработкой наукоемких технологий в области финансов, экономики, рекомендательных систем и проч. В частности, в лаборатории активно разрабатываются фреймворки для машинного обучения, значительная часть которых доступна в опенсорс. На текущий момент в Лаборатории существуют направления: инструментов машинного обучения, AI в медицине, прикладного машинного обучения, технологий глубинного обучения, на которые мы ищем специалистов Data Engineers уровня Middle и Senior. Наша команда состоит из специалистов с опытом в известных IT-компаниях, мастеров Kaggle, ученых с публикациями на ведущих конференциях (NIPS, ICML, KDD, RecSys).

Чем вы будете заниматься:

• Разработка пайплайнов по обработке данных.
• Подготовка датасетов из больших массивов сырых данных, первичный анализ данных.
• Выявление артефактов в данных;
• Инженерная часть разработки наукоемких технологий в части инжиниринга данных;
• Взаимодействие с прикладными командами банка по внедрению технологий, разработанных лабораторией;
• Организация инфраструктуры хранения данных для исследований

• Опыт работы с Apache Spark обязателен
• Хорошее знание Python (в т.ч. опыт работ с какими-то из Python фреймворков по подготовке данных (Pandas, NumPy, SciPy, PySpark),
• Опыт разработки от 1 года.
• Высокая техническая грамотность (алгоритмический базис)
• Понимание основ machine learning или deep learning
• Знание Java/Scala или С++ будут плюсом
• Знание SQL
• Опыт работы с MPP GreenPlum будет преимуществом
• Умение анализировать научную литературу, разбираться в незнакомой теме
• Желание заниматься инженерной и инфраструктурной стороной проблемы
• Scripting (bash/powershell) обязателен, поднимать и настраивать сервера в облачных средах часто приходится самостоятельно
• Опыт разработки под Linux среды (Ubuntu, RedHat) обязателен
• Знание систем контроля версий, опыт коллективный разработки. У нас Git (BitBucket внутри сети банка и GitHub/GitLab в остальных случаях)
• Опыт с системами версионирования данных типа DVC является плюсом

• Гибрид (значительная часть работы связана с подготовкой ПО для инфраструктуры банка);
• Высококвалифицированный коллектив;
• Конкурентный уровень заработной платы, а также годовые премии по результатам работы;
• Участие в развитии и создании OpenSource продуктов, а также возможность совмещать работу с соревнованиями на Kaggle и написанием научных статей;
• Корпоративное обучение, льготные условия кредитования, бесплатный спортзал и другие плюшки;
• Современные рабочие места и программное обеспечение;
• ДМС, корпоративная пенсионная программа, страхование от несчастных случаев, социальные гарантии, корпоративные мероприятия;
• Комфортный офис Sbergile Home с оупенспейсами, лаунж зонами, кафе, рестораном и оборудованными кухнями;
• Локация: м. Кутузовская.