Data Engineer в команду графов кластера «Data Science и клиентская аналитика»

Буду делать

В команду графов кластера «Data Science и клиентская аналитика» корпоративного блока Сбербанка мы ищем специалистов по работе с данными. Часть команды уже функционирует в московском офисе, в Санкт-Петербурге набирается новая команда. Вам предстоит работать с графами связей, строить витрины данных, использующиеся для построения моделей и автоматизации, применять алгоритмы машинного обучения для построения моделей.

Функциональные обязанности:

Обеспечения сбора и организация процесса загрузки данных в аналитические системы, включая получение структурированных и не структурированных данных из различных источников, подготовку, очистку и предобработку данных из внешних источников, построение агрегатов

     Исследование источников данных

     Создание алгоритмов загрузки данных в витрины

Написание функций и хранимых процедур для преобразования и агрегации данных

Настройка первичной обработки данных от источников (очистка, обогащение и т.д.)

Управление качеством данных

Разработка новых витрин/объектов исходя из требований аналитиков данных

Ждем от тебя

Навыки и опыт работы:

Опыт работы по направлению от 2 лет

Хорошее знание SQL: индексы и их применение, написание хранимых процедур, создание витрин (желателен опыт оптимизации)

Python, знание стандартных структур данных python

Понимание процессов ETL, ELT

Как преимущество

Опыт работы с Teradata

Знание Spark, PySpark, особенности написания кода для стека Hadoop, Spark, использование UDF

Знание особенностей программирования в распределённых системах

Опыт работы с noSql базами

Предлагаем

Полный рабочий день

Достойная заработная плата (оклад + квартальные и годовые премии)

Современные рабочие места и программное обеспечение

ДМС, корпоративная пенсионная программа

Возможность посещения конференций, обучений и сертификации за счет компании

Программа льготного кредитования в Сбербанке

Дисконт-программы от множества компаний партнеров