Мы компания QuadCode, мы разрабатываем трейдинговую SaaS-платформу для клиентов по всему миру. В связи с расширением отдела Data Platform ищем Data Engineer.
Стек: Greenplum/Hadoop/Clickhouse в качестве ядра обработки данных и множество дополнительных БД (Redis, Cassandra, Postgress, MySQL)
Собственные решения на базе Apache Airflow и Apache Flink в качестве инструментов трансформации данных для аналитиков.
БУДУЩИЕ ЗАДАЧИ:
внедрение и развитие культуры написания оптимальных запросов;
консультирование внутренних команд разработки по ETL-процессам;
автоматизация рабочих процессов;
развитие стратегических аспектов DWH (data governance, data lineage, metadata, data security);
исследование и внедрение новых технологий (R&D) для решения стратегических бизнес-целей компании.
НАШИ ОЖИДАНИЯ ОТ КАНДИДАТА (общий опыт работы с большинством технологий от 3-х лет):
Airflow;
DBT;
Clickhouse;
опыт работы с разными СУБД (PostgreSQL/Oracle/MySQL/Redis/Cassandra);
опыт работы с MPP-системами (Greenplum/Teradata/Snowflake);
Kafka;
Ansible;
опыт работы с терминалом;
Shell programming;
Linux knowledge;
Python;
SQL (PL/pgSQL);
Git;
понимание теории СУБД и ETL-процессов (ACID transactions, Normalization, CAP theorem, OLTP vs OLAP, Horizontal vs Vertical scaling, Dimensional modeling);
понимание принципов работы и применимость разных структур данных и алгоритмов.
БУДЕТ ПРЕИМУЩЕСТВОМ:
LDAP (Open LDAP/Active directory);
GitLab CI/CD;
Tableau;
Cassandra;
Apache Flink;
Apache Hive;
Apache Hadoop;
Apache Presto;
Apache Spark;
Prometheus;
Grafana.
УСЛОВИЯ:
Возможная релокация после ИС;
Официальное оформление и белая зп;
Компенсация обедов и спорта;
ДМС;
Обучения;
Курсы английского;
Подарки на годовщины работы в компании;
Насыщенная корпоративная жизнь;
Удобный комфортный график;
Удаленка/офис по желанию.
Вакансия в архиве. Посмотрите другие вакансии в ленте.