Data Platform Engineer (NRT/Spark)
Финтех в Яндексе — это одно из ключевых и наиболее динамично развивающихся направлений компании. Это экосистема финансовых сервисов, встроенная в повседневную жизнь миллионов пользователей и бизнесов. Это молодое, смелое направление, которое уже доказало свою пользу и продолжает активно расти.
Ключевые продукты Финтеха: Яндекс Пэй, Сплит, Сейвы, Карта Плюса, кредитные продукты, Яндекс ID, Яндекс Про и многое другое.
Это сложная инженерная и аналитическая среда, где пересекаются высокая нагрузка, большие данные и жёсткие требования регуляторов.
В команду платформенных данных требуется специалист по Apache Spark с глубоким понимаем внутренней архитектуры фреймворка. Основная задача — развитие платформы для обработки NRT-данных (near real time), повышение отказоустойчивости и производительности потоковых процессов.
Вот с чем вам предстоит столкнуться:
- Высокие нагрузки: миллионы транзакций, таблицы с объёмом далеко за 1 млн записей
- Распределённые данные: используются Greenplum, ClickHouse, Hadoop, Spark для обработки огромных массивов информации
- Архитектура DWH: строятся сложные хранилища данных, витрины для отчётности (регуляторной и управленческой), настраиваются ETL-процессы
- Безопасность и интеграция: проработка интеграций с внешними источниками (БКИ, СМЭВ), автоматизация ручных процессов бэк-офиса, работа с автоматизированными банковскими системами
Стек для ежедневных задач:
- Язык: Python (основной для разработки пайплайнов и скриптов)
- Оркестрация: Apache Airflow (разработка пайплайнов)
- Обработка данных: Apache Spark (Spark SQL, DataFrame)
- Запросы: Trino (работа с данными через движок)
Подробнее о нас — на странице Финтеха.
Какие задачи вас ждут
Проектирование и развитие облачной дата-платформы
Мы готовимся к кратному росту объёмов обрабатываемых данных. Вы будете оптимизировать инфраструктуру и проектировать новые компоненты платформы с использованием облачных технологий Yandex Cloud.
Мы готовимся к кратному росту объёмов обрабатываемых данных. Вы будете оптимизировать инфраструктуру и проектировать новые компоненты платформы с использованием облачных технологий Yandex Cloud.
Построение единой observability-платформы для таблиц DWH
Мы обеспечиваем наблюдаемость и контролируемость процессов. Вам предстоит создать единую точку входа для мониторинга статусов сборки, качества данных и анализа зависимостей, включая построение datalineage и процессы логирования.
Ускорение текущих процессов поставки данных
Наша задача — ускорить обработку растущих потоков данных. Вы будете оптимизировать существующие и выстраивать новые надёжные процессы поставки данных, включая процессы взятия снепшотов, загрузки инкрементов напрямую, из аудит-таблиц и CDC, а также внедрять Spark Streaming или аналогичные решения для обеспечения обновления данных с минимальной задержкой.
Построение тестовых окружений
Мы выстраиваем среду безопасной разработки и повышаем надёжность разрабатываемых решений. В ваши задачи войдёт создание изолированных сред разработки, тестирования и предпрода с автоматизированными процессами проверки.
Развитие фреймворков обработки данных
Для ускорения разработки мы создаём low-code-решения. Вам предстоит развивать внутренние фреймворки для загрузки, трансформации и контроля качества данных.
Больше о разработке в Яндексе — в канале Yandex for Developers
Мы ждем, что вы
- Занимались коммерческой разработкой от четырёх лет
- Глубоко понимаете устройство баз данных: оптимизация запросов, планы выполнения, партиционирование, шардирование и индексы
- Владеете СУБД разного типа: PostgreSQL, Oracle, MongoDB, Greenplum
- Имеете опыт работы с CDC (Change Data Capture): понимаете принципы и умеете реализовывать пайплайны
- Уверенно работаете с S3-совместимыми хранилищами
Что мы предлагаем
1
Здоровье
2
Рост и развитие
3
Спорт
4
И ещё
Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.
А также:
- психотерапия в офисе или онлайн-сервисах;
- лазерная коррекция зрения через год работы;
- ведение беременности и роды — через два года.
Страховка для родственников по системе 80/20
Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.
В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.
Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника.
Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.
Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей.
Можете заниматься самостоятельно, а можете с корпоративным тренером.
А также скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.
Спортивный клуб Яндекса
В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях.
Вы сможете присоединиться к существующим командам или собрать свою.
Гибкий график
У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
Жилищные займы
Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
Всё для детей
Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.
Все интересные вам вакансии в одном профиле
Войти и откликнутьсяWed Aug 07 2024 14:43:03 GMT+0300 (Moscow Standard Time)
