Привет! Меня зовут Константин Моксин, я руковожу командой роста базового качества в ML-лаборатории Yandex Infrastructure. Я ищу опытного ML-разработчика для улучшения качества наших агентов для работы с YQL и AI Code Review, которыми пользуются тысячи сотрудников Яндекса.
Yandex Code Assistant — продукт на основе больших языковых моделей (LLM), который помогает повышать эффективность разработки. Вот что мы развиваем:
- Агент-помощник в YQL — помогает писать запросы к таблицам и базам данных
- Кодовый агент в VS Code — помогает писать код, объяснять его, искать по внутренней документации и многое другое
- Code Completion — автодополнение кода на базе LLM
- AI Code Review — проверяет изменения в пул-реквестах и оставляет комментарии об ошибках и возможных оптимизациях
Какие задачи вас ждут
Рост качества агента в YQL (Yandex Query Language)
Каждый день тысячи аналитиков и разработчиков пишут запросы к данным: считают статистики, строят графики, делают DWH-пайплайны, грепают логи. Когда данных много и они сложно устроены, то написание запроса становится довольно непростой задачей.
Каждый день тысячи аналитиков и разработчиков пишут запросы к данным: считают статистики, строят графики, делают DWH-пайплайны, грепают логи. Когда данных много и они сложно устроены, то написание запроса становится довольно непростой задачей.
Агент встроен прямо в интерфейсы веб-сервисов YQL и YTsaurus, и топ-3 сценариев такие: почини ошибку в запросе («Fix with AI»), напиши или допиши запрос, вопросы о синтаксисе YQL/ClickHouse/YDB.
Примеры задач и внедрений:
- Для сценария «Fix with AI» документацию по ошибкам положили в отдельную векторную базу с текстовым эмбеддером — NDCG (top-1) по релевантности выросла с 0,49 до 0,91
- У одной из команд аналитиков собрано 400 примеров YQL-запросов для решения бизнес-задач — надо научить агента работать с этой базой, замерить качество, увидеть рост
- В 7% запросов не вызывался ключевой тул валидации кода, было много жалоб пользователей — поменяли формат в промпте, проблема ушла
- Улучшить качество генерации за счёт LoRA или RL — хотим увидеть рост качества на hard-задачах генерации
Рост качества AI Code Review
При создании пул-реквеста запускается автоматическая проверка изменений, результат отображается в интерфейсе Арканума — внутренней системы для код-ревью. Наша цель — сэкономить время автора изменений и ревьюера. Найти баги, опечатки, явные ошибки логики и, если уверены, сразу предложить фикс, который можно принять одной кнопкой. Проект на ранней стадии — можно сильно повлиять на его трек развития.
Примеры задач и внедрений:
- Придумать и сделать контур замера качества Code Review, а затем его провалидировать — гарантированные ухудшения должны быть таковыми и по метрикам
- Завести агента Code Review на нашем агентском бэкенде и настроить его: промпты, тулы, выбрать модель для инференса (одну или несколько) и в итоге превзойти legacу-решение по качеству (подсматривать в него можно и нужно)
- Научить агента оптимально учитывать явный контекст пользователя в виде skills.md
Развитие системы метрик и создание контуров замера
Метрики — наше всё! Если что-то не измеряется — то непонятно, как это развивать. Мы разрабатываем и используем офлайн-метрики для выбора лучших кандидатов на выкатку и A/B-тестирование, чтобы оценивать внедрение на рабочих задачах наших пользователей. Вас ждёт много аналитики и экспериментов.
Больше об ML в Яндексе — в канале Yandex for ML
Мы ждем, что вы
- Работали с ML-моделями (NLP, IR, RAG)
- Умеете планировать эксперименты и знаете, как измерить их успех
- Умеете писать продакшен-код на Python
- Знакомы с MapReduce, обработка терабайтов логов вас не пугает
Что мы предлагаем
1
Здоровье
2
Рост и развитие
3
Спорт
4
И ещё
Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.
А также:
- психотерапия в офисе или онлайн-сервисах;
- лазерная коррекция зрения через год работы;
- ведение беременности и роды — через два года.
Страховка для родственников по системе 80/20
Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.
В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.
Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника.
Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.
Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей.
Можете заниматься самостоятельно, а можете с корпоративным тренером.
А также скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.
Спортивный клуб Яндекса
В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях.
Вы сможете присоединиться к существующим командам или собрать свою.
Гибкий график
У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
Жилищные займы
Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
Всё для детей
Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.
Больше о нашей команде
Подписывайтесь на телеграм-канал Yandex Infrastructure, чтобы узнать больше о том, как мы делаем внутреннюю инфраструктуру Яндекса.
Все интересные вам вакансии в одном профиле
Войти и откликнуться
