Средний/старший инженер по большим данным (в Palantir Foundry) в N-iX

Мы ищем активного инженера по большим данным среднего и старшего уровня, который присоединится к нашей энергичной команде! Вы будете играть решающую роль в проектировании, разработке и обслуживании сложных конвейеров данных, а также использовать инструменты Foundry, такие как Ontology, Pipeline Builder, репозитории кода и т. д. Идеальный кандидат должен обладать солидным опытом работы в облачных технологиях, архитектуре данных и страсть к решению сложных задач, связанных с данными.

Инструменты и навыки, которые вам понадобятся на этой должности: Palantir Foundry, Python, PySpark, SQL, базовый TypeScript.

Обязанности:

- Сотрудничать с межфункциональными командами для понимания требований к данным, а также проектировать, внедрять и поддерживать масштабируемые конвейеры данных в Palantir Foundry, обеспечивая завершение Комплексная целостность данных и оптимизация рабочих процессов.

– Собирайте и преобразуйте требования к данным в надежные и эффективные решения, используя свой опыт в облачной инженерии данных. Создавайте модели данных, схемы и блок-схемы для руководства разработкой.

- Разрабатывайте, внедряйте, оптимизируйте и поддерживайте эффективные и надежные конвейеры данных и процессы ETL/ELT для сбора, обработки и интеграции данных для обеспечения своевременного и точную доставку данных в различные бизнес-приложения, а также внедрение передовых методов управления данными и безопасности для защиты конфиденциальной информации.

- Отслеживайте производительность конвейера данных, выявляйте узкие места и внедряйте улучшения для оптимизации скорости обработки данных и сокращения задержек.< /p>

- Устранение неполадок и решение проблем, связанных с конвейерами данных, обеспечение непрерывной доступности и надежности данных для поддержки процессов принятия решений на основе данных.

- Будьте в курсе новых технологий и отраслевых тенденций, включая инновационные решения в практике обработки данных, а также эффективно документировать и распространять технические решения и процессы.

- Стремитесь знакомиться с новыми инструментами и технологиями.

< Strong>Требования:

- Опыт работы в области обработки данных более 4 лет;

- Уверенное знание Python и PySpark;

- Знание языков технологии больших данных (например, Apache Hadoop, Spark, Kafka, BigQuery и т. д.);

- Практический опыт работы с облачными сервисами (например, AWS Glue, Azure Data Factory, Google Cloud Dataflow);< /p>

- Опыт моделирования данных, хранилищ данных и концепций ETL/ELT;

- Практический опыт работы с системами баз данных (например, PostgreSQL, MySQL, NoSQL и т. д.);< /p>

- Эффективное решение проблем и аналитические навыки в сочетании с отличными коммуникативными способностями и навыками сотрудничества;

- Сильные коммуникативные способности и способности к командной работе;

- Понимание безопасности данных и передовые методы обеспечения конфиденциальности;

– Хорошие математические, статистические и алгоритмические навыки.

Приятно иметь:

- Сертификация по облачным платформам или смежным областям;

- OpenAI/любой другой опыт LLM API

- Знакомство с технологиями контейнеризации (например, Docker, Kubernetes);

– Базовое понимание HTTP для выполнения вызовов API;

– Знакомство с Palantir Foundry;

– Предыдущая работа или академический опыт работы с JavaScrip.t/TypeScript

Мы предлагаем:

- Гибкий формат работы – удаленно, в офисе или гибкий

- Конкурентоспособная зарплата и хороший компенсационный пакет

- Персональный карьерный рост

- Инструменты профессионального развития (программа наставничества, технические переговоры и тренинги, центры передового опыта и многое другое)< /p>

- Активные технологические сообщества с регулярным обменом знаниями.

- Оплата обучения.

- Памятные подарки к юбилею.

- Корпоративные мероприятия и тимбилдинги.

- p>

– Другие преимущества, зависящие от местоположения.