Середній/старший інженер з великих даних (з Palantir Foundry) в N-iX

Ми шукаємо проактивного інженера середнього+/старшого рівня для великих даних, який приєднається до нашої енергійної команди! Ви відіграватимете важливу роль у проектуванні, розробці та підтримці складних конвеєрів даних, а також у використанні інструментів Foundry, таких як Ontology, Pipeline Builder, Code Repositories тощо. Ідеальний кандидат матиме надійний досвід у хмарних технологіях, архітектурі даних та пристрасть до вирішення складних проблем із даними.

Інструменти та навички, які ви використовуватимете в цій ролі: Palantir Foundry, Python, PySpark, SQL, базовий TypeScript.

Обов’язки:

- Співпраця з міжфункціональними командами для розуміння вимог до даних, а також проектування, впровадження та обслуговування масштабованих конвеєрів даних у Palantir Foundry, забезпечуючи кінець -цілісність даних і оптимізація робочих процесів.

- Збирайте та перетворюйте вимоги до даних у надійні та ефективні рішення, використовуючи свій досвід у розробці даних у хмарі. Створюйте моделі даних, схеми та діаграми потоків, щоб спрямовувати розвиток.

- Розробляйте, впроваджуйте, оптимізуйте та підтримуйте ефективні та надійні канали даних і процеси ETL/ELT для збору, обробки та інтеграції даних для забезпечення своєчасного та точна доставка даних до різних бізнес-додатків із застосуванням найкращих методів керування даними та безпеки для захисту конфіденційної інформації.

- Відстежуйте продуктивність конвеєра даних, виявляйте вузькі місця та впроваджуйте вдосконалення для оптимізації швидкості обробки даних і зменшення затримки.< /p>

- Вирішуйте проблеми, пов’язані з конвеєрами даних, забезпечуючи постійну доступність і надійність даних для підтримки процесів прийняття рішень на основі даних.

- Будьте в курсі нових технологій і галузевих тенденцій, включаючи інноваційні рішення для методів розробки даних, а також ефективно документувати та передавати технічні рішення та процеси.

- Прагніть ознайомитись із новими інструментами та технологіями

< strong>Вимоги:

- 4+ роки досвіду в інженерії даних;

- високе знання Python і PySpark;

- знання з технології великих даних (наприклад, Apache Hadoop, Spark, Kafka, BigQuery тощо);

- Практичний досвід роботи з хмарними службами (наприклад, AWS Glue, Azure Data Factory, Google Cloud Dataflow);< /p>

- Досвід у моделюванні даних, сховищах даних і концепціях ETL/ELT;

- Практичний досвід роботи з системами баз даних (наприклад, PostgreSQL, MySQL, NoSQL тощо);< /p>

- Ефективне вирішення проблем і аналітичні навички в поєднанні з відмінними здібностями до спілкування та співпраці;

- Сильні комунікативні здібності та здібності до командної роботи;

- Розуміння безпеки даних і найкращі методи конфіденційності;

- Хороші математичні, статистичні та алгоритмічні навички.

Приємно мати:

- Сертифікація з хмарних платформ або суміжних областей;

- OpenAI/будь-який інший досвід LLM API

- Знайомство з технологіями контейнеризації (наприклад, Docker, Kubernetes);

- Базове розуміння HTTP для здійснення викликів API;

- Знайомство з Palantir Foundry;

- Попередня робота або академічний досвід роботи з JavaScript / TypeScript

Ми пропонуємо:

- Гнучкий формат роботи – віддалений, офісний або гнучкий

- Конкурентоспроможна зарплата та хороший компенсаційний пакет

- Персоналізований кар'єрний ріст

- Інструменти професійного розвитку (програма наставництва, технічні бесіди та тренінги, центри передового досвіду тощо)< /p>

- Активні технічні спільноти з регулярним обміном знаннями

- Компенсація за освіту

- Пам’ятні подарунки до річниці

- Корпоративні заходи та формування команди

- p>

- Інші переваги залежно від місця розташування