senior big data engineer в Ohires

В качестве старшего инженера по данным вы будете работать с командой над созданием современных решений, основанных на данных и аналитике, работающих на разных платформах, используя как локальные, так и платформенные инструменты и технологии для работы с большими данными. Вы будете частью команды инженеров данных, отвечающей как за AI, так и за ML, разрабатывающих интерфейсы / конвейеры данных, обычно включающие большие и сложные наборы данных.

Что ты будешь делать:

Вдумчивое решение проблем: для вас решение проблем начинается с четкого и точного понимания контекста. Вы можете разложить сложные проблемы и работать над чистым решением самостоятельно или с товарищами по команде. Вам удобно просить о помощи, когда вы застряли.

Отвечает за создание данных и аналитических инженерных решений со стандартным сквозным проектированием и шаблонами ETL, внедрением конвейеров данных, моделированием данных, потреблением данных и оптимизацией запросов.

Отвечает за обеспечение доступа к данным в провайдерах, таких как уровни хранения AWS и преобразования в хранилище данных AWS, а также за дальнейшую транспортировку в соответствующие базы данных, потребителей, витрины данных и т. д.

Продемонстрировать знание веб-фреймворков, таких как Flask или Django, а также фреймворков интеграции данных, таких как dbt.

Опыт работы с крупномасштабными производственными средами, включая инфраструктуры восстановления и устойчивости. Выявление последующих последствий загрузки/миграции данных (например, качество данных, нормативные требования и т. д.)

Требования:

• Требуется не менее 4 лет аналогичного опыта работы с базами данных, хранилищами данных, ETL и платформой AWS.

• Опыт локального развертывания и использования , Dockers, Jenkins

• Опыт работы с технологическими стеками, такими как ELK, Sentry, AirFlow.

• Обеспечивает результаты при работе над краткосрочными (недели-месяцы) сервисными обязательствами, ориентированными на результат.

• Формулирует ценностное предложение существующих технологических возможностей и сопоставляет их с требованиями заказчика, чтобы свести к минимуму дополнительные затраты на разработку.

• Опыт работы с локальным хранилищем данных (Teradata) — многомерное моделирование и моделирование данных. Опыт работы в одной из ETL, таких как Informatica

• Владение языками запросов и программирования, такими как NodeJS.

• Удобная работа с такими ОС, как Linux и сценарии оболочки.

• Опыт работы в области вычислений, хранения и обработки, связанных с AWS (S3, Glue, Lambda, Redshift, Dynamo DB, Athena, Sagemaker).

О вебсмайле

Websmile предоставляет комплексные и расширенные услуги компаниям, которые хотят приобрести продукт и стремятся к успеху и продвижению в цифровом мире, ставя при этом четкие краткосрочные и долгосрочные цели. Мы являемся экспертами в разработке передовых систем на основе технологий с открытым исходным кодом. Мы предоставляем комплексные комплексные услуги веб-разработки в соответствии с потребностями наших клиентов.

Наши офисы расположены в Израиле и Украине