senior big data engineer in Ohires

Als Senior Data Engineer arbeiten Sie mit dem Team zusammen, um hochmoderne daten- und analysegesteuerte Lösungen zu erstellen. Dabei arbeiten Sie plattformübergreifend und nutzen sowohl On-Premise- als auch Plattform-Tools und Big-Data-Tools und -Technologien. Sie werden Teil eines Data-Engineering-Teams sein, das sowohl für die KI- als auch für die ML-Entwicklung von Schnittstellen/Datenpipelines verantwortlich ist, die typischerweise große, komplexe Datensätze umfassen.

Was werden Sie tun:

Durchdachte Problemlösung: Für Sie beginnt die Problemlösung mit einem klaren und genauen Verständnis des Kontexts. Sie können knifflige Probleme zerlegen und auf eine saubere Lösung hinarbeiten, alleine oder mit Teamkollegen. Es ist für Sie kein Problem, um Hilfe zu bitten, wenn Sie nicht weiterkommen.

Verantwortlich für den Aufbau von Daten- und Analysetechniklösungen mit standardmäßigen End-to-End-Design- und ETL-Mustern, die Implementierung von Datenpipelines, Datenmodellierung, Datenverbrauch und Abfrageoptimierung.

Verantwortlich für die Ermöglichung des Zugriffs auf Daten in Anbietern wie AWS-Speicherschichten und Transformationen im AWS Data Warehouse sowie für den weiteren Transport in entsprechenden Datenbanken, Verbrauchern, Data Marts usw.

Demonstrieren Sie Kenntnisse über Web-Frameworks wie Flask oder Django sowie Datenintegrations-Frameworks wie dbt.

Erfahrung mit hochvolumigen Produktionsumgebungen, einschließlich Wiederherstellungs- und Ausfallsicherheitsinfrastrukturen. Identifizieren Sie nachgelagerte Auswirkungen von Datenlasten/-migrationen (z. B. Datenqualität, Vorschriften usw.)

Anforderungen:

• Mindestens 4+ Jahre vergleichbare Erfahrung in der Arbeit mit Datenbanken, Data Warehouse, ETL und AWS-Plattformen sind erforderlich

• Erfahrung im Bereitstellungsprozess vor Ort und unter Verwendung von Dockers und Jenkins

• Erfahrung mit Technologie-Stacks wie ELK, Sentry, AirFlow

• Liefert Ergebnisse bei der Arbeit an kurzfristigeren (Wochen-Monate), ergebnisorientierten Serviceeinsätzen

• Formuliert das Wertversprechen bestehender Technologiefunktionen und ordnet sie den Kundenanforderungen zu, um die inkrementellen Entwicklungskosten zu minimieren

• Erfahrung in der Arbeit mit On-Premise (Teradata) Data Warehouse – Dimensions- und Datenmodellierung. Erfahrung in einem ETL-Bereich wie Informatica

• Beherrscht Abfrage- und Programmiersprachen wie NodeJS

• Komfortables Arbeiten mit Betriebssystemen wie Linux und Shell-Scripting

• Erfahrung in der Arbeit mit AWS-bezogener Datenverarbeitung, Speicherung und Verarbeitung (S3, Glue, Lambda, Redshift, Dynamo DB, Athena, Sagemaker)

Über Websmile

Websmile bietet umfassende und fortschrittliche Dienstleistungen für Unternehmen, die sich für ein Produkt entscheiden und danach streben, in der digitalen Welt erfolgreich zu sein und voranzukommen, während sie sich gleichzeitig klare kurz- und langfristige Ziele setzen. Wir sind Experten für die Entwicklung fortschrittlicher Systeme auf Basis von Open-Source-Technologien. Wir bieten komplexe End-to-End-Webentwicklungsdienste entsprechend den Bedürfnissen unserer Kunden an.

Unsere Büros befinden sich in Israel und der Ukraine