Leitender Dateningenieur in Cybernetic Controls Ltd

Vor Kurzem war ich von Cybernetic Controls Ltd Aqib Shah Rekrutierungsleiter bei Cybernetic Controls | Fernbesetzung | Talent auf Abruf Überblick Bei Cybernetic Controls Limited (CCL) haben wir uns der weltweiten Führungsrolle bei der Bereitstellung innovativer digitaler Lösungen verschrieben, die es Unternehmen ermöglichen, ihr volles Potenzial auszuschöpfen. Als Remote-First-Unternehmen glauben wir daran, unsere Mitarbeiter in die Lage zu versetzen, so zu arbeiten, wie es ihren individuellen Bedürfnissen am besten entspricht, und eine Kultur der Flexibilität und des Vertrauens zu fördern. Seit unserer Gründung im Jahr 2020 stellen wir unseren Kunden im FinTech-Bereich in verschiedenen Geschäftsbereichen erfolgreich hochwertige Ressourcen zur Verfügung. Weitere Informationen finden Sie auf der Website von Cybernetic Controls. Unser Kunde: Wir sind ein mehrfach preisgekröntes RegTech-Unternehmen mit der Mission, die Qualität der regulatorischen Berichterstattung in der Finanzdienstleistungsbranche zu verändern. Wir haben regulatorisches Fachwissen mit fortschrittlicher Technologie kombiniert, um unsere marktführenden Qualitätssicherungsdienste zu entwickeln. Einige der weltweit größten Investmentbanken, Vermögensverwalter, Hedgefonds und Broker nutzen unsere Dienstleistungen als Einzige, da sie in der Lage sind, die Datenqualität vollständig zu bewerten. Sie helfen ihnen dabei, Kosten zu senken, die Qualität zu verbessern und das Vertrauen in ihre aufsichtsrechtliche Berichterstattung zu stärken. Stellenübersicht Unser Kunde sucht einen Senior Data Engineer zur Verstärkung unseres schnell wachsenden Teams. Der erfolgreiche Kandidat wird dem Testteam beitreten, um an ETL- und Entwicklungsaufgaben zu arbeiten. Dies ist eine spannende und herausfordernde Gelegenheit, neue Pipelines aufzubauen, die große Mengen strukturierter Daten aus verschiedenen Quellen mit der Leistung von PySpark kombinieren und verarbeiten. Hauptaufgaben: Architektur und Aufbau von Pipelines mithilfe von AWS-Cloud-Computing-Lösungen, die Daten verfügbar machen mit Robustheit, Wartbarkeit, Effizienz, Skalierbarkeit, Verfügbarkeit und Sicherheit. Entwickeln Sie Python- und/oder Spark-Code (vorzugsweise PySpark, aber Spark-Scala ist auch gut), der komplexe Datentransformationen implementiert. Entwerfen und pflegen Sie Datenbanken und APIs für die Speicherung und Übertragung von Daten zwischen Anwendungen. Überwachen Sie Pipelines in der Produktion (und entwickeln Sie Tools, um dies zu erleichtern). Arbeiten Sie mit anderen Teammitgliedern zusammen (Brainstorming, Fehlerbehebung und Codeüberprüfung). Arbeiten Sie mit anderen Entwicklungsteams zusammen, um die Integrität von Datenpipelines sicherzustellen.Fähigkeiten, Wissen und Fachwissen:Fähigkeiten:Ausgezeichnete Python- und PySpark-Programmierung (einschließlich Pandas/PySpark-Datenrahmen, Web- und Datenbankverbindungen) Hervorragendes Verständnis der ETL-Prozesse innerhalb von Amazon Web Services (AWS) Apache Spark, AWS Glue, Athena, S3, Step Functions, Lake Formation Best Practices für den Lebenszyklus der Softwareentwicklung Testgetriebene Entwicklung Serverloses Computing (AWS Lambda, API Gateway, SQS, SNS, EventBridge, S3 usw.) SQL- und NoSQL-Datenbankdesign und verwaltenement (DynamoDB, MySQL) Ausgeprägte SQL-Codierungskenntnisse (Spark-SQL, Presto SQL, MySQL usw.) Infrastruktur als Code (CloudFormation) Erfahrung in Shell Scripting (vorzugsweise Linux) Versionskontrolle mit Git/Github Agile Prinzipien, Prozesse und ToolsAusgezeichnet geschrieben und verbale Kommunikationsfähigkeiten. Erfahrung: Entwerfen, Bereitstellen und Verwalten komplexer Produktionsdatenpipelines, die mit einer Reihe von Datenquellen (Dateisysteme, Web, Datenbank, Benutzer) interagieren. Umfangreiche Erfahrung mit Amazon Web Services (AWS). 5 Jahre Arbeit im Bereich Data Engineering. Mindestens 2 Jahre Erfahrung mit PySpark- und AWS-Datentools (insbesondere Glue). Kenntnisse: Datenmodellierung, Datenpipeline-Architektur, Big-Data-Implementierung. Best Practices für den Softwareentwicklungslebenszyklus. Finanzielle Kenntnisse wären von Vorteil. Qualifikationen/Ausbildung: Bachelor-Abschluss oder gleichwertiger Abschluss in Informatik oder einem verwandten Fach. Zeig mehr Zeige weniger Typ зайнятості Erster Robotertag