Leitender Softwareentwickler (Scraping) in Competera

Senior Software Engineer (Scraping) In Competera bauen wir einen Ort, an dem optimale Preisentscheidungen leicht getroffen werden können. Wir glauben, dass KI-Technologien bald alle schwierigen Entscheidungen vorantreiben werden und in der Lage sind, Menschen dabei zu helfen, besser zu werden. Wir sind jetzt auf der Suche nach einem Senior Software Engineer, der uns dabei hilft, Geschäftsideen in hochmoderne Technologielösungen umzuwandeln, die das Produkt und das Unternehmen explizit in seine strategische Richtung lenken. Unser Stack: Programmiersprachen: Python. Tech Stack: PostgreSQL, asyncio, FastAPI, Apache Kafka, ClickHouse, BigQuery, GCS, Scrapy, Selenium, Pyppeteer Infrastruktur: Kubernetes, Helm, ArgoCD, Grafana, Prometheus, Sentry, OpsGenie. Sie könnten perfekt für die Position geeignet sein, wenn Sie: skalierbare und effiziente Dienste für ein Web-Scraping-System unter Verwendung von Python und relevanten Bibliotheken entwerfen und implementieren möchten. Leiten Sie das Entwicklungsteam bei der Bewältigung von Anti-Scraping-Maßnahmen wie CAPTCHAs, Ratenbegrenzung und dynamischem Laden von Inhalten. Betreuen und leiten Sie Nachwuchsingenieure im Team und fördern Sie deren Wachstum und Entwicklung. Automatisieren Sie bestehende Scraper-Entwicklungsprozesse mithilfe von Tools und Frameworks, um die Effizienz und Wartbarkeit zu verbessern. Überwachen Sie die Systemleistung und identifizieren und beheben Sie proaktiv etwaige Probleme. Entwerfen und implementieren Sie eine Microservices-Architektur für Modularität und Skalierbarkeit. Wenden Sie die Prinzipien des Domain-Driven Design (DDD) an, um sauberen und wartbaren Code sicherzustellen. Bleiben Sie über die neuesten Entwicklungen und Best Practices beim Web Scraping auf dem Laufenden. Sie verfügen über: 5+ Jahre Erfahrung als Software-Ingenieur mit einer starken Erfolgsbilanz im Web-Scraping. Nachgewiesene Fachkenntnisse in Python und relevanten Bibliotheken wie Scrapy, Selenium, Pyppeteer, Playwright. Vertiefte Kenntnisse der Webprotokolle und der Funktionsweise des modernen Webs (SSL, Proxys, Cookies, Header, Browser). Erfahrung mit Anti-Scraping-Erkennung und Bypass-Techniken. Erfahrung mit Kafka, Redis und Microservices-Architektur. Vertrautheit mit den Prinzipien des Domain-Driven Design (DDD). Eng – Interm + Angenehme Extras: Erfahrung mit Cloud-Plattformen wie AWS oder GCP. Erfahrung mit Datenqualität und Bereinigungstechniken. Kenntnisse über maschinelles Lernen und Datenanalysetechniken. Soft Skills: Fähigkeit, Nachwuchsingenieure bei der Bewältigung technischer Herausforderungen zu leiten und zu betreuen. Proaktiver Ansatz zur Identifizierung und Lösung von Problemen sowie zur Suche nach neuen Möglichkeiten. Fähigkeit, unabhängig und als Teil eines Teams in einer schnelllebigen Umgebung zu arbeiten. Fähigkeit, neue Technologien zu erlernen und sich an sich ändernde Web-Scraping-Landschaften anzupassen. Sie werden es lieben, und hier ist der Grund: Umfangreicher innovativer Software-Stack, Freiheit bei der Auswahl der am besten geeigneten Technologien. Remote-First-Ideologie: Freiheit, vom Homeoffice oder einem geeigneten Coworking-Bereich aus zu arbeiten. Flexible Arbeitszeiten (von 8 bis 11 Uhr) und keine Zeiterfassungssysteme. Regelmäßige Leistungs- und Vergütungsüberprüfungen. Wiederkehrende Einzelgespräche und messbare OKRs. Umfassendes Onboarding mit klarer Erfolgsspur. Competera übernimmt 70 % Ihrer Schulungs-/Kursgebühr. 20 Urlaubstage, 15 freie Tage und bis zu eine Woche bezahlter Weihnachtsurlaub. 20 Werktage Krankheitsurlaub. Teilweiser Krankenversicherungsschutz. Wir erstatten die Kosten für Coworking. Innovationen vorantreiben mitdaher. BeaCompeterian.