Starszy inżynier oprogramowania (scraping) w Competera

W Competerze budujemy miejsce, w którym z łatwością można podejmować optymalne decyzje cenowe. Wierzymy, że technologie sztucznej inteligencji wkrótce będą podstawą wszystkich trudnych decyzji i będą w stanie pomóc ludziom stać się lepszymi. Obecnie poszukujemy starszego inżyniera oprogramowania, który pomoże nam przekształcić pomysły biznesowe w najnowocześniejsze rozwiązania technologiczne, które jednoznacznie poprowadzą produkt i firmę w kierunku strategicznym.Tech Stack: Python, PostgreSQL, asyncio, FastAPI, Apache Kafka, ClickHouse, BigQuery, GCS, Scrapy, Selenium, PyppeteerInfrastruktura: Kubernetes, Helm, ArgoCD, Grafana, Prometheus, Sentry, OpsGenie. Możesz być idealnym kandydatem na to stanowisko, jeśli chcesz: Projektować i wdrażać skalowalne i wydajne usługi dla systemu web scrapingu używając Pythona i odpowiednich bibliotek. Kieruj zespołem programistów w przezwyciężaniu środków zapobiegających skrobaniu, takich jak CAPTCHA, ograniczanie szybkości i dynamiczne ładowanie treści. Mentoruj i kieruj młodszymi inżynierami w zespole, wspierając ich wzrost i rozwój. Automatyzuj istniejące procesy rozwoju skrobaków za pomocą narzędzi i frameworki poprawiające wydajność i łatwość konserwacji. Monitoruj wydajność systemu oraz proaktywnie identyfikuj i rozwiązuj wszelkie problemy. Projektuj i wdrażaj architekturę mikrousług pod kątem modułowości i skalowalności. Stosuj zasady projektowania opartego na domenie (DDD), aby zapewnić czysty i łatwy w utrzymaniu kod. Bądź na bieżąco. na bieżąco z najnowszymi osiągnięciami i najlepszymi praktykami w zakresie web scrapingu. Masz: ponad 5 lat doświadczenia jako inżynier oprogramowania z dużym doświadczeniem w web scrapingu. Udokumentowana wiedza w zakresie Pythona i odpowiednich bibliotek, takich jak Scrapy, Selenium, Pyppeteer, Playwright.In -głębokie zrozumienie protokołów sieciowych i sposobu działania współczesnej sieci (SSL, proxy, cookies, nagłówki, przeglądarki).Doświadczenie w wykrywaniu i technikach omijania anti-scrapingu.Doświadczenie z Kafką, Redis i architekturą mikroserwisów.Znajomość Domain-Driven Design ( DDD).Eng — interim +Przyjemne dodatki:Doświadczenie z platformami chmurowymi takimi jak AWS lub GCP.Doświadczenie w zakresie jakości danych i technik czyszczenia.Znajomość uczenia maszynowego i technik analizy danych.Kompetencje miękkie:Umiejętność przewodzenia i mentorowania młodszych inżynierów w pokonywaniu problemów technicznych wyzwania.Proaktywne podejście do identyfikowania i rozwiązywania problemów, poszukiwanie nowych możliwości.Umiejętność pracy samodzielnej i w zespole w dynamicznym środowisku.Umiejętność poznawania nowych technologii i dostosowywania się do zmieniającego się krajobrazu web scrapingu.Pokochasz to, a oto dlaczego: Bogaty innowacyjny stos oprogramowania, swoboda wyboru najlepszych, odpowiednich technologii. Ideologia Remote First: swoboda działania z home office lub dowolnego odpowiedniego coworkingu. Elastyczne godziny pracy (zaczynamy od 8 do 11) i brak włączone systemy śledzenia czasu.Regularne przeglądy wyników i wynagrodzeń.Powstające 1-1 i mierzalne OKR.Dogłębne wdrożenie z jasną ścieżką sukcesu.Competera pokrywa 70% opłaty za szkolenie/kurs.20 dni urlopu, 15 dni wolnego i więcej do jednego tygodnia płatnego urlopu świątecznego. 20 dni roboczych zwolnienia lekarskiego. Częściowe ubezpieczenie zdrowotne. Refundujemy koszty coworkingu. Wprowadzaj z nami innowacje. Bądź konkurentem.