Data Engineer

LET OP!! Dit is een detacheringsopdracht met een driepartijenovereenkomst. De inschrijver sluit een driepartijen detacheringsovereenkomst, waarbij de inschrijver als werkgever van de inhuurkracht, de inhuurkracht als betrokkene en de opdrachtgever als inlener ondertekent. Let wel, de inschrijver en de inhuurkracht dienen hiervoor een (civielrechtelijke) arbeidsovereenkomst te hebben gesloten. Indien dit om welke reden dan ook niet mogelijk is, wordt je inschrijving terzijde gelegd. Op deze driepartijenovereenkomst is de Waadi van toepassing. Er zal daarom worden gecontroleerd op de vereiste registratie conform artikel 7a van de Waadi. De opdrachtgever registreert en verstrekt gegevens over de ligging van vastgoed in Nederland en de daarmee samenhangende rechten, zoals eigendom en hypotheek. Als zelfstandig bestuursorgaan is dat hun wettelijke taak. De gegevens bieden houvast bij het onderzoeken van maatschappelijke vraagstukken, of het nu gaat om de beste route voor een nieuwe snelweg, actuele ontwikkelingen op de woningmarkt of het in beeld brengen van leegstand. OMSCHRIJVING WERKZAAMHEDEN Je bent verantwoordelijk voor het bouwen van de dataoplossingen op het platform. Je werkt in een klein team intensief samen met de overige teamleden. Je hebt daarbij een hoge mate van zelfstandigheid. Daarnaast heb je de vrijheid en verantwoordelijkheid om mee te denken met nieuwe toepassingen, die het dataplatform van Databricks kunnen verrijken. Jouw rol in één zin: de ruwe data in het dataplatform werkbaar maken (d.m.v. tools als PowerBI). Kort gezegd zorg jij ervoor als data engineer in een Databricks-platformbeheerteam dat de omgeving stabiel, veilig, kostenefficiënt en gebruiksvriendelijk is, zodat data scientists, data analisten en engineers er optimaal gebruik van kunnen maken. BELANGRIJKSTE TECHNIEKEN, METHODEN EN TOOLS - Microsoft Azure Cloud - Databricks - Bouwen van dataoplossingen op het platform - Agile werken - ServiceNow - Projectmatig werken - Kennis van Python VERANTWOORDELIJKHEDEN De belangrijkste taken en verantwoordelijkheden zijn: - Migreren van verschillende soorten data naar het platform. - Meedenken met nieuwe toepassingen die het dataplatform kunnen verrijken. - Bedenken welk testtype de voorkeur heeft en het vervolgens ontwerpen en toepassen. - Ondersteunen van teams met oplossingen op hun vragen. - Lezen en maken van LLD’s (low level designs). - Beheer en optimalisatie van Databricks-infrastructuur. - Onderhouden en configureren van Databricks-clusters (autoscaling, compute-resources, netwerkconfiguratie). - Beheren van Unity Catalog. - Optimaliseren van kosten en performance (cluster policies en job-scheduling). - Automatisering en CI/CD. - Opzetten en beheren van Infrastructure as Code (IaC) voor Databricks-omgevingen (Terraform). - Automatiseren van deployment pipelines voor notebooks en jobs. - Versiebeheer en monitoring van Databricks-code en assets. - Samenwerken met data scientists en data engineers om ETL/ELT-pipelines efficiënter te maken. - Adviseren over best practices in Databricks (bijv. Delta Lake-optimalisatie, gebruik van Photon Engine). - Troubleshooting en ondersteuning bij performance issues en foutopsporing. - Beheren van toegangscontrole (bijv. via Unity Catalog, SCIM-integratie, RBAC). - Implementeren van audit logging en monitoring (bijv. via Azure Monitor, Databricks SQL audit logs). - Zorgen voor data governance en naleving van security policies (GDPR, ISO27001). - Koppelen van Databricks met externe databronnen. - Beheren van API-integraties en data-uitwisseling met andere systemen. - Onderhouden en ontwikkelen van custom connectors of Databricks Jobs API-implementaties. TAKEN - Ontwerpen valideren aan de hand van de best practices van Microsoft en de kadaster richtlijnen. - Landingszone beschikbaar stellen aan diverse platformteams. - Platformteams ondersteunen en begeleiden bij vragen en kennisopbouw. - Ontwikkelen en implementeren van oplossingen. - Assisteren bij troubleshooting en probleemoplossing. - Documenteren van oplossingen en best practices. Lijkt deze freelance opdracht je wat en voldoe je aan de eisen? Reageer dan direct via de link onderaan deze pagina.