Opdrachtomschrijving
De douane is op zoek naar een Senior Data Engineer met expertise in Microsoft Azure Synapse Analytics (Dedicated SQL Pool , Apache Spark met Python en Synapse Data Factory pipelines) die ervaring heeft met het ontwerpen en inrichten van metadata-gedreven oplossingen voor het verwerken van bronnen op schaal. Ook is de Data engineer verantwoordelijk voor het geven van advies voor beheer en ondersteuning aan Data Engineers in de keten. Je doet incidenten beheer en geeft advies voor teams in de keten.

Achtergrond opdrachtDe Douane wil meer data-gedreven werken. Door data uit eigen en externe bronnen te combineren en te analyseren, kan de Douane zijn kerntaken sneller, beter en efficiënter uitvoeren. Hierbij is het snel kunnen inspringen op nieuwe wet- en regelgeving en een breed scala aan klantvragen essentieel. Om deze wendbaarheid te realiseren loopt er op dit moment een traject om de werkmethode en technologie opnieuw in te richten. Je ontsluit, importeert, koppelt en upload data zodat jouw collega's deze optimaal kunnen gebruiken voor hun analyses en modelontwikkeling. Je zoekt voortdurend naar mogelijkheden om onze databronnen optimaal te gebruiken. Je gaat in gesprek met collega's en onderzoekt de huidige kaders en experimenteert om jouw werk en dat van je directe collega's efficiënter te maken. Je laat zien wat jouw technische oplossing toe kan voegen aan dataanalyses en -modellen.

• Je schrijft en optimaliseert SQL queries
• Je bouwt informatieoplossingen zoals datapipelines, datastreams en data-API's
• Je ontwerpt , bouwt en beheert metadata gedreven oplossingen om bronnen te ontsluiten op schaal.
• Je doet zelfstandig beheer- of projectwerkzaamheden
• Afstemming met diverse partijen zoals de product owner, afnemers, bron-beheerders en andere teams van de afdeling en leveranciers in de keten.

Eisen
Opdracht is minder geschikt voor ZZP’ers ivm wet DBA

• Kennis van Azure (Synapse/Azure Data Factory/Dedicated Pool).
• Kennis van het inrichten/gebruik van API's in de vorm van Azure Functions
• Ruime ervaring met het inrichten en onderhouden van CI/CD in Azure Devops met YAML.
• Je hebt kennis van en ervaring met de Microsoft BI stack (Power BI/Power Apps).
• Je bent in staat duidelijke documentatie te ontwikkelen
• Je hebt ervaring met het verbeteren van data kwaliteit, bijvoorbeeld door geautomatiseerde tests en visie op de rol van metadata hierbij.
• Je hebt ruime ervaring in een Agile/Scrum ontwikkelomgeving
• Je hebt een afgeronde hbo- of universitaire opleiding (richting informatica informatiemanagement) (3 jaar)

Wensen

• Technische Vaardigheden Databases & SQL: Geavanceerde kennis van T-SQL, query tuning, partitioning, indexing, columnstore en query parallelisme.
• Cloud & Azure: Ervaring met Azure Synapse Analytics, Data Lake, Dedicated Sql Pool, Storage Accounts en Azure Functions.
• ETL/ELT-processen: Ontwerpen en optimaliseren van dataloads naar een Dedicated SQL Pool.
• Data & Analytics: Kennis van Apache Spark, Delta Lake, Dedicated Sql Pool en Synapse Pipelines is een plus.
• Security & Governance: Implementeren van RBAC en Auditing in Synapse en Dedicated Sql Pool
• CI/CD & DevOps: Ervaring met Bicep-templates, YAML Pipelines en Git voor infrastructuurbeheer
• Probleemoplossend vermogen: Sterk in debuggen en optimaliseren van dataverwerking.
• Samenwerken in multidisciplinaire teams: Werkt samen met Scrumteams, PowerBI-specialisten en andere teams in de dataketen.
• Agile & Scrum-methodologie: Bekend met SAFe, Kanban of Scrum.
• Analytisch denken: Kan complexe data-uitdagingen vertalen naar schaalbare oplossingen.

Competenties

• Kennis van Azure (Synapse/Azure Data Factory/Dedicated Pool).
• Kennis van het inrichten/gebruik van API's in de vorm van Azure Functions
• Ruime ervaring met het inrichten en onderhouden van CI/CD in Azure Devops met YAML.
• Je hebt kennis van en ervaring met de Microsoft BI stack (Power BI/Power Apps).
• Kennis van het optimaal benutten van Apache Spark
• Aantoonbare kennis van Python en goede software structuur.
• Je hebt kennis van data architectuur, data warehouse concepten als stermodellering.
• Certified Azure Data Engineer Associate Microsoft DP 203 en certified Azure Solution Architect Expert AZ-305
• Je hebt diepgaande kennis van SQL en relationele databases
• Kennis van ETL, Kimbal moduleren (stermodellen), dedicated SQL Pool en synapse
• Je bent in staat duidelijke documentatie te ontwikkelen
• Je hebt ruime ervaring in een Agile/Scrum ontwikkelomgeving
• Je hebt minimaal 3 jaar een afgeronde hbo- of universitaire opleiding (richting informatica, informatiemanagement)
• Tunen van SQL queries en partitionering in Dedicated SQL Pools voor betere performance.
• Monitoren en loggen van pipelines, jobs en processen met behulp van Azure Monitor, Log Analytics en custom logging.
• Je doet incidenten beheer en geeft advies voor teams in de keten.

Aanvullende Informatie
Levering door Yellow Friday aan de Belastingdienst geschiedt via Capgemini.