#14537 | 2019-08-26 Virum, Denmark

Data Engineer

For a client in the energy sector, we are looking for a data engineer.

Scope to be covered by the consultant:

POC
  • Transform the delivered CSV files into Azure DW load format (Azure PolyBase based)
  • Simple SQL modelling.
  • Create model for handling documents connected to the SQL data model (assumed to be based on Data Lake storage gen. 2 BLOB to be accessed via http).
  • Create simple model for user access to data (assumed to be based to a simple Azure Power BI Dashboard).
  • Support the POC process to a stage where accepted by the stakeholders.
  • Build authorisations to restrict access to critical data (GDPS)

Data migration
  • Finalise the POC into production maturity.
  • Support the ongoing load process.
  • Adapt data type deviation as the occur during the data migration process.

Build/enhance user interface / reports.
  • Based on the developed data model.


General qualifications to solve the task:

General profile:
  • General understanding of DW/BI in an Azure Cloud technology environment
  • Experienced in Azure technology
  • SQL and data modeling
  • Data transformation in relation to loading data into the * Azure data containers
  • Experience with DataBricks (Python/SQL mapping) is an advantage

Data containers:
  • Azure DW
  • Azure SQL DB
  • Azure Data Lake storage gen 2 and BLOB storage

Data transformation:
  • Polybase (transformation and load data into Azure DW)
  • Python (data transformation)
  • Blob storage to handle documents/pictures etc. (incl. mime handling)

Data access:
  • Experienced with utilise Azure AD to protect access to data (authentication/authorisation)
  • Simple dashboards to support guided access to data.
  • SQL based access to support super users.


Start: ASAP
Duration: 30. Maj 2020
Work location: Virum, Denmark
Requirements: Min. 5 years of professional IT experience.
Job type: Freelance

Projekt zamknięty

Przepraszamy, już nie poszukujemy konsultantów do tego projektu.

Przejdź do zakładki ”Bieżące projekty”, aby zobaczyć listę aktualnych propozycji.

Jeżeli jesteś naszym potencjalnym klientem i poszukujesz tego typu konsultantów, użyj naszego formularza "Przejrzyj CV konsultanta".

ProData Consult przechowuje dane w przeglądarce / urządzeniu za pomocą plików cookie w celu zbierania statystyk i optymalizacji naszych stron internetowych oraz opcjonalnie w reklamach kierowanych. Akceptując, wyrażasz zgodę na wykorzystanie plików cookie. Przeczytaj naszą Politykę prywatności, aby uzyskać więcej informacji. Zawsze możesz wycofać swoją zgodę tutaj: Polityka prywatności & pliki cookies

Strona wymaga użycia "Niezbędnych plików cookie". Nasze niezbędne pliki cookie są wykorzystywane wyłącznie w celu zapewnienia funkcjonowania strony i usługi internetowej.

Wybrane usługi stron trzecich mogą przechowywać pliki cookie w celu umieszczania kierowanych reklam, które