Skip to content

Home

Jump to bottom
Andrew edited this page Jun 19, 2024 · 12 revisions

DiDo Inleiding

DiDo staat voor Data in Data out. Het faciliteert de gebruiker in het opslaan van data in het Datawarehouse en het maken van dokumentatie over die data.

DiDo kent twee fasen:

  1. Data en Dokumentatie Definitie. Dit is (in theorie) een eenmalige gebeuren waarin de data volgens een vast stramien wordt vastgelegd, in Postgres tabellen wordt opgeslagen en als Wiki dokumentatie wordt weggeschreven.
  2. Data Inlezen in de database. Als de tabellen zijn gedefinieerd kan de data worden geleverd. De leveringen worden opgeslagen in de tabel, tezamen met de datakwaliteit. De levering wordt gedokumenteerd en kan worden opgeslagen in de Wiki.

Daarnaast zijn er een aantal hulpprogramma's die het omgaan met leveranciers en leveringen in de database vereenvoudigen.

1. Data Definitie

Uitgangspunt van DiDo is dat data wordt opgeslagen als een tabel in Postgres. Daartoe moet eerst die tabel worden gedefinieerd. Daar zijn de volgende onderdelen voor nodig:

  • Een DiDo projekt in Gitlab. Dat projekt wordt gekloond in jouw projects directory. Lees de snelstart hoe je snel; zo'n projekt kunt aanmaken.
  • Elk DiDo programma verwijst vervolgens met de -p(roject) parameter naar die gekloonde directory
  • In die project directory is een config directory met daarin een [config.yaml file](<Config file>) file. Daarin vindt je verwijzingen naar dataschema, metafile en database servers.
  • Er is een dataschema met de beschrijvingen van de kolommen van de tabel.
  • Er is een metafile waarin gegevens over de in te richten tabel te vinden zijn.
  • Met het programma dido_create_tables.py kun je de tabellen aanmaken. Je moet aan dido_create_tables de -p parameter opgeven gevolgd door het pad waar het projekt is te vinden (het projekt dat je hebt gekloond in jouw projects directory).

Van elke tabel moet minstens worden gedefinieerd:

  • de naam en betekenis van de tabel
  • De namen van elke kolom
  • Het datatype van elke kolom
  • De beschrijving van elke kolom

Dit zijn de minimum vereisten. DiDo vult de rest automatisch in.

Een datamodelleur en een analist vullen de DiDo defaults aan, denk aan:

  • Minimum en maximum waarden per kolom
  • het al dan niet toestaan van NULL waarden
  • Lijsten met toegestane waarden
  • Frekwentie van de levering (Jaarlijks, maandelijks, etc.)
  • Het wijzigen van waarden (bijvoorbeeld 00000000 -> 9999-12-31)

Goede controle op de definitie belangrijk. Wijzigen achteraf is (nog) niet mogelijk.

data-definitie.drawio

Overzicht van het Data Definitie Proces

2. Data inlezen

Data wordt als een levering aangeleverd door een leverancier en opgeslagen in een s3-bucket. Elke levering moet voldoen aan de definities zoals die zijn opgeslagen in de database. In de leveringsfile worden de specifieke eigenschappen beschreven van deze levering, zoals de datum waarop deze geleverd is, de tekenset, etc.

Vervolgens leest DiDo de data in. De data moet voldoen aan de data-definitie. Tijdens het inlezen wordt daarop gecontroleerd.

  • Kontrole of het aantal kolommen en de namen van de kolommen ervan korrekt zijn
  • Kontrole of datatypes, min/max, etc. korrekt is
  • Data wordt gewijzigd indien dat wordt gespecificeerd
  • etc.

Foutmeldingen worden gegenereerd in .csv, markdown en sql formaat. Naar aanleiding van de foutmeldingen kun je beslissen om de data al dan niet op te slaan. In principe worden fouten niet opgeslagen, maar DiDo laat in bepaalde gevallen toe als je dat wilt.

data-inlezen.drawio

Overzicht van het Data Inlezen Proces

3. Metadata

DiDo slaat de data op, maar ook veel zaken eromheen, denk aan:

  • historie
  • welke periode de levering betreft
  • datum waarop de data is opgeslagen
  • leverancier van de data
  • kwaliteit van de data
  • etc.

Dit gebeurt allemaal op de achtergrond. Dat maakt het mogelijk specifieke leveringen terug te vinden en achteraf aan te passen.

4. En verder...

Clone this wiki locally