Proposition pour decoupler les sources des traitements finaux

[hlecuyer]

No description provided.

[vmttn]

@vperron les data tests n'ayant lieu qu'après l'exec des models, si il y a une erreur sur l'étape intermediate de dora par exemple, les données invalides contenues dans la table intermediate alimenteront quand même les models en aval. D'où l'idée du nouveau layer qui fait buffer...

autre solution qui ne nécessite pas de modifier la structure des models (et donc plus proche de ce que tu imaginais @hlecuyer en passant via une transaction) : changer de schéma temporairement ?

dans dbt_project.yml :

...

models:
  data_inclusion:

    ...

    intermediate:
      +schema: "{{ 'intermediate_tmp' if var('tmp', false) else 'intermediate' }}"
      +materialized: table

...

1. build une 1ère fois dans un schéma "temporaire" via une tâche airflow dédiée avec :

dbt build -s models/intermediate/sources/france_travail/ --vars 'tmp: true'

2. build une seconde fois dans le bon schéma via une autre tâche airflow dépendant de la 1ère

dbt build -s models/intermediate/sources/france_travail/

Si erreur, les données ne se propageront pas

[vperron]

Je suis d'accord @vmttn pour les modèles intermediate, on avait "pas de solution".
Mais mon point était de dire que si on blinde les data tests de staging pour bien valider les données amont qui viennent des sources et peuvent casser hors de notre contrôle, a priori on se protège déjà assez bien et les intermediate vont jouer leur rôle de buffer de données J-1 (si on met en place le ALL_DONE)

Ta suggestion est cool cependant car elle permettra de protéger AUSSI le layer intermediate et ne prend pas bcp de code !

[vperron]

hmm, yes, mais du coup ça pose la question de:

• découpler les before_geocoding_tasks en "tâches sources alternatives" (odspep, monenfant, en faire deux TaskGroup comme les autres ?) et les pousser dans les staging tasks ?
• conserver les int__union__xxx derrière le trigger ALL_DONE

Je me suis posé la question de savoir si ça fonctionnerait si par exemple pour une source donnée, les tests de staging fail + une intermediate est donc skipped, on a bien une erreur (et non un skip) pour le TaskGroup. Donc le ALL_DONE est bien ce qu'il nous faut.

[hlecuyer]

done

[hlecuyer]

Je vais tester la solution de @vmttn.