From c3d656d6c9e01246a1bf007a395d8a0a82fa0c05 Mon Sep 17 00:00:00 2001 From: Eric Boniface Date: Tue, 6 Apr 2021 18:41:09 +0200 Subject: [PATCH 1/4] Detour eval elements and answer items belonging to core and advanced versions of the framework --- referentiel_evaluation.md | 350 +++++++++++++++++++------------------- 1 file changed, 175 insertions(+), 175 deletions(-) diff --git a/referentiel_evaluation.md b/referentiel_evaluation.md index f10e578..f66f254 100644 --- a/referentiel_evaluation.md +++ b/referentiel_evaluation.md @@ -26,18 +26,18 @@ L'utilisation de données à caractère personnel ou confidentielles fait porter --- -Q1.1 : **Législation et exigences contractuelles applicables - Identification** +Q1.1 (socle) : **Législation et exigences contractuelles applicables - Identification** En ce qui concerne les données à caractère personnel ou confidentielles, les exigences légales, statutaires, réglementaires et contractuelles en vigueur et concernant votre organisation sont : R1.1 : _(Type : réponse unique)_ _(Sélectionner une seule réponse, correspondant le mieux au niveau de maturité de l'organisation sur ce sujet)_ -- [ ] 1.1.a Pas encore identifiées -- [ ] 1.1.b Partiellement identifiées ou en cours d'identification -- [ ] 1.1.c Identifiées -- [ ] 1.1.d Identifiées et maîtrisées par les collaborateurs -- [ ] 1.1.e Identifiées, documentées et maîtrisées par les collaborateurs +- [ ] 1.1.a (socle) Pas encore identifiées +- [ ] 1.1.b (socle) Partiellement identifiées ou en cours d'identification +- [ ] 1.1.c (socle) Identifiées +- [ ] 1.1.d (socle) Identifiées et maîtrisées par les collaborateurs +- [ ] 1.1.e (socle) Identifiées, documentées et maîtrisées par les collaborateurs
Expl1.1 : @@ -59,17 +59,17 @@ Il est crucial de mettre en place des processus pour connaître et suivre l'évo --- -Q1.2 : **Législation et exigences contractuelles applicables - Approche de mise en conformité** +Q1.2 (socle) : **Législation et exigences contractuelles applicables - Approche de mise en conformité** Pour satisfaire à ces exigences, l’approche adoptée par votre organisation est : R1.2 : _(Type : réponse unique)_ _(Sélectionner une seule réponse, correspondant le mieux au niveau de maturité de l'organisation sur ce sujet)_ -- [ ] 1.2.a Informelle, basée sur la responsabilité et la compétence de chacun -- [ ] 1.2.b Formalisée et accessible à tous les collaborateurs -- [ ] 1.2.c Formalisée et maîtrisée par les collaborateurs -- [ ] 1.2.d Formalisée, maîtrisée par les collaborateurs, documentée pour chaque traitement de données personnelles ou confidentielles +- [ ] 1.2.a (socle) Informelle, basée sur la responsabilité et la compétence de chacun +- [ ] 1.2.b (socle) Formalisée et accessible à tous les collaborateurs +- [ ] 1.2.c (socle) Formalisée et maîtrisée par les collaborateurs +- [ ] 1.2.d (socle) Formalisée, maîtrisée par les collaborateurs, documentée pour chaque traitement de données personnelles ou confidentielles
Expl1.2 : @@ -80,16 +80,16 @@ Il s'agit de s'interroger sur la gestion des données personnelles ou confidenti --- -Q1.3 : **Veille réglementaire** +Q1.3 (socle) : **Veille réglementaire** Un processus de veille réglementaire est-il mis en place, en interne ou via un prestataire spécialisé, pour connaître les évolutions applicables et impactantes pour votre organisation ? R1.3 : _(Type : réponse unique)_ _(Sélectionner une seule réponse, correspondant le mieux au niveau de maturité de l'organisation sur ce sujet)_ -- [ ] 1.3.a Nous ne faisons pas vraiment de veille réglementaire -- [ ] 1.3.b Nous faisons une veille informelle, chaque collaborateur remonte les informations sur un moyen de communication dédiée -- [ ] 1.3.c Nous avons une veille formalisée, les responsables sont identifiés, le processus est documenté +- [ ] 1.3.a (socle) Nous ne faisons pas vraiment de veille réglementaire +- [ ] 1.3.b (socle) Nous faisons une veille informelle, chaque collaborateur remonte les informations sur un moyen de communication dédiée +- [ ] 1.3.c (socle) Nous avons une veille formalisée, les responsables sont identifiés, le processus est documenté
Expl1.3 : @@ -100,15 +100,15 @@ Au-delà de l'identification des réglementations et des approches de mise en co --- -Q1.4 : **Législation et exigences contractuelles applicables - Audit et certification** +Q1.4 (avancé) : **Législation et exigences contractuelles applicables - Audit et certification** La conformité de l'organisation aux exigences relatives aux données personnelles et confidentielles a-t-elle été auditée et est-elle reconnue par une certification, un label ou équivalent ? R1.4 : _(Type : réponse unique)_ _(Sélectionner une seule réponse, correspondant le mieux au niveau de maturité de l'organisation sur ce sujet)_ -- [ ] 1.4.a Oui -- [ ] 1.4.b Non +- [ ] 1.4.a (avancé) Oui +- [ ] 1.4.b (avancé) Non
Expl1.4 : @@ -119,7 +119,7 @@ Dans de nombreux secteurs il existe des exigences de conformité spécifiques. I --- -Q1.5 : **Principe de minimisation** +Q1.5 (socle) : **Principe de minimisation** Dans le cadre des projets de data science, le principe de minimisation doit guider la collecte et l'utilisation de données personnelles ou confidentielles. Comment est-il mis en oeuvre au sein de votre organisation ? R1.5 : @@ -127,10 +127,10 @@ _(Type : réponse unique)_ _(Sélectionner une seule réponse, correspondant le mieux au niveau de maturité de l'organisation sur ce sujet)_ _(Domaine de risque spécifique : utilisation de données personnelles ou confidentielles)_ -- [ ] 1.5.a Nous faisons en sorte de n'utiliser aucune données personnelles ou confidentielles. Nous ne sommes pas concernés par cet univers de risque -- [ ] 1.5.b Nous avons besoin d'en utiliser dans certains projets et le principe de minimisation est alors systématiquement appliqué -- [ ] 1.5.c Le principe de minimisation est connu des collaborateurs, qui l'appliquent en général -- [ ] 1.5.d Le réflexe "qui peut le plus peut le moins" vis-à-vis des données existe encore ici et là au sein de notre organisation. Dans certains projets, nous conservons des jeux de données beaucoup plus riches en données personnelles et confidentielles que ce qui est strictement utile au projet +- [ ] 1.5.a (socle) Nous faisons en sorte de n'utiliser aucune données personnelles ou confidentielles. Nous ne sommes pas concernés par cet univers de risque +- [ ] 1.5.b (socle) Nous avons besoin d'en utiliser dans certains projets et le principe de minimisation est alors systématiquement appliqué +- [ ] 1.5.c (socle) Le principe de minimisation est connu des collaborateurs, qui l'appliquent en général +- [ ] 1.5.d (socle) Le réflexe "qui peut le plus peut le moins" vis-à-vis des données existe encore ici et là au sein de notre organisation. Dans certains projets, nous conservons des jeux de données beaucoup plus riches en données personnelles et confidentielles que ce qui est strictement utile au projet
Expl1.5 : @@ -145,7 +145,7 @@ _Les éléments suivants au sein de cette section ne s'appliquent qu'aux organis --- -Q1.6 : **Projet impliquant un nouveau traitement de données personnelles ou confidentielles** +Q1.6 (socle) : **Projet impliquant un nouveau traitement de données personnelles ou confidentielles** _(Condition : R1.5 <> 1.5.a)_ Pour chaque traitement de données personnelles ou confidentielles nécessaire dans le cadre d'un projet de data science, au sein de votre organisation : @@ -153,10 +153,10 @@ R1.6 : _(Type : réponses multiples possibles)_ _(Sélectionner tous les éléments de réponse correspondant à des pratiques de votre organisation)_ -- [ ] 1.6.a Nous élaborons une analyse d'impact relative à la protection des données (AIPD ; en anglais *Privacy Impact Assessment*) -- [ ] 1.6.b Nous mettons en oeuvre des mesures de protections (concernant notamment le transfert, le stockage, et l'accès aux données concernées) -- [ ] 1.6.c Nous contractualisons les relations avec les fournisseurs et les clients et les responsabilités qui en découlent -- [ ] 1.6.d Nous n'avons pas encore mis en place d'approche organisée sur ces sujets +- [ ] 1.6.a (socle) Nous élaborons une analyse d'impact relative à la protection des données (AIPD ; en anglais *Privacy Impact Assessment*) +- [ ] 1.6.b (socle) Nous mettons en oeuvre des mesures de protections (concernant notamment le transfert, le stockage, et l'accès aux données concernées) +- [ ] 1.6.c (socle) Nous contractualisons les relations avec les fournisseurs et les clients et les responsabilités qui en découlent +- [ ] 1.6.d (socle) Nous n'avons pas encore mis en place d'approche organisée sur ces sujets
Expl1.6 : @@ -167,7 +167,7 @@ Le *Privacy Impact Assessment* (PIA) est une méthode d'évaluation de l'impact --- -Q1.7 : **Sécurité de l'apprentissage automatique - Niveau de connaissance** +Q1.7 (avancé) : **Sécurité de l'apprentissage automatique - Niveau de connaissance** _(Condition : R1.5 <> 1.5.a)_ La sécurité de l'apprentissage automatique (_ML security_) est un domaine en constante évolution. Dans certains cas de figure, les modèles prédictifs appris sur des données confidentielles peuvent révéler des éléments de ces données confidentielles (cf. articles cités en ressources). Au sein de votre organisation, au sujet des vulnérabilités liées aux modèles de ML et aux techniques pour s'en prémunir, le niveau de connaissance générale des collaborateurs intervenant sur les projets de data science est : @@ -175,10 +175,10 @@ R1.7 : _(Type : réponse unique)_ _(Sélectionner une seule réponse, correspondant le mieux au niveau de maturité de l'organisation sur ce sujet)_ -- [ ] 1.7.a Complètement débutant -- [ ] 1.7.b Basique -- [ ] 1.7.c Confirmé -- [ ] 1.7.d Expert +- [ ] 1.7.a (avancé) Complètement débutant +- [ ] 1.7.b (avancé) Basique +- [ ] 1.7.c (avancé) Confirmé +- [ ] 1.7.d (avancé) Expert
Expl1.7 : @@ -205,7 +205,7 @@ L'état de l'art de la sécurité du ML est en constante évolution. S'il est im --- -Q1.8 : **Sécurité de l'apprentissage automatique - Mise en oeuvre** +Q1.8 (avancé) : **Sécurité de l'apprentissage automatique - Mise en oeuvre** _(Condition : R1.5 <> 1.5.a)_ Toujours au sujet des vulnérabilités liées aux modèles de ML et aux techniques pour s'en prémunir : @@ -213,11 +213,11 @@ R1.8 : _(Type : réponses multiples possibles)_ _(Sélectionner tous les éléments de réponse correspondant à des pratiques de votre organisation)_ -- [ ] 1.8.a Nous faisons une veille technique sur les principales attaques et mesures pour s'en prémunir -- [ ] 1.8.b Les collaborateurs reçoivent régulièrement des informations et formations qui leur permettent de développer leurs compétences dans ce domaine -- [ ] 1.8.c Dans certains projets, nous mettons en oeuvre des techniques spécifiques permettant de réduire les risques liés aux modèles que nous élaborons (par exemple : confidentialité différentielle, distillation...) -- [ ] 1.8.d Sur chaque projet, les vulnérabilités qui s'y appliquent et les techniques mises en oeuvre sont documentées (par exemple dans la généalogie de bout-en-bout de chaque modèle, voir Section 4 et élément 4.1 pour plus d'information sur ce concept) -- [ ] 1.8.e Nous n'avons pas encore mis en place d'approche organisée sur ces sujets +- [ ] 1.8.a (avancé) Nous faisons une veille technique sur les principales attaques et mesures pour s'en prémunir +- [ ] 1.8.b (avancé) Les collaborateurs reçoivent régulièrement des informations et formations qui leur permettent de développer leurs compétences dans ce domaine +- [ ] 1.8.c (avancé) Dans certains projets, nous mettons en oeuvre des techniques spécifiques permettant de réduire les risques liés aux modèles que nous élaborons (par exemple : confidentialité différentielle, distillation...) +- [ ] 1.8.d (avancé) Sur chaque projet, les vulnérabilités qui s'y appliquent et les techniques mises en oeuvre sont documentées (par exemple dans la généalogie de bout-en-bout de chaque modèle, voir Section 4 et élément 4.1 pour plus d'information sur ce concept) +- [ ] 1.8.e (avancé) Nous n'avons pas encore mis en place d'approche organisée sur ces sujets
Expl1.8 : @@ -246,7 +246,7 @@ Selon les niveaux de risque et de sensibilité des projets, certaines approches --- -Q1.9 : **Notifications d’incidents de sécurité aux autorités de régulation** +Q1.9 (avancé) : **Notifications d’incidents de sécurité aux autorités de régulation** _(Condition : R1.5 <> 1.5.a)_ Dans le cas de figure où un modèle que l'organisation a élaboré est utilisé ou accessible par une ou plusieurs parties prenantes externes, et qu'une vulnérabilité nouvelle est publiée, présente un risque de s'y appliquer et crée ainsi un risque d'exposition de données personnelles ou confidentielles : @@ -254,10 +254,10 @@ R1.9 : _(Type : réponses multiples possibles)_ _(Sélectionner tous les éléments de réponse correspondant à des pratiques de votre organisation)_ -- [ ] 1.9.a Nous avons une procédure décrivant la marche à suivre -- [ ] 1.9.b Notre procédure inclut une communication aux parties prenantes en question -- [ ] 1.9.c Notre procédure référence les autorités auxquelles nous devons faire un signalement -- [ ] 1.9.d Nous n'avons pas encore mis en place de procédure pour couvrir ce cas de figure +- [ ] 1.9.a (avancé) Nous avons une procédure décrivant la marche à suivre +- [ ] 1.9.b (avancé) Notre procédure inclut une communication aux parties prenantes en question +- [ ] 1.9.c (avancé) Notre procédure référence les autorités auxquelles nous devons faire un signalement +- [ ] 1.9.d (avancé) Nous n'avons pas encore mis en place de procédure pour couvrir ce cas de figure
Expl1.9 : @@ -281,16 +281,16 @@ Entre autres, dans certains cas une spécification de l'équité recherchée ent --- -Q2.1 : **Analyse des données d'entraînement utilisées** +Q2.1 (socle) : **Analyse des données d'entraînement utilisées** Au sein des projets de data science et lors de l'élaboration de jeux de données d'entraînement, un travail de réflexion et recherche de phénomènes problématiques (e.g. qualité de certains points de données, données non comparables du fait des outils ou processus d'enregistrement, phénomène social non souhaitable du fait de l'époque, du contexte, etc.) peut s'avérer crucial pour prévenir des biais portant atteinte au principe de non-discrimination, de diversité et d'équité. Votre organisation : R2.1 : _(Type : réponse unique)_ _(Sélectionner une seule réponse, correspondant le mieux au niveau de maturité de l'organisation sur ce sujet)_ -- [ ] 2.1.a Fonctionne de manière informelle à ce sujet et s'en remet à la pratique de chaque collaborateur impliqué -- [ ] 2.1.b Ne dispose pas d'une approche documentée sur le sujet, mais les collaborateurs impliqués sont formés aux risques et bonnes pratiques sur le sujet -- [ ] 2.1.c Dispose d'une approche documentée et systématiquement mise en oeuvre +- [ ] 2.1.a (socle) Fonctionne de manière informelle à ce sujet et s'en remet à la pratique de chaque collaborateur impliqué +- [ ] 2.1.b (socle) Ne dispose pas d'une approche documentée sur le sujet, mais les collaborateurs impliqués sont formés aux risques et bonnes pratiques sur le sujet +- [ ] 2.1.c (socle) Dispose d'une approche documentée et systématiquement mise en oeuvre
Expl2.1 : @@ -309,7 +309,7 @@ Il s'agit de s'obliger à s'interroger sur ces sujets et donc à réfléchir aux --- -Q2.2 : **Risques de discrimination à l'encontre de certains groupes sociaux** +Q2.2 (socle) : **Risques de discrimination à l'encontre de certains groupes sociaux** Votre organisation est-elle concernée par des cas de figure où des modèles prédictifs sont utilisés dans des environnements thématiques pour lesquels des risques de discrimination à l'encontre de certains groupes sociaux (genre, origine, âge, etc.) existent ? (L'élément d'évaluation suivant est dédié à ces cas de figure) : R2.2 : @@ -317,8 +317,8 @@ _(Type : réponse unique)_ _(Sélectionner une seule réponse, correspondant le mieux au niveau de maturité de l'organisation sur ce sujet)_ _(Domaine de risque spécifique : discrimination à l'encontre de certains groupes sociaux)_ -- [ ] 2.2.a Concerné -- [ ] 2.2.b Non concerné +- [ ] 2.2.a (socle) Concerné +- [ ] 2.2.b (socle) Non concerné --- @@ -326,7 +326,7 @@ _Les éléments suivants au sein de cette section ne s'appliquent qu'aux organis --- -Q2.3 : **Prévention des biais discriminatoires** +Q2.3 (socle) : **Prévention des biais discriminatoires** _(Condition : R2.2 <> 2.2.b)_ Dans les cas de figure où les modèles prédictifs que votre organisation élabore sont utilisés dans des environnements thématiques où il y a des risques de discrimination à l'encontre de certains groupes sociaux (genre, origine, âge, etc.) : @@ -334,12 +334,12 @@ R2.3 : _(Type : réponses multiples possibles)_ _(Sélectionner tous les éléments de réponse correspondant à des pratiques de votre organisation)_ -- [ ] 2.3.a Nous portons une attention particulière à l'identification d'attributs protégés et à leurs proxys éventuels (par exemple étude une à une des variables utilisées en entrées du modèle pour recenser les corrélations qu’elles pourraient avoir avec des données sensibles) -- [ ] 2.3.b Nous procédons à des évaluations sur des données de test comprenant différentes sous-populations afin d'identifier les éventuels biais problématiques -- [ ] 2.3.c Nous sélectionnons et mettons en oeuvre une ou plusieurs mesure(s) de justice et d'équité (_fairness metric_) -- [ ] 2.3.d Nous mettons en oeuvre des approches de type _data augmentation_ ou _re-weighting_ dans le but de réduire les éventuels biais des jeux de données -- [ ] 2.3.e Les pratiques ci-dessus que nous mettons en oeuvre sont dûment documentées et intégrées à la généalogie de bout-en-bout des modèles concernés -- [ ] 2.3.f Nous n'avons pas encore mis en place de mesures de ce type +- [ ] 2.3.a (socle) Nous portons une attention particulière à l'identification d'attributs protégés et à leurs proxys éventuels (par exemple étude une à une des variables utilisées en entrées du modèle pour recenser les corrélations qu’elles pourraient avoir avec des données sensibles) +- [ ] 2.3.b (socle) Nous procédons à des évaluations sur des données de test comprenant différentes sous-populations afin d'identifier les éventuels biais problématiques +- [ ] 2.3.c (socle) Nous sélectionnons et mettons en oeuvre une ou plusieurs mesure(s) de justice et d'équité (_fairness metric_) +- [ ] 2.3.d (avancé) Nous mettons en oeuvre des approches de type _data augmentation_ ou _re-weighting_ dans le but de réduire les éventuels biais des jeux de données +- [ ] 2.3.e (avancé) Les pratiques ci-dessus que nous mettons en oeuvre sont dûment documentées et intégrées à la généalogie de bout-en-bout des modèles concernés +- [ ] 2.3.f (socle) Nous n'avons pas encore mis en place de mesures de ce type
Expl2.3 : @@ -377,17 +377,17 @@ Les performances des modèles sont déterminantes pour leur adoption dans des pr --- -Q3.1 : **Séparation des jeux de données de test** +Q3.1 (socle) : **Séparation des jeux de données de test** Au sein des projets de data science et lors de l'élaboration de jeux de données de test, il est capital d'assurer la non-contamination par des données d'entraînement. Votre organisation : R3.1 : _(Type : réponses multiples possibles)_ _(Sélectionner tous les éléments de réponse correspondant à des pratiques de votre organisation. Attention, certaines combinaisons ne seraient pas cohérentes)_ -- [ ] 3.1.a Fonctionne de manière informelle à ce sujet et s'appuie sur la compétence et la responsabilité des collaborateurs impliquées -- [ ] 3.1.b Dispose d'une approche documentée et systématiquement mise en oeuvre d'isolation des jeux de données de test -- [ ] 3.1.c Utilise un outil de versionnage et de traçabilité des jeux de données d'entraînement et de test utilisés, permettant ainsi de vérifier ou auditer ultérieurement la non-contamination des données de tests -- [ ] 3.1.d Prévoit systématiquement l'élaboration de deux jeux de données de test ou plus pour gagner en résilience +- [ ] 3.1.a (socle) Fonctionne de manière informelle à ce sujet et s'appuie sur la compétence et la responsabilité des collaborateurs impliquées +- [ ] 3.1.b (socle) Dispose d'une approche documentée et systématiquement mise en oeuvre d'isolation des jeux de données de test +- [ ] 3.1.c (avancé) Utilise un outil de versionnage et de traçabilité des jeux de données d'entraînement et de test utilisés, permettant ainsi de vérifier ou auditer ultérieurement la non-contamination des données de tests +- [ ] 3.1.d (avancé) Prévoit systématiquement l'élaboration de deux jeux de données de test ou plus pour gagner en résilience
Expl3.1 : @@ -398,7 +398,7 @@ Assurer l'étanchéité des jeux de données d'entraînement et de test est un p --- -Q3.2 : **Projets d'apprentissage distribué préservant la confidentialité** +Q3.2 (avancé) : **Projets d'apprentissage distribué préservant la confidentialité** Dans les cas de figure de projets de data science basé sur l'apprentissage distribué ou fédéré (*distributed learning* ou *federated learning*) sur des jeux de données multiples et dont la confidentialité doit être préservée vis-à-vis des autres (*privacy-preserving*) : R3.2 : @@ -406,9 +406,9 @@ _(Type : réponse unique)_ _(Sélectionner une seule réponse, correspondant le mieux au niveau de maturité de l'organisation sur ce sujet)_ _(Domaine de risque spécifique : apprentissage distribué sur données sensibles)_ -- [ ] 3.2.a Nous ne participons pas à des projets d'apprentissage distribué *privacy-preserving* | _(Concerné / Non concerné)_ -- [ ] 3.2.b Nous maîtrisons et mettons en oeuvre des approches permettant d'élaborer des jeux de données de test de manière à ce qu'il n'y ait pas de contamination croisée entre données d'entraînement et de test provenant des différents partenaires -- [ ] 3.2.c À ce stade nous ne maîtrisons pas les méthodes permettant d'élaborer des jeux de données de test de manière à ce qu'il n'y ait pas de contamination croisée entre données d'entraînement et de test provenant des différents partenaires +- [ ] 3.2.a (avancé) Nous ne participons pas à des projets d'apprentissage distribué *privacy-preserving* | _(Concerné / Non concerné)_ +- [ ] 3.2.b (avancé) Nous maîtrisons et mettons en oeuvre des approches permettant d'élaborer des jeux de données de test de manière à ce qu'il n'y ait pas de contamination croisée entre données d'entraînement et de test provenant des différents partenaires +- [ ] 3.2.c (avancé) À ce stade nous ne maîtrisons pas les méthodes permettant d'élaborer des jeux de données de test de manière à ce qu'il n'y ait pas de contamination croisée entre données d'entraînement et de test provenant des différents partenaires
Expl3.2 : @@ -426,16 +426,16 @@ Dans ce type de projet d'apprentissage distribué dans des conditions où les do --- -Q3.3 : **Analyse des données de validation et de test** +Q3.3 (socle) : **Analyse des données de validation et de test** Au sein des projets de data science et lors de l'élaboration de jeux de données de validation ou de test, un travail de réflexion et recherche de phénomènes problématiques (e.g. qualité de certains points de données, données non comparables du fait des outils ou processus d'enregistrement, phénomène social non souhaitable du fait de l'époque, du contexte, etc.) peut s'avérer crucial pour la signification des scores de performance. Votre organisation : R3.3 : _(Type : réponse unique)_ _(Sélectionner une seule réponse, correspondant le mieux au niveau de maturité de l'organisation sur ce sujet)_ -- [ ] 3.3.a Fonctionne de manière informelle à ce sujet et s'en remet à la pratique de chaque collaborateur impliqué -- [ ] 3.3.b Ne dispose pas d'une approche documentée sur le sujet, mais les collaborateurs impliqués sont formés aux risques et bonnes pratiques sur le sujet -- [ ] 3.3.c Dispose d'une approche documentée et systématiquement mise en oeuvre +- [ ] 3.3.a (socle) Fonctionne de manière informelle à ce sujet et s'en remet à la pratique de chaque collaborateur impliqué +- [ ] 3.3.b (socle) Ne dispose pas d'une approche documentée sur le sujet, mais les collaborateurs impliqués sont formés aux risques et bonnes pratiques sur le sujet +- [ ] 3.3.c (socle) Dispose d'une approche documentée et systématiquement mise en oeuvre
Expl3.3 : @@ -446,17 +446,17 @@ L'utilisation de modèles prédictifs validés et testés sur des données histo --- -Q3.4 : **Validation des performances** +Q3.4 (socle) : **Validation des performances** Votre organisation met-elle en oeuvre les approches suivantes : R3.4 : _(Type : réponses multiples possibles)_ _(Sélectionner tous les éléments de réponse correspondant à des pratiques de votre organisation)_ -- [ ] 3.4.a Lors de l'élaboration d'un modèle, nous choisissons la ou les métrique(s) de performance en amont de l'apprentissage automatique, parmi les métriques les plus standards possibles -- [ ] 3.4.b La mise en oeuvre de mesures ou tests de robustesse (*robustness metrics*) est considérée et évaluée pour chaque projet d'élaboration d'un modèle, et appliquée par défaut dans les cas de figure où les données d'entrées peuvent être soumises à des perturbations fines (e.g. images, sons) -- [ ] 3.4.c Les pratiques ci-dessus que nous mettons en oeuvre sont documentées et intégrées à la généalogie de bout-en-bout des modèles concernés, y compris les métriques de performance choisies -- [ ] 3.4.d Nous n'avons pas encore mis en place de mesure de ce type +- [ ] 3.4.a (socle) Lors de l'élaboration d'un modèle, nous choisissons la ou les métrique(s) de performance en amont de l'apprentissage automatique, parmi les métriques les plus standards possibles +- [ ] 3.4.b (socle) La mise en oeuvre de mesures ou tests de robustesse (*robustness metrics*) est considérée et évaluée pour chaque projet d'élaboration d'un modèle, et appliquée par défaut dans les cas de figure où les données d'entrées peuvent être soumises à des perturbations fines (e.g. images, sons) +- [ ] 3.4.c (avancé) Les pratiques ci-dessus que nous mettons en oeuvre sont documentées et intégrées à la généalogie de bout-en-bout des modèles concernés, y compris les métriques de performance choisies +- [ ] 3.4.d (socle) Nous n'avons pas encore mis en place de mesure de ce type
Expl3.4 : @@ -478,7 +478,7 @@ Sur la robustesse, une définition intuitive est qu'un modèle est robuste lorsq --- -Q3.5 : **Suivi de la performance dans le temps** +Q3.5 (socle) : **Suivi de la performance dans le temps** Dans les cas de figure où des modèles prédictifs élaborés par votre organisation sont utilisés dans des systèmes en production : R3.5 : @@ -486,12 +486,12 @@ _(Type : réponses multiples possibles)_ _(Sélectionner tous les éléments de réponse correspondant à des pratiques de votre organisation. Attention, certaines combinaisons ne seraient pas cohérentes)_ _(Domaine de risque spécifique : utilisation de modèles prédictifs dans des systèmes en production)_ -- [ ] 3.5.a Les modèles que nous élaborons ne sont pas utilisés dans des systèmes en production | _(Concerné / Non concerné)_ -- [ ] 3.5.b La performance est systématiquement ré-évaluée lorsque le modèle est mis à jour -- [ ] 3.5.c La performance est systématiquement ré-évaluée lorsque le contexte d'utilisation du modèle évolue, ce qui peut créer un risque sur la performance du modèle du fait de l'évolution de l'espace des données d'entrée -- [ ] 3.5.d La distribution des données d'entrée est monitorée, et la performance est ré-évaluée régulièrement sur des données de test actualisées -- [ ] 3.5.e Des contrôles aléatoires sont réalisés sur des prédictions afin d'en contrôler la cohérence -- [ ] 3.5.f Nous ne mettons pas systématiquement en place de mesure de ce type +- [ ] 3.5.a (socle) Les modèles que nous élaborons ne sont pas utilisés dans des systèmes en production | _(Concerné / Non concerné)_ +- [ ] 3.5.b (socle) La performance est systématiquement ré-évaluée lorsque le modèle est mis à jour +- [ ] 3.5.c (socle) La performance est systématiquement ré-évaluée lorsque le contexte d'utilisation du modèle évolue, ce qui peut créer un risque sur la performance du modèle du fait de l'évolution de l'espace des données d'entrée +- [ ] 3.5.d (avancé) La distribution des données d'entrée est monitorée, et la performance est ré-évaluée régulièrement sur des données de test actualisées +- [ ] 3.5.e (avancé) Des contrôles aléatoires sont réalisés sur des prédictions afin d'en contrôler la cohérence +- [ ] 3.5.f (socle) Nous ne mettons pas systématiquement en place de mesure de ce type
Expl3.5 : @@ -512,17 +512,17 @@ Suivre l'évolution de la performance des modèles dans le temps est également --- -Q3.6 : **Seuils de décision et plages d'indécision** +Q3.6 (avancé) : **Seuils de décision et plages d'indécision** Pour la définition des seuils de décision des modèles ou des systèmes automatiques s'appuyant dessus, votre organisation : R3.6 : _(Type : réponses multiples possibles)_ _(Sélectionner tous les éléments de réponse correspondant à des pratiques de votre organisation. Attention, certaines combinaisons ne seraient pas cohérentes)_ -- [ ] 3.6.a Fonctionne de manière informelle à ce sujet et s'appuie sur la compétence et la responsabilité des collaborateurs impliquées -- [ ] 3.6.b Dispose d'une approche documentée et systématiquement mise en oeuvre -- [ ] 3.6.c Prend en compte la possibilité de maintenir des plages d'indécision dans certains cas de figure -- [ ] 3.6.d Les choix réalisés pour chaque modèle et mis en oeuvre sont documentés et intégrés à la généalogie de bout-en-bout des modèles concernés +- [ ] 3.6.a (avancé) Fonctionne de manière informelle à ce sujet et s'appuie sur la compétence et la responsabilité des collaborateurs impliquées +- [ ] 3.6.b (avancé) Dispose d'une approche documentée et systématiquement mise en oeuvre +- [ ] 3.6.c (avancé) Prend en compte la possibilité de maintenir des plages d'indécision dans certains cas de figure +- [ ] 3.6.d (avancé) Les choix réalisés pour chaque modèle et mis en oeuvre sont documentés et intégrés à la généalogie de bout-en-bout des modèles concernés
Expl3.6 : @@ -540,7 +540,7 @@ L'étude et à la sélection de seuils de décisions pertinents pour un problèm --- -Q3.7 : **Audits par des tierces parties indépendantes et *verifiable claims*** +Q3.7 (socle) : **Audits par des tierces parties indépendantes et *verifiable claims*** Lorsque votre organisation communique sur les résultats ou la performance d'un système d'IA, et s'appuie sur de telles communications pour son développement et vis-à-vis de ses parties prenantes : R3.7 : @@ -548,9 +548,9 @@ _(Type : réponse unique)_ _(Sélectionner une seule réponse, correspondant le mieux au niveau de maturité de l'organisation sur ce sujet)_ _(Domaine de risque spécifique : utilisation de l'évaluation de la performance d'un système d'IA comme argument de communication et de marketing)_ -- [ ] 3.7.a Nous ne communiquons pas et n'utilisons pas les résultats ou la performance de nos systèmes d'IA comme argument vis-à-vis de nos parties prenantes, nous ne sommes pas concernés par cet élément d'évaluation | _(Concerné / Non concerné)_ -- [ ] 3.7.b Nous communiquons sur nos résultats et nous appuyons sur ceux-ci pour notre développement sans faire auditer auparavant nos travaux par une tierce partie indépendante, sans mettre à disposition d'éléments de preuve -- [ ] 3.7.c Nous faisons auditer nos travaux par une tierce partie indépendante, ou nous mettons à disposition des éléments de preuve, avant de communiquer sur nos résultats et de nous en prévaloir vis-à-vis de nos parties prenantes +- [ ] 3.7.a (socle) Nous ne communiquons pas et n'utilisons pas les résultats ou la performance de nos systèmes d'IA comme argument vis-à-vis de nos parties prenantes, nous ne sommes pas concernés par cet élément d'évaluation | _(Concerné / Non concerné)_ +- [ ] 3.7.b (socle) Nous communiquons sur nos résultats et nous appuyons sur ceux-ci pour notre développement sans faire auditer auparavant nos travaux par une tierce partie indépendante, sans mettre à disposition d'éléments de preuve +- [ ] 3.7.c (socle) Nous faisons auditer nos travaux par une tierce partie indépendante, ou nous mettons à disposition des éléments de preuve, avant de communiquer sur nos résultats et de nous en prévaloir vis-à-vis de nos parties prenantes
Expl3.7 : @@ -580,17 +580,17 @@ Un modèle prédictif est un objet informatique complexe qui peut évoluer au fi --- -Q4.1 : **"Généalogie de bout-en-bout" des modèles** +Q4.1 (avancé) : **"Généalogie de bout-en-bout" des modèles** Tracer les étapes de l'élaboration d'un modèle permet d'en constituer une forme de **généalogie**. Au sein de votre organisation, une généalogie de bout-en-bout des modèles est alimentée et tenue à jour dans le cadre des projets de data science, tout au long des phase de collecte de données, conception, entraînement, validation et exploitation des modèles : R4.1 : _(Type : réponse unique)_ _(Sélectionner une seule réponse, correspondant le mieux au niveau de maturité de l'organisation sur ce sujet)_ -- [ ] 4.1.a À ce stade nous n'avons pas mis en oeuvre d'approche de ce type -- [ ] 4.1.b Ces informations existent et sont enregistrées afin de ne pas être perdues, mais elles peuvent l'être de manière désordonnée et ne sont pas versionnées -- [ ] 4.1.c Elles sont rassemblées en un unique document qui accompagne systématiquement le modèle -- [ ] 4.1.d Elles sont rassemblées en un unique document qui accompagne systématiquement le modèle et versionnées +- [ ] 4.1.a (avancé) À ce stade nous n'avons pas mis en oeuvre d'approche de ce type +- [ ] 4.1.b (avancé) Ces informations existent et sont enregistrées afin de ne pas être perdues, mais elles peuvent l'être de manière désordonnée et ne sont pas versionnées +- [ ] 4.1.c (avancé) Elles sont rassemblées en un unique document qui accompagne systématiquement le modèle +- [ ] 4.1.d (avancé) Elles sont rassemblées en un unique document qui accompagne systématiquement le modèle et versionnées
Expl4.1 : @@ -611,18 +611,18 @@ Ce concept de "généalogie de bout-en-bout" d'un modèle prédictif appris peut --- -Q4.2 : **Conditions et limites d'utilisation d'un modèle** +Q4.2 (socle) : **Conditions et limites d'utilisation d'un modèle** Dans le cadre des projets de data science, les "conditions et limites de validité" d'un modèle conçu, entraîné et validé par l'organisation : R4.2 : _(Type : réponses multiples possibles)_ _(Sélectionner tous les éléments de réponse correspondant à des pratiques de votre organisation. Attention, certaines combinaisons ne seraient pas cohérentes)_ -- [ ] 4.2.a Ne sont pas documentées -- [ ] 4.2.b Sont explicitées et documentées -- [ ] 4.2.c Sont versionnées -- [ ] 4.2.d Contiennent une description des risques que présenterait une utilisation en dehors des "conditions et limites de validité" -- [ ] 4.2.e Les documents présentant ces "conditions et limites de validité" accompagnent systématiquement les modèles tout au long de leur cycle de vie +- [ ] 4.2.a (socle) Ne sont pas documentées +- [ ] 4.2.b (socle) Sont explicitées et documentées +- [ ] 4.2.c (socle) Sont versionnées +- [ ] 4.2.d (socle) Contiennent une description des risques que présenterait une utilisation en dehors des "conditions et limites de validité" +- [ ] 4.2.e (socle) Les documents présentant ces "conditions et limites de validité" accompagnent systématiquement les modèles tout au long de leur cycle de vie
Expl4.2 : @@ -641,16 +641,16 @@ Il s'agit d'expliciter et d'adjoindre au modèle la description du contexte d'ut --- -Q4.3 : **Analyse et partage d'incidents** +Q4.3 (avancé) : **Analyse et partage d'incidents** Dans le cadre des projets de data science, lorsqu'un comportement inattendu d'un modèle est observé : R4.3 : _(Type : réponses multiples possibles)_ _(Sélectionner tous les éléments de réponse correspondant à des pratiques de votre organisation. Attention, certaines combinaisons ne seraient pas cohérentes)_ -- [ ] 4.3.a À ce stade nous ne faisons pas d'analyse des incidents ou comportements inattendus observés -- [ ] 4.3.b Nous analysons les incidents ou comportements inattendus rencontrés et les publions lorsque cela est pertinent (e.g. article, blog) -- [ ] 4.3.c Nous nous impliquons dans des clubs, cercles, ou associations professionnelles dans le domaine de la data science, et y faisons des retours d'expérience des incidents comportements inattendus que nous observons +- [ ] 4.3.a (avancé) À ce stade nous ne faisons pas d'analyse des incidents ou comportements inattendus observés +- [ ] 4.3.b (avancé) Nous analysons les incidents ou comportements inattendus rencontrés et les publions lorsque cela est pertinent (e.g. article, blog) +- [ ] 4.3.c (avancé) Nous nous impliquons dans des clubs, cercles, ou associations professionnelles dans le domaine de la data science, et y faisons des retours d'expérience des incidents comportements inattendus que nous observons
Expl4.3 : @@ -671,7 +671,7 @@ La compréhension voire la maîtrise du comportement d'un modèle prédictif app --- -Q4.4 : **Chaîne de valeur et de responsabilités** +Q4.4 (socle) : **Chaîne de valeur et de responsabilités** Dans le cas de figure des projets de data science où plusieurs acteurs, y compris internes à l'organisation (équipes, départements, filiales), sont parties prenantes tout au long de la chaîne de valeur et de responsabilités : R4.4 : @@ -679,10 +679,10 @@ _(Type : réponses multiples possibles)_ _(Sélectionner tous les éléments de réponse correspondant à des pratiques de votre organisation. Attention, certaines combinaisons ne seraient pas cohérentes)_ _(Domaine de risque spécifique : rôles et responsabilités morcelés dans les projets de data science)_ -- [ ] 4.4.a Au sein de notre organisation les projets de data science sont menés de bout-en-bout par des équipes autonomes, y compris l'élaboration de jeux de données et l'exploitation pour son propre compte des modèles. En conséquence, pour chaque projet une équipe autonome est seule responsable | _(Concerné / Non concerné)_ -- [ ] 4.4.b Nous procédons systématiquement à l'identification des risques et responsabilités de chacune des parties prenantes internes ou externes avec lesquelles nous collaborons -- [ ] 4.4.c Nous contractualisons systématiquement avec les acteurs amont (e.g. fournisseurs de données) et aval (e.g. clients, partenaires utilisateurs de modèles) -- [ ] 4.4.d Nous ne mettons pas systématiquement en place de mesure de ce type +- [ ] 4.4.a (socle) Au sein de notre organisation les projets de data science sont menés de bout-en-bout par des équipes autonomes, y compris l'élaboration de jeux de données et l'exploitation pour son propre compte des modèles. En conséquence, pour chaque projet une équipe autonome est seule responsable | _(Concerné / Non concerné)_ +- [ ] 4.4.b (socle) Nous procédons systématiquement à l'identification des risques et responsabilités de chacune des parties prenantes internes ou externes avec lesquelles nous collaborons +- [ ] 4.4.c (socle) Nous contractualisons systématiquement avec les acteurs amont (e.g. fournisseurs de données) et aval (e.g. clients, partenaires utilisateurs de modèles) +- [ ] 4.4.d (socle) Nous ne mettons pas systématiquement en place de mesure de ce type
Expl4.4 : @@ -693,7 +693,7 @@ Il est important de s'assurer que les organisations en amont et en aval de la ch --- -Q4.5 : **Sous-traitance de tout ou partie des activités data science** +Q4.5 (socle) : **Sous-traitance de tout ou partie des activités data science** Les activités data science sous-traitées à une ou des organisation(s) tierce(s) sont soumises aux mêmes exigences que celles que votre organisation s'applique à elle-même : R4.5 : @@ -701,9 +701,9 @@ _(Type : réponse unique)_ _(Sélectionner une seule réponse, correspondant le mieux au niveau de maturité de l'organisation sur ce sujet)_ _(Domaine de risque spécifique : sous-traitance d'activités de data science)_ -- [ ] 4.5.a Non concerné, nous ne sous-traitons pas ces activités | _(Concerné / Non concerné)_ -- [ ] 4.5.b Oui, nos réponses à cette évaluation tiennent compte des pratiques de nos sous-traitants -- [ ] 4.5.c Non, nos réponses à cette évaluation ne s'appliquent pas à nos sous-traitants et sur certains points il est possible qu'ils soient moins avancés que nous +- [ ] 4.5.a (socle) Non concerné, nous ne sous-traitons pas ces activités | _(Concerné / Non concerné)_ +- [ ] 4.5.b (socle) Oui, nos réponses à cette évaluation tiennent compte des pratiques de nos sous-traitants +- [ ] 4.5.c (socle) Non, nos réponses à cette évaluation ne s'appliquent pas à nos sous-traitants et sur certains points il est possible qu'ils soient moins avancés que nous
Expl4.5 : @@ -714,7 +714,7 @@ Comme dans les cadres connues du management des SI (ISO 27001) ou du RGPD, il es --- -Q4.6 : **Répartition de la création de valeur** +Q4.6 (avancé) : **Répartition de la création de valeur** Dans les cas de figure des projets de data science où plusieurs partenaires concourent aux côtés de votre organisation à l'élaboration d'un modèle, et que celui-ci est ou sera l'objet d'une activité économique : R4.6 : @@ -722,10 +722,10 @@ _(Type : réponses multiples possibles)_ _(Sélectionner tous les éléments de réponse correspondant à des pratiques de votre organisation. Attention, certaines combinaisons ne seraient pas cohérentes)_ _(Domaine de risque spécifique : rôles et responsabilités morcelés dans les projets de data science)_ -- [ ] 4.6.a Notre organisation exerce ses activités de data science de manière autonome, y compris l'élaboration de jeux de données et l'exploitation pour son propre compte des modèles. Elle n'est donc pas concernée | _(Concerné / Non concerné)_ -- [ ] 4.6.b À ce stade nous n'avons pas structuré cet aspect des projets de data science multi-partenaires -- [ ] 4.6.c Dans ces cas de figure nous contractualisons le volet économique de la relation avec les parties prenantes impliquées en amont du projet -- [ ] 4.6.d Notre organisation s'est dotée d'une politique encadrant de manière responsable le partage de valeur avec les parties prenantes impliquées +- [ ] 4.6.a (avancé) Notre organisation exerce ses activités de data science de manière autonome, y compris l'élaboration de jeux de données et l'exploitation pour son propre compte des modèles. Elle n'est donc pas concernée | _(Concerné / Non concerné)_ +- [ ] 4.6.b (avancé) À ce stade nous n'avons pas structuré cet aspect des projets de data science multi-partenaires +- [ ] 4.6.c (avancé) Dans ces cas de figure nous contractualisons le volet économique de la relation avec les parties prenantes impliquées en amont du projet +- [ ] 4.6.d (avancé) Notre organisation s'est dotée d'une politique encadrant de manière responsable le partage de valeur avec les parties prenantes impliquées
Expl4.6 : @@ -755,7 +755,7 @@ Un modèle prédictif peut-être utilisé comme un système automatique, dont le --- -Q5.1 : **Utilisation de modèles prédictifs pour son propre compte** +Q5.1 (socle) : **Utilisation de modèles prédictifs pour son propre compte** Si votre organisation utilise pour son propre compte des modèles prédictifs : R5.1 : @@ -763,15 +763,15 @@ _(Type : réponses multiples possibles)_ _(Sélectionner tous les éléments de réponse correspondant à des pratiques de votre organisation. Attention, certaines combinaisons ne seraient pas cohérentes)_ _(Domaine de risque spécifique : utilisation de modèles prédictifs pour son propre compte, fourniture et opération de modèles prédictifs à ses clients ou à des tiers)_ -- [ ] 5.1.a Notre organisation n'utilise pas de modèles prédictifs élaborés par apprentissage automatique pour son propre compte | _(Concerné / Non concerné)_ -- [ ] 5.1.b **Un registre des modèles prédictifs** identifie tous les modèles utilisés par l'organisation, nous le maintenons à jour -- [ ] 5.1.c Pour chaque modèle nous disposons d'un **responsable point de contact** défini, identifiable et contactable simplement -- [ ] 5.1.d Pour chaque modèle, nous réalisons systématiquement une **évaluation des risques** consécutifs à d'éventuels incidents, défaillances ou biais -- [ ] 5.1.e Des outils de monitoring sont mis en place afin d'assurer une surveillance continue des systèmes basés sur des modèles prédictifs et peuvent déclencher des alertes directement auprès de l'équipe responsable -- [ ] 5.1.f Pour chaque modèle, nous définissons et testons une procédure de suspension du modèle et un mode de fonctionnement dégradé sans le modèle, pour parer au cas de figure où le modèle serait sujet à une défaillance ou un comportement anormal -- [ ] 5.1.g Pour chaque modèle, nous étudions sa généalogie de bout-en-bout (toutes les étapes et tous les choix qui ont conduit à son élaboration et son évaluation), ainsi que ses conditions et limites d'utilisation, pour comprendre le modèle avant de l'utiliser -- [ ] 5.1.h Nous utilisons toujours les modèles pour des **usages en adéquation avec leurs conditions et limites d'utilisation** -- [ ] 5.1.i Nous n'avons pas encore mis en place de mesure de ce type +- [ ] 5.1.a (socle) Notre organisation n'utilise pas de modèles prédictifs élaborés par apprentissage automatique pour son propre compte | _(Concerné / Non concerné)_ +- [ ] 5.1.b (socle) **Un registre des modèles prédictifs** identifie tous les modèles utilisés par l'organisation, nous le maintenons à jour +- [ ] 5.1.c (socle) Pour chaque modèle nous disposons d'un **responsable point de contact** défini, identifiable et contactable simplement +- [ ] 5.1.d (socle) Pour chaque modèle, nous réalisons systématiquement une **évaluation des risques** consécutifs à d'éventuels incidents, défaillances ou biais +- [ ] 5.1.e (avancé) Des outils de monitoring sont mis en place afin d'assurer une surveillance continue des systèmes basés sur des modèles prédictifs et peuvent déclencher des alertes directement auprès de l'équipe responsable +- [ ] 5.1.f (avancé) Pour chaque modèle, nous définissons et testons une procédure de suspension du modèle et un mode de fonctionnement dégradé sans le modèle, pour parer au cas de figure où le modèle serait sujet à une défaillance ou un comportement anormal +- [ ] 5.1.g (avancé) Pour chaque modèle, nous étudions sa généalogie de bout-en-bout (toutes les étapes et tous les choix qui ont conduit à son élaboration et son évaluation), ainsi que ses conditions et limites d'utilisation, pour comprendre le modèle avant de l'utiliser +- [ ] 5.1.h (socle) Nous utilisons toujours les modèles pour des **usages en adéquation avec leurs conditions et limites d'utilisation** +- [ ] 5.1.i (socle) Nous n'avons pas encore mis en place de mesure de ce type
Expl5.1 : @@ -782,7 +782,7 @@ Utiliser des systèmes automatiques basés sur des modèles dont les règles ont --- -Q5.2 : **Développement de modèles prédictifs pour le compte de tiers** +Q5.2 (socle) : **Développement de modèles prédictifs pour le compte de tiers** Si votre organisation fournit à ses clients ou à des tiers, ou opère pour le compte de tiers des applications basées sur des modèles prédictifs : R5.2 : @@ -790,15 +790,15 @@ _(Type : réponses multiples possibles)_ _(Sélectionner tous les éléments de réponse correspondant à des pratiques de votre organisation. Attention, certaines combinaisons ne seraient pas cohérentes)_ _(Domaine de risque spécifique : utilisation de modèles prédictifs pour son propre compte, fourniture et opération de modèles prédictifs à ses clients ou à des tiers)_ -- [ ] 5.2.a Notre organisation ne fournit pas à ses clients ou des tiers, et n'opère pas pour le compte de tiers d'application basée sur des modèles prédictifs élaborés par apprentissage automatique | _(Concerné / Non concerné)_ -- [ ] 5.2.b **Un registre des modèles prédictifs** identifie tous les modèles ou applications utilisés par ses clients et/ou par l'organisation pour le compte de tiers, nous le maintenons à jour -- [ ] 5.2.c Pour chaque modèle ou application pour un client ou un tiers nous disposons d'un **responsable point de contact** défini, identifiable et joignable simplement -- [ ] 5.2.d Pour chaque modèle ou application pour un client ou un tiers, nous réalisons systématiquement une **évaluation des risques** consécutifs à d'éventuels, incidents, défaillances, biais -- [ ] 5.2.e Des outils de monitoring sont mis en place afin d'assurer une surveillance continue des systèmes de ML et peuvent déclencher des alertes directement auprès de l'équipe responsable -- [ ] 5.2.f Pour chaque modèle ou application pour un client ou un tiers, nous définissons et testons une procédure de suspension du modèle et un mode de fonctionnement dégradé sans le modèle, pour parer au cas de figure où le modèle serait sujet à une défaillance ou un comportement anormal -- [ ] 5.2.g Pour chaque modèle ou application pour un client ou un tiers, nous étudions sa généalogie de bout-en-bout et ses conditions et limites d'utilisation pour comprendre le modèle avant de l'utiliser -- [ ] 5.2.h Nous fournissons à nos clients ou opérons pour leur compte des modèles ou applications pour des **usages en adéquation avec leurs conditions et limites d'utilisation** -- [ ] 5.2.i Nous n'avons pas encore mis en place de mesure de ce type +- [ ] 5.2.a (socle) Notre organisation ne fournit pas à ses clients ou des tiers, et n'opère pas pour le compte de tiers d'application basée sur des modèles prédictifs élaborés par apprentissage automatique | _(Concerné / Non concerné)_ +- [ ] 5.2.b (socle) **Un registre des modèles prédictifs** identifie tous les modèles ou applications utilisés par ses clients et/ou par l'organisation pour le compte de tiers, nous le maintenons à jour +- [ ] 5.2.c (socle) Pour chaque modèle ou application pour un client ou un tiers nous disposons d'un **responsable point de contact** défini, identifiable et joignable simplement +- [ ] 5.2.d (socle) Pour chaque modèle ou application pour un client ou un tiers, nous réalisons systématiquement une **évaluation des risques** consécutifs à d'éventuels, incidents, défaillances, biais +- [ ] 5.2.e (avancé) Des outils de monitoring sont mis en place afin d'assurer une surveillance continue des systèmes de ML et peuvent déclencher des alertes directement auprès de l'équipe responsable +- [ ] 5.2.f (avancé) Pour chaque modèle ou application pour un client ou un tiers, nous définissons et testons une procédure de suspension du modèle et un mode de fonctionnement dégradé sans le modèle, pour parer au cas de figure où le modèle serait sujet à une défaillance ou un comportement anormal +- [ ] 5.2.g (avancé) Pour chaque modèle ou application pour un client ou un tiers, nous étudions sa généalogie de bout-en-bout et ses conditions et limites d'utilisation pour comprendre le modèle avant de l'utiliser +- [ ] 5.2.h (socle) Nous fournissons à nos clients ou opérons pour leur compte des modèles ou applications pour des **usages en adéquation avec leurs conditions et limites d'utilisation** +- [ ] 5.2.i (socle) Nous n'avons pas encore mis en place de mesure de ce type
Expl5.2 : @@ -809,7 +809,7 @@ Utiliser des systèmes automatiques basés sur des modèles dont les règles ont --- -Q5.3 : **Gestion des prédictions problématiques, processus de contournement, _human agency_** +Q5.3 (socle) : **Gestion des prédictions problématiques, processus de contournement, _human agency_** Les systèmes automatiques, en particulier lorsqu'ils s'appuient sur des modèles prédictifs appris, sont utilisés en production généralement pour gagner en efficacité. Il se trouve que par nature, ils génèrent de temps en temps des résultats non souhaitables pour l'organisation et ses parties prenantes (e.g. prédiction erronée), puisqu'ils ne généraliseront jamais une performance de 100%. R5.3 : @@ -817,11 +817,11 @@ _(Type : réponse unique)_ _(Sélectionner une seule réponse, correspondant le mieux au niveau de maturité de l'organisation sur ce sujet)_ _(Domaine de risque spécifique : utilisation de modèles prédictifs pour son propre compte, fourniture et opération de modèles prédictifs à ses clients ou à des tiers)_ -- [ ] 5.3.a Notre organisation n'utilise pas de modèles prédictifs élaboré par apprentissage automatique pour son propre compte ou celui de ses clients, et ne fournit pas à ses clients d'application basée sur des modèles prédictifs | _(Concerné / Non concerné)_ -- [ ] 5.3.b Nous implémentons des modèles prédictifs élaborés par apprentissage automatique dans des systèmes automatiques intégrés, sans mécanismes permettant de pallier à ou d'éviter des résultats non souhaitables dûs aux prédictions des modèles -- [ ] 5.3.c Nous intégrons, dans les systèmes automatiques s'appuyant sur des modèles prédictifs, les fonctionnalités permettant de gérer ces cas de résultats non souhaitables. Pour ces cas de figure, nous mettons en place des mécanismes permettant à un opérateur humain d'aller contre une décision automatique pour gérer de tels résultats non souhaitables ou incidents -- [ ] 5.3.d En complément des mécanismes de gestion d'incident, dans les systèmes automatiques s'appuyant sur des modèles prédictifs, lorsque l'intervalle de confiance pour la décision automatique n'est pas satisfaisant un opérateur humain est sollicité -- [ ] 5.3.e Nous appliquons systématiquement le principe de *human agency*, les sorties des modèles prédictifs que nous mettons en oeuvre sont utilisées par des opérateurs humains, et ne servent pas de déterminants à des décisions automatiques +- [ ] 5.3.a (socle) Notre organisation n'utilise pas de modèles prédictifs élaboré par apprentissage automatique pour son propre compte ou celui de ses clients, et ne fournit pas à ses clients d'application basée sur des modèles prédictifs | _(Concerné / Non concerné)_ +- [ ] 5.3.b (socle) Nous implémentons des modèles prédictifs élaborés par apprentissage automatique dans des systèmes automatiques intégrés, sans mécanismes permettant de pallier à ou d'éviter des résultats non souhaitables dûs aux prédictions des modèles +- [ ] 5.3.c (socle) Nous intégrons, dans les systèmes automatiques s'appuyant sur des modèles prédictifs, les fonctionnalités permettant de gérer ces cas de résultats non souhaitables. Pour ces cas de figure, nous mettons en place des mécanismes permettant à un opérateur humain d'aller contre une décision automatique pour gérer de tels résultats non souhaitables ou incidents +- [ ] 5.3.d (socle) En complément des mécanismes de gestion d'incident, dans les systèmes automatiques s'appuyant sur des modèles prédictifs, lorsque l'intervalle de confiance pour la décision automatique n'est pas satisfaisant un opérateur humain est sollicité +- [ ] 5.3.e (socle) Nous appliquons systématiquement le principe de *human agency*, les sorties des modèles prédictifs que nous mettons en oeuvre sont utilisées par des opérateurs humains, et ne servent pas de déterminants à des décisions automatiques
Expl5.3 : @@ -839,18 +839,18 @@ Utiliser des systèmes automatiques basés sur des modèles dont les règles ont --- -Q5.4 : **Explicabilité et interprétabilité** +Q5.4 (socle) : **Explicabilité et interprétabilité** Au sein des projets de data science qui visent à élaborer des modèles prédictifs : R5.4 : _(Type : réponses multiples possibles)_ _(Sélectionner tous les éléments de réponse correspondant à des pratiques de votre organisation. Attention, certaines combinaisons ne seraient pas cohérentes)_ -- [ ] 5.4.a Notre organisation n'est pour l'instant pas familière avec les méthodes et outils d'explicabilité et d'interprétabilité des modèles -- [ ] 5.4.b Nous nous intéressons au sujet de l'explicabilité et l'interprétabilité des modèles et dialoguons avec nos parties prenantes sur ce sujet -- [ ] 5.4.c Nous faisons en sorte que les modèles que nous élaborons fournissent lorsque cela est pertinent a minima un niveau de confiance avec chaque prédiction réalisée -- [ ] 5.4.d Nous déterminons le meilleur compromis entre la performance et l'interprétabilité pour chaque modèle que nous élaborons, ce qui nous amène parfois à opter pour un modèle plus simple à expliquer aux personnes concernées (un modèle performant permettra de diminuer les risques d’erreur tandis qu’un modèle interprétable permettra de mieux justifier les résultats du modèle) -- [ ] 5.4.e Nous maîtrisons et mettons en oeuvre des approches avancées pour l'explicabilité et l'interprétabilité des modèles +- [ ] 5.4.a (socle) Notre organisation n'est pour l'instant pas familière avec les méthodes et outils d'explicabilité et d'interprétabilité des modèles +- [ ] 5.4.b (socle) Nous nous intéressons au sujet de l'explicabilité et l'interprétabilité des modèles et dialoguons avec nos parties prenantes sur ce sujet +- [ ] 5.4.c (socle) Nous faisons en sorte que les modèles que nous élaborons fournissent lorsque cela est pertinent a minima un niveau de confiance avec chaque prédiction réalisée +- [ ] 5.4.d (socle) Nous déterminons le meilleur compromis entre la performance et l'interprétabilité pour chaque modèle que nous élaborons, ce qui nous amène parfois à opter pour un modèle plus simple à expliquer aux personnes concernées (un modèle performant permettra de diminuer les risques d’erreur tandis qu’un modèle interprétable permettra de mieux justifier les résultats du modèle) +- [ ] 5.4.e (socle) Nous maîtrisons et mettons en oeuvre des approches avancées pour l'explicabilité et l'interprétabilité des modèles
Expl5.4 : @@ -873,7 +873,7 @@ Des ressources techniques comme SHAP ou LIME permettent d'entrer de plain-pied d --- -Q5.5 : **Transparence vis-à-vis des parties prenantes interagissant avec un modèle prédictif appris** +Q5.5 (socle) : **Transparence vis-à-vis des parties prenantes interagissant avec un modèle prédictif appris** Votre organisation utilise pour son propre compte, fournit à ses clients ou opère pour le compte de ses clients des applications basées sur des modèles prédictifs, avec lesquels sont à même d'interagir des utilisateurs. Que met-elle en place pour en informer les utilisateurs ? R5.5 : @@ -881,11 +881,11 @@ _(Type : réponses multiples possibles)_ _(Sélectionner tous les éléments de réponse correspondant à des pratiques de votre organisation. Attention, certaines combinaisons ne seraient pas cohérentes)_ _(Domaine de risque spécifique : utilisation de modèles prédictifs pour son propre compte, fourniture et opération de modèles prédictifs à ses clients ou à des tiers)_ -- [ ] 5.5.a Notre organisation n'utilise pas de modèles prédictifs élaborés par apprentissage automatique pour son propre compte ou celui de ses clients, et ne fournit pas à ses clients d'application basée sur des modèles prédictifs | _(Concerné / Non concerné)_ -- [ ] 5.5.b Les utilisateurs ne sont pas informés qu'ils interagissent avec un modèle prédictif élaboré par apprentissage automatique -- [ ] 5.5.c Une notice d'information est mise à disposition dans les conditions générales d'utilisation du système ou un document équivalent, en libre accès -- [ ] 5.5.d Le système ou le service est explicite vis-à-vis de l'utilisateur quant au fait qu'un modèle prédictif est utilisé -- [ ] 5.5.e Le système ou le service propose à l'utilisateur des informations supplémentaires sur les résultats qu'il aurait fourni dans des cas de figure légèrement différents (par exemple des "explications contrefactuelles" comme le plus petit changement dans les données d'entrée qui aurait permis d'arriver à une sortie donnée) +- [ ] 5.5.a (socle) Notre organisation n'utilise pas de modèles prédictifs élaborés par apprentissage automatique pour son propre compte ou celui de ses clients, et ne fournit pas à ses clients d'application basée sur des modèles prédictifs | _(Concerné / Non concerné)_ +- [ ] 5.5.b (socle) Les utilisateurs ne sont pas informés qu'ils interagissent avec un modèle prédictif élaboré par apprentissage automatique +- [ ] 5.5.c (socle) Une notice d'information est mise à disposition dans les conditions générales d'utilisation du système ou un document équivalent, en libre accès +- [ ] 5.5.d (socle) Le système ou le service est explicite vis-à-vis de l'utilisateur quant au fait qu'un modèle prédictif est utilisé +- [ ] 5.5.e (avancé) Le système ou le service propose à l'utilisateur des informations supplémentaires sur les résultats qu'il aurait fourni dans des cas de figure légèrement différents (par exemple des "explications contrefactuelles" comme le plus petit changement dans les données d'entrée qui aurait permis d'arriver à une sortie donnée)
Expl5.5 : @@ -915,17 +915,17 @@ La mise en place d'un système automatique basé sur un modèle prédictif peut --- -Q6.1 : **Impact CO2** +Q6.1 (avancé) : **Impact CO2** Au sujet de l'impact CO2 de l'activité data science au sein de votre organisation : R6.1 : _(Type : réponse unique)_ _(Sélectionner une seule réponse, correspondant le mieux au niveau de maturité de l'organisation sur ce sujet)_ -- [ ] 6.1.a À ce stade nous ne nous sommes pas penchés sur l'impact CO2 de notre activité data science ou de nos modèles prédictifs -- [ ] 6.1.b Nous avons élaboré des indicateurs définissant ce que nous souhaitons mesurer -- [ ] 6.1.c Nous mesurons nos indicateurs régulièrement et nous incluons leurs mesures dans les généalogies de bout-en-bout des modèles -- [ ] 6.1.d Le fait de suivre nos indicateurs régulièrement est un processus formalisé et piloté, à partir duquel nous nous fixons des objectifs d'amélioration +- [ ] 6.1.a (avancé) À ce stade nous ne nous sommes pas penchés sur l'impact CO2 de notre activité data science ou de nos modèles prédictifs +- [ ] 6.1.b (avancé) Nous avons élaboré des indicateurs définissant ce que nous souhaitons mesurer +- [ ] 6.1.c (avancé) Nous mesurons nos indicateurs régulièrement et nous incluons leurs mesures dans les généalogies de bout-en-bout des modèles +- [ ] 6.1.d (avancé) Le fait de suivre nos indicateurs régulièrement est un processus formalisé et piloté, à partir duquel nous nous fixons des objectifs d'amélioration
Expl6.1 : @@ -943,18 +943,18 @@ Il est important de s'interroger et de conscientiser les coûts environnementaux --- -Q6.2 : **Impact social** +Q6.2 (avancé) : **Impact social** Dans certains cas, la mise en place d'un système automatique basé sur un modèle prédictif peut générer des externalités négatives sur les parties prenantes amont (par exemple annotation de données), et sur les parties prenantes aval (par exemple automatisation de certains postes). Lors de chaque projet d'élaboration ou d'utilisation d'un modèle prédictif, votre organisation : R6.2 : _(Type : réponse unique)_ _(Sélectionner une seule réponse, correspondant le mieux au niveau de maturité de l'organisation sur ce sujet)_ -- [ ] 6.2.a À ce stade nous ne nous penchons pas sur l'impact social de notre activité data science ou de nos modèles prédictifs -- [ ] 6.2.b Dans certains cas nous nous interrogeons sur l'impact social -- [ ] 6.2.c Nous menons ce travail de réflexion sur l'impact social à chaque projet -- [ ] 6.2.d Nous menons ce travail de réflexion sur l'impact social à chaque projet et l'impact social est documenté dans la généalogie de bout-en-bout de chaque modèle -- [ ] 6.2.e Nous menons ce travail de réflexion sur l'impact social à chaque projet, l'impact social est documenté dans la généalogie de bout-en-bout de chaque modèle, et nous entamons systématiquement un dialogue avec les parties prenantes concernées amont et aval +- [ ] 6.2.a (avancé) À ce stade nous ne nous penchons pas sur l'impact social de notre activité data science ou de nos modèles prédictifs +- [ ] 6.2.b (avancé) Dans certains cas nous nous interrogeons sur l'impact social +- [ ] 6.2.c (avancé) Nous menons ce travail de réflexion sur l'impact social à chaque projet +- [ ] 6.2.d (avancé) Nous menons ce travail de réflexion sur l'impact social à chaque projet et l'impact social est documenté dans la généalogie de bout-en-bout de chaque modèle +- [ ] 6.2.e (avancé) Nous menons ce travail de réflexion sur l'impact social à chaque projet, l'impact social est documenté dans la généalogie de bout-en-bout de chaque modèle, et nous entamons systématiquement un dialogue avec les parties prenantes concernées amont et aval
Expl6.2 : @@ -965,17 +965,17 @@ Il est important de s'interroger et d'échanger avec ses parties prenantes. Cela --- -Q6.3 : **Ethique et non-malfaisance** +Q6.3 (socle) : **Ethique et non-malfaisance** Au sein de votre organisation : R6.3 : _(Type : réponses multiples possibles)_ _(Sélectionner tous les éléments de réponse correspondant à des pratiques de votre organisation. Attention, certaines combinaisons ne seraient pas cohérentes)_ -- [ ] 6.3.a À ce stade nous ne nous sommes pas encore penchés sur la dimension éthique -- [ ] 6.3.b Les collaborateurs concernés par les activités data science reçoivent une formation à l'éthique -- [ ] 6.3.c Notre organisation s'est dotée d'une politique en matière d'éthique -- [ ] 6.3.d Sur les projets le justifiant, nous mettons en place un comité d'éthique indépendant ou nous sollicitons l'évaluation d'un organisme validant l'éthique des projets +- [ ] 6.3.a (socle) À ce stade nous ne nous sommes pas encore penchés sur la dimension éthique +- [ ] 6.3.b (socle) Les collaborateurs concernés par les activités data science reçoivent une formation à l'éthique +- [ ] 6.3.c (socle) Notre organisation s'est dotée d'une politique en matière d'éthique +- [ ] 6.3.d (socle) Sur les projets le justifiant, nous mettons en place un comité d'éthique indépendant ou nous sollicitons l'évaluation d'un organisme validant l'éthique des projets
Expl6.3 : From 57aa58024ab87846e9ef12fc0e90508f90430389 Mon Sep 17 00:00:00 2001 From: Eric Boniface Date: Thu, 8 Apr 2021 10:59:06 +0200 Subject: [PATCH 2/4] Add 1.9 to the basic version --- referentiel_evaluation.md | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git a/referentiel_evaluation.md b/referentiel_evaluation.md index f66f254..76318a4 100644 --- a/referentiel_evaluation.md +++ b/referentiel_evaluation.md @@ -246,7 +246,7 @@ Selon les niveaux de risque et de sensibilité des projets, certaines approches --- -Q1.9 (avancé) : **Notifications d’incidents de sécurité aux autorités de régulation** +Q1.9 (socle) : **Notifications d’incidents de sécurité aux autorités de régulation** _(Condition : R1.5 <> 1.5.a)_ Dans le cas de figure où un modèle que l'organisation a élaboré est utilisé ou accessible par une ou plusieurs parties prenantes externes, et qu'une vulnérabilité nouvelle est publiée, présente un risque de s'y appliquer et crée ainsi un risque d'exposition de données personnelles ou confidentielles : @@ -254,10 +254,10 @@ R1.9 : _(Type : réponses multiples possibles)_ _(Sélectionner tous les éléments de réponse correspondant à des pratiques de votre organisation)_ -- [ ] 1.9.a (avancé) Nous avons une procédure décrivant la marche à suivre -- [ ] 1.9.b (avancé) Notre procédure inclut une communication aux parties prenantes en question -- [ ] 1.9.c (avancé) Notre procédure référence les autorités auxquelles nous devons faire un signalement -- [ ] 1.9.d (avancé) Nous n'avons pas encore mis en place de procédure pour couvrir ce cas de figure +- [ ] 1.9.a (socle) Nous avons une procédure décrivant la marche à suivre +- [ ] 1.9.b (socle) Notre procédure inclut une communication aux parties prenantes en question +- [ ] 1.9.c (socle) Notre procédure référence les autorités auxquelles nous devons faire un signalement +- [ ] 1.9.d (socle) Nous n'avons pas encore mis en place de procédure pour couvrir ce cas de figure
Expl1.9 : From cf99536a0af31504b6838c6c0580de631849d5a9 Mon Sep 17 00:00:00 2001 From: Eric Boniface Date: Thu, 8 Apr 2021 11:08:08 +0200 Subject: [PATCH 3/4] Add basic-advanced detouring to ENG version --- assessment_framework_eng.md | 236 ++++++++++++++++++------------------ 1 file changed, 116 insertions(+), 120 deletions(-) diff --git a/assessment_framework_eng.md b/assessment_framework_eng.md index aee0ced..6c98b1e 100644 --- a/assessment_framework_eng.md +++ b/assessment_framework_eng.md @@ -25,18 +25,18 @@ The use of personal or confidential data carries the risk of exposure of such da --- -Q1.1 : **Applicable legislation and contractual requirements - Identification** +Q1.1 (basic) : **Applicable legislation and contractual requirements - Identification** With regard to personal or confidential data, the legal, statutory, regulatory and contractual requirements in force and concerning your organisation are: R1.1 : _(Type: single answer)_ _(Select one answer only, which best corresponds to the level of maturity of the organisation on this topic)_ -- [ ] 1.1.a Not yet identified -- [ ] 1.1.b Partially identified or in the process of identification -- [ ] 1.1.c Identified -- [ ] 1.1.d Identified and known by our collaborators -- [ ] 1.1.e Identified, documented and known by our collaborators +- [ ] 1.1.a (basic) Not yet identified +- [ ] 1.1.b (basic) Partially identified or in the process of identification +- [ ] 1.1.c (basic) Identified +- [ ] 1.1.d (basic) Identified and known by our collaborators +- [ ] 1.1.e (basic) Identified, documented and known by our collaborators
Expl1.1 : @@ -58,17 +58,17 @@ It is crucial to put in place processes to know and follow the evolution of appl --- -Q1.2 : **Applicable legislation and contractual requirements - Compliance approach** +Q1.2 (basic) : **Applicable legislation and contractual requirements - Compliance approach** In order to meet these requirements, the approach adopted by your organisation is: R1.2 : _(Type: single answer)_ _(Select one answer only, which best corresponds to the level of maturity of the organisation on this topic)_ -- [ ] 1.2.a Informal, based on individual responsibility and competence -- [ ] 1.2.b Formalized and accessible to all collaborators -- [ ] 1.2.c Formalized and known by collaborators -- [ ] 1.2.d Formalized, known by employees, documented for each processing of personal or confidential data +- [ ] 1.2.a (basic) Informal, based on individual responsibility and competence +- [ ] 1.2.b (basic) Formalized and accessible to all collaborators +- [ ] 1.2.c (basic) Formalized and known by collaborators +- [ ] 1.2.d (basic) Formalized, known by employees, documented for each processing of personal or confidential data
Expl1.2 : @@ -79,16 +79,16 @@ It is a question of questioning the management of personal or confidential data --- -Q1.3 : **Applicable legislation and contractual requirements - Regulatory surveillance** +Q1.3 (basic) : **Applicable legislation and contractual requirements - Regulatory surveillance** Is a regulatory surveillance process in place, either internally or via a specialised service provider, to find out about applicable changes that have an impact on your organisation? R1.3 : _(Type: single answer)_ _(Select one answer only, which best corresponds to the level of maturity of the organisation on this topic)_ -- [ ] 1.3.a We do not really monitor the regulatory environment -- [ ] 1.3.b We keep an informal watch, each employee sends back information via internal communication channels -- [ ] 1.3.c We have a formal surveillance, with identified collaborators in charge and a documented process +- [ ] 1.3.a (basic) We do not really monitor the regulatory environment +- [ ] 1.3.b (basic) We keep an informal watch, each employee sends back information via internal communication channels +- [ ] 1.3.c (basic) We have a formal surveillance, with identified collaborators in charge and a documented process
Expl1.3 : @@ -99,15 +99,15 @@ In addition to identifying regulations and compliance approaches, it is importan --- -Q1.4 : **Applicable legislation and contractual requirements - Auditing and certification** +Q1.4 (advanced) : **Applicable legislation and contractual requirements - Auditing and certification** Has the organisation's compliance with personal and confidential data requirements been audited and is it recognised by a certification, label or equivalent? R1.4 : _(Type: single answer)_ _(Select one answer only, which best corresponds to the level of maturity of the organisation on this topic)_ -- [ ] 1.4.a Yes -- [ ] 1.4.b No +- [ ] 1.4.a (advanced) Yes +- [ ] 1.4.b (advanced) No
Expl1.4 : @@ -118,7 +118,7 @@ In many sectors there are specific compliance requirements. It is generally poss --- -Q1.5 : **Data minimisation principle** +Q1.5 (basic) : **Data minimisation principle** In data science projects, the data minimisation principle should guide the collection and use of personal or confidential data. How is it implemented in your organisation? R1.5 : @@ -126,10 +126,10 @@ _(Type: single answer)_ _(Select one answer only, which best corresponds to the level of maturity of the organisation on this topic)_ _(Specific risk domain: use of personal or confidential data)_ -- [ ] 1.5.a We take care not to use any personal or confidential data. We are not concerned by this risk area -- [ ] 1.5.b We need to use personal or confidential data in certain projects and the data minimisation principle is then systematically applied -- [ ] 1.5.c Employees are aware of the data minimisation principle and generally apply it -- [ ] 1.5.d The "who can do the most can do the least" reflex with regard to data still exists here and there within our organisation. In some projects, we keep datasets that are much richer in personal and confidential data than what is strictly useful to the project +- [ ] 1.5.a (basic) We take care not to use any personal or confidential data. We are not concerned by this risk area +- [ ] 1.5.b (basic) We need to use personal or confidential data in certain projects and the data minimisation principle is then systematically applied +- [ ] 1.5.c (basic) Employees are aware of the data minimisation principle and generally apply it +- [ ] 1.5.d (basic) The "who can do the most can do the least" reflex with regard to data still exists here and there within our organisation. In some projects, we keep datasets that are much richer in personal and confidential data than what is strictly useful to the project
Expl1.5 : @@ -144,7 +144,7 @@ _The following elements within this section apply only to organisations that did --- -Q1.6 : **Project involving new processing of personal or confidential data** +Q1.6 (basic) : **Project involving new processing of personal or confidential data** _(Condition: R1.5 <> 1.5.a)_ For each processing of personal or confidential data required in the framework of a data science project within your organisation: @@ -152,10 +152,10 @@ R1.6 : _(Type: multiple responses possible)_ _(Select all the answer items that correspond to practices in your organisation)_ -- [ ] 1.6.a We elaborate a Privacy Impact Assessment (PIA) -- [ ] 1.6.b We implement data protection measures (in particular concerning the transfer, storage and access to the data concerned) -- [ ] 1.6.c We contractualise relations with suppliers and customers and the responsibilities that arise from them -- [ ] 1.6.d We have not yet set up an organised approach to these subjects +- [ ] 1.6.a (basic) We elaborate a Privacy Impact Assessment (PIA) +- [ ] 1.6.b (basic) We implement data protection measures (in particular concerning the transfer, storage and access to the data concerned) +- [ ] 1.6.c (basic) We contractualise relations with suppliers and customers and the responsibilities that arise from them +- [ ] 1.6.d (basic) We have not yet set up an organised approach to these subjects
Expl1.6 : @@ -245,7 +245,7 @@ Depending on the level of risk and sensitivity of the projects, certain technica --- -Q1.9 : **Notification of safety incidents to the regulatory authorities** +Q1.9 (basic) : **Notification of safety incidents to the regulatory authorities** _(Condition: R1.5 <> 1.5.a)_ In the event that a model that the organisation has developed is used or accessible by one or more external stakeholders, and a new vulnerability is published, there is a risk that it may apply to them and thus create a risk of exposure of personal or confidential data: @@ -253,10 +253,10 @@ R1.9 : _(Type: multiple responses possible)_ _(Select all the answer items that correspond to practices in your organisation)_ -- [ ] 1.9.a We have a process describing the course of action in such cases -- [ ] 1.9.b Our process includes communication to the stakeholders in question -- [ ] 1.9.c Our process references the authorities to whom we must report -- [ ] 1.9.d We have not yet put in place a procedure for such cases +- [ ] 1.9.a (basic) We have a process describing the course of action in such cases +- [ ] 1.9.b (basic) Our process includes communication to the stakeholders in question +- [ ] 1.9.c (basic) Our process references the authorities to whom we must report +- [ ] 1.9.d (basic) We have not yet put in place a procedure for such cases
Expl1.9 : @@ -279,16 +279,16 @@ Among other things, in some cases a specification of the equity sought between p --- -Q2.1 : **Analysis of the training data** +Q2.1 (basic) : **Analysis of the training data** Within data science projects and when developing training datasets, reflection and research on problematic phenomena (e.g. quality of certain data points, data that are not comparable due to recording tools or processes, social phenomena that are undesirable due to time, context, etc.) can be crucial to prevent bias that undermines the principle of non-discrimination, diversity and equity. Your organisation: R2.1 : _(Type: single answer)_ _(Select one answer only, which best corresponds to the level of maturity of the organisation on this topic)_ -- [ ] 2.1.a Operates informally on this subject and relies on the practices of each collaborator involved -- [ ] 2.1.b Does not have a documented approach to the subject, but the collaborators involved are trained on the risks and best practices on the subject -- [ ] 2.1.c Has a documented approach that is systematically implemented +- [ ] 2.1.a (basic) Operates informally on this subject and relies on the practices of each collaborator involved +- [ ] 2.1.b (basic) Does not have a documented approach to the subject, but the collaborators involved are trained on the risks and best practices on the subject +- [ ] 2.1.c (basic) Has a documented approach that is systematically implemented
Expl2.1 : @@ -307,7 +307,7 @@ It is a question of ensuring that oneself considers these subjects and therefore --- -Q2.2 : **Risk of discrimination against certain social groups** +Q2.2 (basic) : **Risk of discrimination against certain social groups** Is your organisation involved in cases where predictive models are used in thematic environments where there are risks of discrimination against certain social groups (gender, origin, age, etc.)? (The next assessment element is dedicated to these cases): R2.2 : @@ -315,8 +315,8 @@ _(Type: single answer)_ _(Select one answer only, which best corresponds to the level of maturity of the organisation on this topic)_ _(Specific risk domain: discrimination against certain social groups)_ -- [ ] 2.2.a Concerned -- [ ] 2.2.b Not concerned +- [ ] 2.2.a (basic) Concerned +- [ ] 2.2.b (basic) Not concerned --- @@ -324,7 +324,7 @@ _The following items within this section apply only to organisations that have s --- -Q2.3 : **Preventing discriminatory bias** +Q2.3 (basic) : **Preventing discriminatory bias** _(Condition: R2.2 <> 2.2.b)_ In cases where the predictive models your organisation develops are used in thematic environments where there is a risk of discrimination against certain social groups (gender, origin, age, etc.): @@ -332,12 +332,12 @@ R2.3 : _(Type: multiple responses possible)_ _(Select all the answer items that correspond to practices in your organisation)_ -- [ ] 2.3.a We pay particular attention to the identification of protected attributes and their possible proxies (e.g. studying one by one the variables used as model inputs to identify the correlations they might have with sensitive data) -- [ ] 2.3.b We carry out evaluations on test data from different sub-populations in order to identify possible problematic biases -- [ ] 2.3.c We select and implement one or more justice and equity measure(s) (_fairness metrics_) +- [ ] 2.3.a (basic) We pay particular attention to the identification of protected attributes and their possible proxies (e.g. studying one by one the variables used as model inputs to identify the correlations they might have with sensitive data) +- [ ] 2.3.b (basic) We carry out evaluations on test data from different sub-populations in order to identify possible problematic biases +- [ ] 2.3.c (basic) We select and implement one or more justice and equity measure(s) (_fairness metrics_) - [ ] 2.3.d We use _data augmentation_ or _re-weighting_ approaches to reduce possible biases in the data sets - [ ] 2.3.e The above practices that we implement are duly documented and integrated into the end-to-end genealogy of the models concerned -- [ ] 2.3.f We have not yet put in place any such measures +- [ ] 2.3.f (basic) We have not yet put in place any such measures
Expl2.3 : @@ -375,15 +375,15 @@ The performance of the models is crucial for their adoption in products, systems --- -Q3.1 : **Separation of test datasets** +Q3.1 (basic) : **Separation of test datasets** In data science projects and when developing test datasets, it is of utmost importance to ensure non-contamination by training data. Your organisation: R3.1 : _(Type: multiple responses possible)_ _(Select all response items that correspond to practices in your organisation. Please note that some combinations would not be coherent)_ -- [ ] 3.1.a Operates informally on this subject and relies on the competence and responsibility of the collaborators involved -- [ ] 3.1.b Has a documented and systematically implemented approach to isolating test datasets +- [ ] 3.1.a (basic) Operates informally on this subject and relies on the competence and responsibility of the collaborators involved +- [ ] 3.1.b (basic) Has a documented and systematically implemented approach to isolating test datasets - [ ] 3.1.c Uses a tool for versioning and tracing the training and test datasets used, thus enabling the non-contamination of test data to be checked or audited at a later stage - [ ] 3.1.d Systematically plans two or more sets of test data to increase resilience @@ -424,16 +424,16 @@ In this type of distributed learning project under conditions where the data is --- -Q3.3 : **Analysis of validation and test data** +Q3.3 (basic) : **Analysis of validation and test data** Within data science projects and when developing validation or test datasets, reflection and research on problematic phenomena (e.g. quality of certain data points, data that are not comparable due to recording tools or processes, social phenomena that are undesirable due to time, context, etc.) can be crucial for the meaning of performance scores. Your organisation: R3.3 : _(Type: single answer)_ _(Select one answer only, which best corresponds to the level of maturity of the organisation on this topic)_ -- [ ] 3.3.a Operates informally on this subject and relies on the practice of each collaborator member involved -- [ ] 3.3.b Does not have a documented approach to the subject, but the collaborators involved are trained on the risks and best practices on the subject -- [ ] 3.3.c Has a documented approach that is systematically implemented +- [ ] 3.3.a (basic) Operates informally on this subject and relies on the practice of each collaborator member involved +- [ ] 3.3.b (basic) Does not have a documented approach to the subject, but the collaborators involved are trained on the risks and best practices on the subject +- [ ] 3.3.c (basic) Has a documented approach that is systematically implemented
Expl3.3 : @@ -444,18 +444,17 @@ The use of predictive models that have been validated and tested on historical d --- - -Q3.4 : **Performance validation** +Q3.4 (basic) : **Performance validation** Does your organisation implement the following approaches: R3.4 : _(Type: multiple responses possible)_ _(Select all the answer items that correspond to practices in your organisation)_ -- [ ] 3.4.a When developing a model, we choose the performance metric(s) prior to actually training the model, from among the most standard metrics possible -- [ ] 3.4.b The implementation of robustness metrics is considered and evaluated for each modelling project, and applied by default in cases where the input data may be subject to fine-grain alterations (e.g. images, sounds) +- [ ] 3.4.a (basic) When developing a model, we choose the performance metric(s) prior to actually training the model, from among the most standard metrics possible +- [ ] 3.4.b (basic) The implementation of robustness metrics is considered and evaluated for each modelling project, and applied by default in cases where the input data may be subject to fine-grain alterations (e.g. images, sounds) - [ ] 3.4.c The above practices that we implement are documented and integrated into the end-to-end genealogy of the models concerned, including the performance metrics chosen -- [ ] 3.4.d We have not yet introduced any such measures +- [ ] 3.4.d (basic) We have not yet introduced any such measures
Expl3.4 : @@ -477,7 +476,7 @@ On robustness, an intuitive definition is that a model is robust when its perfor --- -Q3.5 : **Monitoring model performance over time** +Q3.5 (basic) : **Monitoring model performance over time** In cases where predictive models developed by your organisation are used in production systems: R3.5 : @@ -485,12 +484,12 @@ _(Type: multiple responses possible)_ _(Select all response items that correspond to practices in your organisation. Please note that some combinations would not be coherent)_ _(Specific risk domain: use of predictive models in production systems)_ -- [ ] 3.5.a The models we develop are not used in production systems | _(Concerned / Not concerned)_ -- [ ] 3.5.b Performance is systematically re-evaluated when the model is updated -- [ ] 3.5.c Performance is systematically re-evaluated when the context in which the model is used evolves, which may create a risk on the performance of the model due to the evolution of the input data space +- [ ] 3.5.a (basic) The models we develop are not used in production systems | _(Concerned / Not concerned)_ +- [ ] 3.5.b (basic) Performance is systematically re-evaluated when the model is updated +- [ ] 3.5.c (basic) Performance is systematically re-evaluated when the context in which the model is used evolves, which may create a risk on the performance of the model due to the evolution of the input data space - [ ] 3.5.d The distribution of input data is monitored, and performance is regularly re-evaluated on the basis of updated test data - [ ] 3.5.e Random checks are carried out on predictions to check their consistency -- [ ] 3.5.f We do not systematically set up this type of measure +- [ ] 3.5.f (basic) We do not systematically set up this type of measure
Expl3.5 : @@ -509,9 +508,6 @@ Monitoring the performance of models over time is also particularly important in
---- - - --- Q3.6 : **Decision making and ranges of indecision** @@ -542,7 +538,7 @@ The study and selection of relevant decision thresholds for a given data science --- -Q3.7 : **Audits by independent third parties and *verifiable claims*** +Q3.7 (basic) : **Audits by independent third parties and *verifiable claims*** When your organization communicates on the results or performance of an AI system, and makes it a marketing and communication argument to its stakeholders: R3.7 : @@ -550,9 +546,9 @@ _(Type: single answer)_ _(Select one answer only, which best corresponds to the level of maturity of the organisation on this topic)_ _(Specific risk domain: external communication on the performance of AI systems)_ -- [ ] 3.7.a We do not communicate or use the results or performance of our AI systems as an argument to our stakeholders, we are not concerned by this assessment element | _(Concerned / Not concerned)_ -- [ ] 3.7.b We communicate on our results and rely on them for our development without first having our work audited by an independent third party, without making evidence available -- [ ] 3.7.c We have our work audited by an independent third party, or we make evidence available, before communicating our results and using them to communicate and rely on with our stakeholders +- [ ] 3.7.a (basic) We do not communicate or use the results or performance of our AI systems as an argument to our stakeholders, we are not concerned by this assessment element | _(Concerned / Not concerned)_ +- [ ] 3.7.b (basic) We communicate on our results and rely on them for our development without first having our work audited by an independent third party, without making evidence available +- [ ] 3.7.c (basic) We have our work audited by an independent third party, or we make evidence available, before communicating our results and using them to communicate and rely on with our stakeholders
Expl3.7 : @@ -613,18 +609,18 @@ This concept of the "end-to-end genealogy" of a learned predictive model can tak --- -Q4.2 : **Conditions and limitations for using a model** +Q4.2 (basic) : **Conditions and limitations for using a model** In the context of data science projects, the "conditions and limits of validity" of a model designed, trained and validated by the organisation: R4.2 : _(Type: multiple responses possible)_ _(Select all response items that correspond to practices in your organisation. Please note that some combinations would not be coherent)_ -- [ ] 4.2.a Are not documented -- [ ] 4.2.b Are explicited and documented -- [ ] 4.2.c Are versioned -- [ ] 4.2.d Contain a description of the risks involved in using the model outside its "conditions and limits of validity" -- [ ] 4.2.e The documents presenting these "conditions and limits of validity" systematically accompany the models throughout their life cycle +- [ ] 4.2.a (basic) Are not documented +- [ ] 4.2.b (basic) Are explicited and documented +- [ ] 4.2.c (basic) Are versioned +- [ ] 4.2.d (basic) Contain a description of the risks involved in using the model outside its "conditions and limits of validity" +- [ ] 4.2.e (basic) The documents presenting these "conditions and limits of validity" systematically accompany the models throughout their life cycle
Expl4.2 : @@ -673,7 +669,7 @@ Understanding or even mastering the behaviour of a learned predictive model is a --- -Q4.4 : **Value chain and chain of accountability** +Q4.4 (basic) : **Value chain and chain of accountability** In the case of data science projects where several players, including internal to the organisation (teams, departments, subsidiaries), are involved throughout the value and accountability chains: R4.4 : @@ -681,10 +677,10 @@ _(Type: multiple responses possible)_ _(Select all response items that correspond to practices in your organisation. Please note that some combinations would not be coherent)_ _(Specific risk domain: roles and responsibilities in data science projects are divided up multiple actors)_ -- [ ] 4.4.a Within our organisation, data science projects are carried out end-to-end by autonomous teams, including the elaboration of datasets and the exploitation of models for its own account. Consequently, for each project, an autonomous team is solely responsible | _(Concerned / Not concerned)_ -- [ ] 4.4.b We systematically identify the risks and responsibilities of each of the internal and external stakeholders with whom we work -- [ ] 4.4.c We systematically enter into contracts with upstream (e.g. data suppliers) and downstream (e.g. customers, model-using partners) players -- [ ] 4.4.d We do not systematically implement this type of measure +- [ ] 4.4.a (basic) Within our organisation, data science projects are carried out end-to-end by autonomous teams, including the elaboration of datasets and the exploitation of models for its own account. Consequently, for each project, an autonomous team is solely responsible | _(Concerned / Not concerned)_ +- [ ] 4.4.b (basic) We systematically identify the risks and responsibilities of each of the internal and external stakeholders with whom we work +- [ ] 4.4.c (basic) We systematically enter into contracts with upstream (e.g. data suppliers) and downstream (e.g. customers, model-using partners) players +- [ ] 4.4.d (basic) We do not systematically implement this type of measure
Expl4.4 : @@ -695,7 +691,7 @@ It is important to ensure that organisations upstream and downstream the chain i --- -Q4.5 : **Subcontracting of all or part of the data science activities** +Q4.5 (basic) : **Subcontracting of all or part of the data science activities** Data science activities subcontracted to a third party organisation(s) are subject to the same requirements your organisation applies to itself: R4.5 : @@ -703,9 +699,9 @@ _(Type: single answer)_ _(Select one answer only, which best corresponds to the level of maturity of the organisation on this topic)_ _(Specific risk domain: subcontracting of data science activities)_ -- [ ] 4.5.a Not concerned, we do not subcontract these activities | _(Concerned / Not concerned)_ -- [ ] 4.5.b Yes, our responses to this evaluation take into account the practices of our subcontractors -- [ ] 4.5.c No, our answers to this evaluation do not apply to our subcontractors and on certain points they may be less advanced than us +- [ ] 4.5.a (basic) Not concerned, we do not subcontract these activities | _(Concerned / Not concerned)_ +- [ ] 4.5.b (basic) Yes, our responses to this evaluation take into account the practices of our subcontractors +- [ ] 4.5.c (basic) No, our answers to this evaluation do not apply to our subcontractors and on certain points they may be less advanced than us
Expl4.5 : @@ -757,7 +753,7 @@ A predictive model can be used as an automatic system, whose rules or criteria a --- -Q5.1 : **Exploitation of predictive models for one's own account** +Q5.1 (basic) : **Exploitation of predictive models for one's own account** If your organisation uses predictive models on its own behalf: R5.1 : @@ -765,15 +761,15 @@ _(Type: multiple responses possible)_ _(Select all response items that correspond to practices in your organisation. Please note that some combinations would not be coherent)_ _(Specific risk domain: use of predictive models, provision or operation of predictive model-based applications for customers or third parties)_ -- [ ] 5.1.a Our organisation does not use ML models on its own behalf | _(Concerned / Not concerned)_ -- [ ] 5.1.b **A predictive models register** identifies all the models used by the organisation and is kept up-to-date -- [ ] 5.1.c For each model there is an **owner** defined, identifiable and easily contactable -- [ ] 5.1.d For each model, we systematically carry out a **risk assessment** following any incidents, failures or biases +- [ ] 5.1.a (basic) Our organisation does not use ML models on its own behalf | _(Concerned / Not concerned)_ +- [ ] 5.1.b (basic) **A predictive models register** identifies all the models used by the organisation and is kept up-to-date +- [ ] 5.1.c (basic) For each model there is an **owner** defined, identifiable and easily contactable +- [ ] 5.1.d (basic) For each model, we systematically carry out a **risk assessment** following any incidents, failures or biases - [ ] 5.1.e Monitoring tools are put in place to ensure continuous monitoring of systems based on predictive models and can trigger alerts directly to the team in charge - [ ] 5.1.f For each model, we define and test a procedure for suspending the model and a degraded operating mode without the model, in order to prepare for the case where the model is subject to failure or unexpected behaviour - [ ] 5.1.g For each model, we study its entire genealogy (all the steps and choices that led to its development and evaluation), as well as its conditions and limits of validity, in order to understand the model before using it -- [ ] 5.1.h We always use the models for **uses in accordance with their conditions and limits of validity** -- [ ] 5.1.i We have not yet put in place such measures +- [ ] 5.1.h (basic) We always use the models for **uses in accordance with their conditions and limits of validity** +- [ ] 5.1.i (basic) We have not yet put in place such measures
Expl5.1 : @@ -784,7 +780,7 @@ Using automatic systems based on models whose rules have been "learned" (and not --- -Q5.2 : **Development of predictive models on behalf of third parties** +Q5.2 (basic) : **Development of predictive models on behalf of third parties** If your organisation provides or operates predictive model-based applications to customers or third parties: R5.2 : @@ -792,15 +788,15 @@ _(Type: multiple responses possible)_ _(Select all response items that correspond to practices in your organisation. Please note that some combinations would not be coherent)_ _(Specific risk domain: use of predictive models, provision or operation of predictive model-based applications for customers or third parties)_ -- [ ] 5.2.a Our organisation does not provide its customers or third parties, nor does it operates on behalf of third parties, with applications based on ML models | _(Concerned / Not concerned)_ -- [ ] 5.2.b **A predictive models register** identifies all models or applications used by its customers and/or by the organisation on behalf of third parties, and is kept up-to-date -- [ ] 5.2.c For each model or application for a customer or a third party we have a defined, identifiable and easily reachable **owner** -- [ ] 5.2.d For each model or application for a customer or a third party, we systematically carry out a **risk assessment** resulting from possible incidents, failures, biases, etc., in order to identify the risks involved +- [ ] 5.2.a (basic) Our organisation does not provide its customers or third parties, nor does it operates on behalf of third parties, with applications based on ML models | _(Concerned / Not concerned)_ +- [ ] 5.2.b (basic) **A predictive models register** identifies all models or applications used by its customers and/or by the organisation on behalf of third parties, and is kept up-to-date +- [ ] 5.2.c (basic) For each model or application for a customer or a third party we have a defined, identifiable and easily reachable **owner** +- [ ] 5.2.d (basic) For each model or application for a customer or a third party, we systematically carry out a **risk assessment** resulting from possible incidents, failures, biases, etc., in order to identify the risks involved - [ ] 5.2.e Monitoring tools are in place to ensure continuous monitoring of ML systems and can trigger alerts directly to the responsible team - [ ] 5.2.f For each model or application for a customer or a third party, we define and test a procedure for suspending the model and a degraded operating mode without the model, in order to prepare for the case where the model is subject to failure or unexpected behaviour - [ ] 5.2.g For each model or application for a client or third party, we study its entire genealogy and its conditions and limits of validity to understand the model before using it -- [ ] 5.2.h We supply our customers or operate on their behalf with models or applications for **uses in accordance with their conditions and limits of validity** -- [ ] 5.2.i We have not yet put in place such measures +- [ ] 5.2.h (basic) We supply our customers or operate on their behalf with models or applications for **uses in accordance with their conditions and limits of validity** +- [ ] 5.2.i (basic) We have not yet put in place such measures
Expl5.2 : @@ -811,7 +807,7 @@ Using automatic systems based on models whose rules have been "learned" (and not --- -Q5.3 : **Management of problematic predictions, bypass process, _human agency_** +Q5.3 (basic) : **Management of problematic predictions, bypass process, _human agency_** Automatic systems, especially when based on learned predictive models, are used in production generally to gain efficiency. By nature, they occasionally generate undesirable results for the organisation and its stakeholders (e.g. wrong prediction), as they will never achieve 100% performance. R5.3 : @@ -819,11 +815,11 @@ _(Type: single answer)_ _(Select one answer only, which best corresponds to the level of maturity of the organisation on this topic)_ _(Specific risk domain: use of predictive models, provision or operation of predictive model-based applications for customers or third parties)_ -- [ ] 5.3.a Our organisation does not use predictive models developed by machine learning on its own behalf or on behalf of its clients, and does not provide its clients with applications based on predictive models | _(Concerned / Not concerned)_ -- [ ] 5.3.b We implement ML models in integrated automatic systems, without mechanisms to overcome or avoid undesirable results due to model predictions -- [ ] 5.3.c We integrate, in automatic systems based on predictive models, the functionalities to manage these cases of undesirable results. For such cases, we set up mechanisms allowing a human operator to go against an automatic decision to manage such undesirable results or incidents -- [ ] 5.3.d In addition to incident management mechanisms, in automatic systems based on predictive models, when the confidence interval for the automatic decision is not satisfactory a human operator is called upon -- [ ] 5.3.e We systematically apply the principle of "human agency", the outputs of the predictive models that we implement are used by human operators, and do not serve as determinants for automatic decisions +- [ ] 5.3.a (basic) Our organisation does not use predictive models developed by machine learning on its own behalf or on behalf of its clients, and does not provide its clients with applications based on predictive models | _(Concerned / Not concerned)_ +- [ ] 5.3.b (basic) We implement ML models in integrated automatic systems, without mechanisms to overcome or avoid undesirable results due to model predictions +- [ ] 5.3.c (basic) We integrate, in automatic systems based on predictive models, the functionalities to manage these cases of undesirable results. For such cases, we set up mechanisms allowing a human operator to go against an automatic decision to manage such undesirable results or incidents +- [ ] 5.3.d (basic) In addition to incident management mechanisms, in automatic systems based on predictive models, when the confidence interval for the automatic decision is not satisfactory a human operator is called upon +- [ ] 5.3.e (basic) We systematically apply the principle of "human agency", the outputs of the predictive models that we implement are used by human operators, and do not serve as determinants for automatic decisions
Expl5.3 : @@ -841,18 +837,18 @@ Using automatic systems based on models whose rules have been "learned" (and not --- -Q5.4 : **Explicability and interpretability** +Q5.4 (basic) : **Explicability and interpretability** Within data science projects aiming at developing predictive models: R5.4 : _(Type: multiple responses possible)_ _(Select all response items that correspond to practices in your organisation. Please note that some combinations would not be coherent)_ -- [ ] 5.4.a Our organisation is not yet familiar with the methods and tools for explaining and interpreting predictive models -- [ ] 5.4.b We are interested in the explicability and interpretability of predictive models and are in dialogue with our stakeholders on this subject -- [ ] 5.4.c We ensure that the models we develop provide, when relevant, at least a level of confidence together with each prediction made -- [ ] 5.4.d We determine the best compromises between performance and interpretability for each model we develop, which sometimes leads us to opt for a model that is simpler to explain to the stakeholders -- [ ] 5.4.e We master and implement advanced approaches for the explicability and interpretability of models +- [ ] 5.4.a (basic) Our organisation is not yet familiar with the methods and tools for explaining and interpreting predictive models +- [ ] 5.4.b (basic) We are interested in the explicability and interpretability of predictive models and are in dialogue with our stakeholders on this subject +- [ ] 5.4.c (basic) We ensure that the models we develop provide, when relevant, at least a level of confidence together with each prediction made +- [ ] 5.4.d (basic) We determine the best compromises between performance and interpretability for each model we develop, which sometimes leads us to opt for a model that is simpler to explain to the stakeholders +- [ ] 5.4.e (basic) We master and implement advanced approaches for the explicability and interpretability of models
Expl5.4 : @@ -875,7 +871,7 @@ Technical resources such as SHAP or LIME provide a first-hand introduction to th --- -Q5.5 : **Transparency towards stakeholders interacting with a predictive model** +Q5.5 (basic) : **Transparency towards stakeholders interacting with a predictive model** Your organisation uses for its own account, provides to its customers or operates on behalf of its customers applications based on predictive models with which users can interact. What measure does it implement to inform users? R5.5 : @@ -883,10 +879,10 @@ _(Type: multiple responses possible)_ _(Select all response items that correspond to practices in your organisation. Please note that some combinations would not be coherent)_ _(Specific risk domain: use of predictive models, provision or operation of predictive model-based applications for customers or third parties)_ -- [ ] 5.5.a Our organisation does not use predictive models on its own behalf or on behalf of its clients, and does not provide its clients with applications based on predictive models | _(Concerned / Not concerned)_ -- [ ] 5.5.b Users are not informed that they are interacting with a predictive model developed with machine learning methods -- [ ] 5.5.c An information notice is made available in the terms and conditions of the system or an equivalent document, freely accessible -- [ ] 5.5.d The system or service is explicit to the user that a predictive model is being used +- [ ] 5.5.a (basic) Our organisation does not use predictive models on its own behalf or on behalf of its clients, and does not provide its clients with applications based on predictive models | _(Concerned / Not concerned)_ +- [ ] 5.5.b (basic) Users are not informed that they are interacting with a predictive model developed with machine learning methods +- [ ] 5.5.c (basic) An information notice is made available in the terms and conditions of the system or an equivalent document, freely accessible +- [ ] 5.5.d (basic) The system or service is explicit to the user that a predictive model is being used - [ ] 5.5.e The system or service provides the user with additional information on the results it would have provided in slightly different scenarios (e.g. "counterfactual explanations" such as the smallest change in input data that would have resulted in a given different output)
@@ -967,17 +963,17 @@ It is important for an organisation to question and exchange with its stakeholde --- -Q6.3 : **Ethics and non-maleficence** +Q6.3 (basic) : **Ethics and non-maleficence** Within your organisation: R6.3 : _(Type: multiple responses possible)_ _(Select all response items that correspond to practices in your organisation. Please note that some combinations would not be coherent)_ -- [ ] 6.3.a At this stage we have not yet addressed the ethical dimension of our data science projects -- [ ] 6.3.b Employees involved in data science activities receive training in ethics -- [ ] 6.3.c Our organisation has adopted an ethics policy -- [ ] 6.3.d For projects justifying it, we set up an independent ethics committee or ask for the evaluation of an organisation validating the ethics of the projects +- [ ] 6.3.a (basic) At this stage we have not yet addressed the ethical dimension of our data science projects +- [ ] 6.3.b (basic) Employees involved in data science activities receive training in ethics +- [ ] 6.3.c (basic) Our organisation has adopted an ethics policy +- [ ] 6.3.d (basic) For projects justifying it, we set up an independent ethics committee or ask for the evaluation of an organisation validating the ethics of the projects
Expl6.3 : From 06934b7dc71400580a06b45088752c4a0349e02b Mon Sep 17 00:00:00 2001 From: Eric Boniface Date: Thu, 8 Apr 2021 11:19:06 +0200 Subject: [PATCH 4/4] Finalize adding basic-advanced detouring to ENG version --- assessment_framework_eng.md | 118 ++++++++++++++++++------------------ 1 file changed, 59 insertions(+), 59 deletions(-) diff --git a/assessment_framework_eng.md b/assessment_framework_eng.md index 6c98b1e..63aefc3 100644 --- a/assessment_framework_eng.md +++ b/assessment_framework_eng.md @@ -166,7 +166,7 @@ The *Privacy Impact Assessment* (PIA) is a method for assessing the impact of a --- -Q1.7 : **Machine Learning security - Knowledge level** +Q1.7 (advanced) : **Machine Learning security - Knowledge level** _(Condition: R1.5 <> 1.5.a)_ Machine Learning security (_ML security_) is a constantly evolving field. In some cases, predictive models learned from confidential data may reveal elements of that confidential data (see articles cited in resources). Within your organisation, the general level of knowledge of collaborators working on data science projects about vulnerabilities related to ML models and the techniques to mitigate them is: @@ -174,10 +174,10 @@ R1.7 : _(Type: single answer)_ _(Select one answer only, which best corresponds to the level of maturity of the organisation on this topic)_ -- [ ] 1.7.a Complete beginner -- [ ] 1.7.b Basic -- [ ] 1.7.c Confirmed -- [ ] 1.7.d Expert +- [ ] 1.7.a (advanced) Complete beginner +- [ ] 1.7.b (advanced) Basic +- [ ] 1.7.c (advanced) Confirmed +- [ ] 1.7.d (advanced) Expert
Expl1.7 : @@ -204,7 +204,7 @@ The state of the art in ML security is constantly evolving. While it is impossib --- -Q1.8 : **Machine Learning security - Implementation** +Q1.8 (advanced) : **Machine Learning security - Implementation** _(Condition: R1.5 <> 1.5.a)_ Still on the subject of vulnerabilities related to ML models and techniques to mitigate them: @@ -212,11 +212,11 @@ R1.8 : _(Type: multiple responses possible)_ _(Select all the answer items that correspond to practices in your organisation)_ -- [ ] 1.8.a We keep a technical watch on the main attacks and measures to mitigate them -- [ ] 1.8.b Employees receive regular information and training to help them develop their skills in this area -- [ ] 1.8.c In some projects, we implement specific techniques to reduce the risks associated with the models we develop (for example: differential privacy, distillation, etc.) -- [ ] 1.8.d On each project, the vulnerabilities that apply to it and the techniques implemented are documented (e.g. in the end-to-end genealogy of each model, see Section 4 and Element 4.1 for more information on this concept) -- [ ] 1.8.e We have not yet set up an organised approach to these subjects +- [ ] 1.8.a (advanced) We keep a technical watch on the main attacks and measures to mitigate them +- [ ] 1.8.b (advanced) Employees receive regular information and training to help them develop their skills in this area +- [ ] 1.8.c (advanced) In some projects, we implement specific techniques to reduce the risks associated with the models we develop (for example: differential privacy, distillation, etc.) +- [ ] 1.8.d (advanced) On each project, the vulnerabilities that apply to it and the techniques implemented are documented (e.g. in the end-to-end genealogy of each model, see Section 4 and Element 4.1 for more information on this concept) +- [ ] 1.8.e (advanced) We have not yet set up an organised approach to these subjects
Expl1.8 : @@ -335,8 +335,8 @@ _(Select all the answer items that correspond to practices in your organisation) - [ ] 2.3.a (basic) We pay particular attention to the identification of protected attributes and their possible proxies (e.g. studying one by one the variables used as model inputs to identify the correlations they might have with sensitive data) - [ ] 2.3.b (basic) We carry out evaluations on test data from different sub-populations in order to identify possible problematic biases - [ ] 2.3.c (basic) We select and implement one or more justice and equity measure(s) (_fairness metrics_) -- [ ] 2.3.d We use _data augmentation_ or _re-weighting_ approaches to reduce possible biases in the data sets -- [ ] 2.3.e The above practices that we implement are duly documented and integrated into the end-to-end genealogy of the models concerned +- [ ] 2.3.d (advanced) We use _data augmentation_ or _re-weighting_ approaches to reduce possible biases in the data sets +- [ ] 2.3.e (advanced) The above practices that we implement are duly documented and integrated into the end-to-end genealogy of the models concerned - [ ] 2.3.f (basic) We have not yet put in place any such measures
@@ -384,8 +384,8 @@ _(Select all response items that correspond to practices in your organisation. P - [ ] 3.1.a (basic) Operates informally on this subject and relies on the competence and responsibility of the collaborators involved - [ ] 3.1.b (basic) Has a documented and systematically implemented approach to isolating test datasets -- [ ] 3.1.c Uses a tool for versioning and tracing the training and test datasets used, thus enabling the non-contamination of test data to be checked or audited at a later stage -- [ ] 3.1.d Systematically plans two or more sets of test data to increase resilience +- [ ] 3.1.c (advanced) Uses a tool for versioning and tracing the training and test datasets used, thus enabling the non-contamination of test data to be checked or audited at a later stage +- [ ] 3.1.d (advanced) Systematically plans two or more sets of test data to increase resilience
Expl3.1 : @@ -396,7 +396,7 @@ Ensuring that training and test datasets are kept separated is a principle known --- -Q3.2 : **Privacy-preserving distributed learning projects** +Q3.2 (advanced) : **Privacy-preserving distributed learning projects** In the case of data science projects based on distributed or federated learning on multiple datasets and whose confidentiality must be preserved: R3.2 : @@ -404,9 +404,9 @@ _(Type: single answer)_ _(Select one answer only, which best corresponds to the level of maturity of the organisation on this topic)_ _(Specific risk domain: federated leraning on sensitive data)_ -- [ ] 3.2.a We do not participate in *privacy-preserving* distributed learning projects | _(Concerned / Not concerned)_ -- [ ] 3.2.b We master and implement approaches to develop test datasets in such a way that there is no cross-contamination between training and test data from different partners -- [ ] 3.2.c At this stage we do not master the methods for developing test datasets in such a way that there is no cross-contamination between training and test data from the different partners +- [ ] 3.2.a (advanced) We do not participate in *privacy-preserving* distributed learning projects | _(Concerned / Not concerned)_ +- [ ] 3.2.b (advanced) We master and implement approaches to develop test datasets in such a way that there is no cross-contamination between training and test data from different partners +- [ ] 3.2.c (advanced) At this stage we do not master the methods for developing test datasets in such a way that there is no cross-contamination between training and test data from the different partners
Expl3.2 : @@ -453,7 +453,7 @@ _(Select all the answer items that correspond to practices in your organisation) - [ ] 3.4.a (basic) When developing a model, we choose the performance metric(s) prior to actually training the model, from among the most standard metrics possible - [ ] 3.4.b (basic) The implementation of robustness metrics is considered and evaluated for each modelling project, and applied by default in cases where the input data may be subject to fine-grain alterations (e.g. images, sounds) -- [ ] 3.4.c The above practices that we implement are documented and integrated into the end-to-end genealogy of the models concerned, including the performance metrics chosen +- [ ] 3.4.c (advanced) The above practices that we implement are documented and integrated into the end-to-end genealogy of the models concerned, including the performance metrics chosen - [ ] 3.4.d (basic) We have not yet introduced any such measures
@@ -487,8 +487,8 @@ _(Specific risk domain: use of predictive models in production systems)_ - [ ] 3.5.a (basic) The models we develop are not used in production systems | _(Concerned / Not concerned)_ - [ ] 3.5.b (basic) Performance is systematically re-evaluated when the model is updated - [ ] 3.5.c (basic) Performance is systematically re-evaluated when the context in which the model is used evolves, which may create a risk on the performance of the model due to the evolution of the input data space -- [ ] 3.5.d The distribution of input data is monitored, and performance is regularly re-evaluated on the basis of updated test data -- [ ] 3.5.e Random checks are carried out on predictions to check their consistency +- [ ] 3.5.d (advanced) The distribution of input data is monitored, and performance is regularly re-evaluated on the basis of updated test data +- [ ] 3.5.e (advanced) Random checks are carried out on predictions to check their consistency - [ ] 3.5.f (basic) We do not systematically set up this type of measure
@@ -510,17 +510,17 @@ Monitoring the performance of models over time is also particularly important in --- -Q3.6 : **Decision making and ranges of indecision** +Q3.6 (advanced) : **Decision making and ranges of indecision** For the definition of decision thresholds for models or automatic systems based on them, your organisation: R3.6 : _(Type: multiple responses possible)_ _(Select all response items that correspond to practices in your organisation. Please note that some combinations would not be coherent)_ -- [ ] 3.6.a Operates informally on this subject and relies on the competence and responsibility of the collaborators involved -- [ ] 3.6.b Has a documented approach that is systematically implemented -- [ ] 3.6.c Takes into account the possibility of maintaining ranges of indecision in certain cases -- [ ] 3.6.d The choices made for each model and implemented are documented and integrated into the end-to-end genealogy of the models concerned. +- [ ] 3.6.a (advanced) Operates informally on this subject and relies on the competence and responsibility of the collaborators involved +- [ ] 3.6.b (advanced) Has a documented approach that is systematically implemented +- [ ] 3.6.c (advanced) Takes into account the possibility of maintaining ranges of indecision in certain cases +- [ ] 3.6.d (advanced) The choices made for each model and implemented are documented and integrated into the end-to-end genealogy of the models concerned.
Expl3.6 : @@ -578,17 +578,17 @@ A predictive model is a complex object that can evolve over time. Tracing the st --- -Q4.1 : **"End-to-end genealogy" of ML models** +Q4.1 (advanced) : **"End-to-end genealogy" of ML models** Ensuring the traceability of all steps of the development of a predictive model enables building up a form of **genalogy**. Within your organisation, an end-to-end genealogy of models is fed and maintained within the framework of data science projects, throughout the phases of data collection, design, training, validation and exploitation of the predictive models: R4.1 : _(Type: single answer)_ _(Select one answer only, which best corresponds to the level of maturity of the organisation on this topic)_ -- [ ] 4.1.a At this stage we have not implemented any such approach -- [ ] 4.1.b This information exists and is recorded so as not to be lost, but it may be scattered and it is not versioned -- [ ] 4.1.c They are compiled in a single document which systematically accompanies the model -- [ ] 4.1.d They are gathered in a single document that systematically accompanies the model and is versioned +- [ ] 4.1.a (advanced) At this stage we have not implemented any such approach +- [ ] 4.1.b (advanced) This information exists and is recorded so as not to be lost, but it may be scattered and it is not versioned +- [ ] 4.1.c (advanced) They are compiled in a single document which systematically accompanies the model +- [ ] 4.1.d (advanced) They are gathered in a single document that systematically accompanies the model and is versioned
Expl4.1 : @@ -639,16 +639,16 @@ The aim is to make explicit and add to the model the description of the context --- -Q4.3 : **Analysis and publications of incidents reports** +Q4.3 (advanced) : **Analysis and publications of incidents reports** In data science projects, when unexpected behaviour of a model is observed: R4.3 : _(Type: multiple responses possible)_ _(Select all response items that correspond to practices in your organisation. Please note that some combinations would not be coherent)_ -- [ ] 4.3.a At this stage we do not analyse the incidents or unexpected behaviour observed -- [ ] 4.3.b We analyse incidents or unexpected behaviour encountered and publish them when relevant (e.g. article, blog) -- [ ] 4.3.c We get involved in clubs, networks or professional associations in the field of data science, and give feedback on incidents of unexpected behaviour that we observe +- [ ] 4.3.a (advanced) At this stage we do not analyse the incidents or unexpected behaviour observed +- [ ] 4.3.b (advanced) We analyse incidents or unexpected behaviour encountered and publish them when relevant (e.g. article, blog) +- [ ] 4.3.c (advanced) We get involved in clubs, networks or professional associations in the field of data science, and give feedback on incidents of unexpected behaviour that we observe
Expl4.3 : @@ -712,7 +712,7 @@ As in the reference frameworks of IS management (ISO 27001) or GDPR in the Europ --- -Q4.6 : **Distribution of the value creation** +Q4.6 (advanced) : **Distribution of the value creation** In the case of data science projects where several partners work alongside your organisation to develop a model, and that model is or will be the subject of an economic activity: R4.6 : @@ -720,10 +720,10 @@ _(Type: multiple responses possible)_ _(Select all response items that correspond to practices in your organisation. Please note that some combinations would not be coherent)_ _(Specific risk domain: roles and responsibilities in data science projects are divided up multiple actors)_ -- [ ] 4.6.a Our organisation carries out its data science activities autonomously, including the development of datasets and the exploitation of models for its own account. It is therefore not concerned | _(Concerned / Not concerned)_ -- [ ] 4.6.b At this stage we have not structured this aspect of multi-partner data science projects -- [ ] 4.6.c In these cases, we contract the economic aspect of the relationship with the stakeholders involved upstream of the project -- [ ] 4.6.d Our organisation has a policy that responsibly frames the sharing of value with the stakeholders involved +- [ ] 4.6.a (advanced) Our organisation carries out its data science activities autonomously, including the development of datasets and the exploitation of models for its own account. It is therefore not concerned | _(Concerned / Not concerned)_ +- [ ] 4.6.b (advanced) At this stage we have not structured this aspect of multi-partner data science projects +- [ ] 4.6.c (advanced) In these cases, we contract the economic aspect of the relationship with the stakeholders involved upstream of the project +- [ ] 4.6.d (advanced) Our organisation has a policy that responsibly frames the sharing of value with the stakeholders involved
Expl4.6 : @@ -765,9 +765,9 @@ _(Specific risk domain: use of predictive models, provision or operation of pred - [ ] 5.1.b (basic) **A predictive models register** identifies all the models used by the organisation and is kept up-to-date - [ ] 5.1.c (basic) For each model there is an **owner** defined, identifiable and easily contactable - [ ] 5.1.d (basic) For each model, we systematically carry out a **risk assessment** following any incidents, failures or biases -- [ ] 5.1.e Monitoring tools are put in place to ensure continuous monitoring of systems based on predictive models and can trigger alerts directly to the team in charge -- [ ] 5.1.f For each model, we define and test a procedure for suspending the model and a degraded operating mode without the model, in order to prepare for the case where the model is subject to failure or unexpected behaviour -- [ ] 5.1.g For each model, we study its entire genealogy (all the steps and choices that led to its development and evaluation), as well as its conditions and limits of validity, in order to understand the model before using it +- [ ] 5.1.e (advanced) Monitoring tools are put in place to ensure continuous monitoring of systems based on predictive models and can trigger alerts directly to the team in charge +- [ ] 5.1.f (advanced) For each model, we define and test a procedure for suspending the model and a degraded operating mode without the model, in order to prepare for the case where the model is subject to failure or unexpected behaviour +- [ ] 5.1.g (advanced) For each model, we study its entire genealogy (all the steps and choices that led to its development and evaluation), as well as its conditions and limits of validity, in order to understand the model before using it - [ ] 5.1.h (basic) We always use the models for **uses in accordance with their conditions and limits of validity** - [ ] 5.1.i (basic) We have not yet put in place such measures @@ -792,9 +792,9 @@ _(Specific risk domain: use of predictive models, provision or operation of pred - [ ] 5.2.b (basic) **A predictive models register** identifies all models or applications used by its customers and/or by the organisation on behalf of third parties, and is kept up-to-date - [ ] 5.2.c (basic) For each model or application for a customer or a third party we have a defined, identifiable and easily reachable **owner** - [ ] 5.2.d (basic) For each model or application for a customer or a third party, we systematically carry out a **risk assessment** resulting from possible incidents, failures, biases, etc., in order to identify the risks involved -- [ ] 5.2.e Monitoring tools are in place to ensure continuous monitoring of ML systems and can trigger alerts directly to the responsible team -- [ ] 5.2.f For each model or application for a customer or a third party, we define and test a procedure for suspending the model and a degraded operating mode without the model, in order to prepare for the case where the model is subject to failure or unexpected behaviour -- [ ] 5.2.g For each model or application for a client or third party, we study its entire genealogy and its conditions and limits of validity to understand the model before using it +- [ ] 5.2.e (advanced) Monitoring tools are in place to ensure continuous monitoring of ML systems and can trigger alerts directly to the responsible team +- [ ] 5.2.f (advanced) For each model or application for a customer or a third party, we define and test a procedure for suspending the model and a degraded operating mode without the model, in order to prepare for the case where the model is subject to failure or unexpected behaviour +- [ ] 5.2.g (advanced) For each model or application for a client or third party, we study its entire genealogy and its conditions and limits of validity to understand the model before using it - [ ] 5.2.h (basic) We supply our customers or operate on their behalf with models or applications for **uses in accordance with their conditions and limits of validity** - [ ] 5.2.i (basic) We have not yet put in place such measures @@ -883,7 +883,7 @@ _(Specific risk domain: use of predictive models, provision or operation of pred - [ ] 5.5.b (basic) Users are not informed that they are interacting with a predictive model developed with machine learning methods - [ ] 5.5.c (basic) An information notice is made available in the terms and conditions of the system or an equivalent document, freely accessible - [ ] 5.5.d (basic) The system or service is explicit to the user that a predictive model is being used -- [ ] 5.5.e The system or service provides the user with additional information on the results it would have provided in slightly different scenarios (e.g. "counterfactual explanations" such as the smallest change in input data that would have resulted in a given different output) +- [ ] 5.5.e (advanced) The system or service provides the user with additional information on the results it would have provided in slightly different scenarios (e.g. "counterfactual explanations" such as the smallest change in input data that would have resulted in a given different output)
Expl5.5 : @@ -913,17 +913,17 @@ The implementation of an automatic system based on a predictive model can genera --- -Q6.1 : **CO2 impact** +Q6.1 (advanced) : **CO2 impact** About the CO2 impact of the data science activity in your organisation: R6.1 : _(Type: single answer)_ _(Select one answer only, which best corresponds to the level of maturity of the organisation on this topic)_ -- [ ] 6.1.a At this stage we have not looked at the CO2 impact of our data science activity or our predictive models -- [ ] 6.1.b We have developed indicators that define what we want to measure -- [ ] 6.1.c We measure our indicators regularly and include their measurements in the end-to-end genealogies of the models -- [ ] 6.1.d Monitoring our indicators on a regular basis is a formalised and controlled process, from which we set ourselves improvement objectives +- [ ] 6.1.a (advanced) At this stage we have not looked at the CO2 impact of our data science activity or our predictive models +- [ ] 6.1.b (advanced) We have developed indicators that define what we want to measure +- [ ] 6.1.c (advanced) We measure our indicators regularly and include their measurements in the end-to-end genealogies of the models +- [ ] 6.1.d (advanced) Monitoring our indicators on a regular basis is a formalised and controlled process, from which we set ourselves improvement objectives
Expl6.1 : @@ -941,18 +941,18 @@ It is important to question and raise awareness of environmental costs. --- -Q6.2 : **Social impact** +Q6.2 (advanced) : **Social impact** In some cases, the implementation of an automatic system based on a predictive model can generate negative externalities on upstream stakeholders (e.g. annotation of data), and on downstream stakeholders (e.g. automation of certain positions). Whenever you plan to develop or use a predictive model, your organisation: R6.2 : _(Type: single answer)_ _(Select one answer only, which best corresponds to the level of maturity of the organisation on this topic)_ -- [ ] 6.2.a At this stage we are not looking at the social impact of our data science activity or our predictive models -- [ ] 6.2.b In some cases we study the social impact -- [ ] 6.2.c We study the social impact in each project -- [ ] 6.2.d We study the social impact in each project and it is documented in the end-to-end genealogy of each model -- [ ] 6.2.e We study the social impact in each project, it is documented in the end-to-end genealogy of each model, and we systematically engage in a dialogue with the relevant stakeholders upstream and downstream the value chain. +- [ ] 6.2.a (advanced) At this stage we are not looking at the social impact of our data science activity or our predictive models +- [ ] 6.2.b (advanced) In some cases we study the social impact +- [ ] 6.2.c (advanced) We study the social impact in each project +- [ ] 6.2.d (advanced) We study the social impact in each project and it is documented in the end-to-end genealogy of each model +- [ ] 6.2.e (advanced) We study the social impact in each project, it is documented in the end-to-end genealogy of each model, and we systematically engage in a dialogue with the relevant stakeholders upstream and downstream the value chain.
Expl6.2 :