From 2f3fa653bb9bccdeed9e82cd9f9a107d130a0e57 Mon Sep 17 00:00:00 2001 From: ruthkoole Date: Thu, 19 Dec 2024 12:57:40 +0100 Subject: [PATCH 01/14] fix broken links --- docs/onderwerpen/data.md | 2 +- docs/overhetalgoritmekader/soorten-algoritmes.md | 2 +- docs/rollen/beleid-en-advies.md | 2 +- .../maatregelen/0-org-09-governance-per-risicocategorie.md | 2 +- .../maatregelen/1-pba-03-onderbouwen-gebruik-algoritme.md | 4 ++-- .../maatregelen/1-pba-04-betrek-belanghebbenden.md | 2 +- .../2-owp-15-bespreek-vereisten-met-aanbieders.md | 2 +- .../2-owp-36-voorkom-kwetsbaarheden-supplychain.md | 2 +- ...onvermelding.md => 2-owp-37-genereren-bronvermelding.md} | 6 +++--- .../maatregelen/3-dat-01-datakwaliteit.md | 6 +++--- .../maatregelen/3-dat-09-dataminimalisatie.md | 6 +----- .../maatregelen/5-ver-06-evalueer-betrouwbaarheid.md | 2 +- .../maatregelen/6-imp-03-menselijke-tussenkomst.md | 4 ++-- .../maatregelen/8-uit-01-archiveren.md | 2 +- ...en-AI-praktijken.md => aia-00-verboden-AI-praktijken.md} | 4 ++-- .../vereisten/aia-03-risicobeheersysteem.md | 2 +- .../vereisten/aia-05-data-kwaliteitscriteria.md | 4 ++-- .../vereisten/aia-28-transparantieverplichtingen.md | 2 +- .../vereisten/awb-01-zorgvuldigheidsbeginsel.md | 6 +++--- 19 files changed, 29 insertions(+), 33 deletions(-) rename docs/voldoen-aan-wetten-en-regels/maatregelen/{2-owp-31-genereren-bronvermelding.md => 2-owp-37-genereren-bronvermelding.md} (89%) rename docs/voldoen-aan-wetten-en-regels/vereisten/{aia-01-verboden-AI-praktijken.md => aia-00-verboden-AI-praktijken.md} (97%) diff --git a/docs/onderwerpen/data.md b/docs/onderwerpen/data.md index 4c85a863b1..a4d89904db 100644 --- a/docs/onderwerpen/data.md +++ b/docs/onderwerpen/data.md @@ -56,7 +56,7 @@ Met verantwoord datagebruik voorkom je: ### Bescherming van cruciale infrastructuurdata Niet alleen persoonsgegevens, maar ook gegevens over de Nederlandse infrastructuur vragen om verantwoord datagebruik. Dit omvat zowel fysieke infrastructuur, zoals wegen, bruggen, tunnels en energievoorzieningen, als digitale infrastructuur, zoals datakabels en datacentra. -Het ongecontroleerd delen of gebruiken van deze gegevens, bijvoorbeeld voor het trainen van buitenlandse AI-toepassingen, kan risico’s opleveren voor de nationale veiligheid en de continuïteit van vitale systemen. Overheden en organisaties moeten deze data goed [beveiligen](technische-robuustheid-en-veiligheid.md) en duidelijke [kaders opstellen](../voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid_opstellen_inzet_algoritmes.md) om verantwoord gebruik te waarborgen. +Het ongecontroleerd delen of gebruiken van deze gegevens, bijvoorbeeld voor het trainen van buitenlandse AI-toepassingen, kan risico’s opleveren voor de nationale veiligheid en de continuïteit van vitale systemen. Overheden en organisaties moeten deze data goed [beveiligen](technische-robuustheid-en-veiligheid.md) en duidelijke [kaders opstellen](../voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid-opstellen-inzet-algoritmes.md) om verantwoord gebruik te waarborgen. ## Vereisten { data-search-exclude } diff --git a/docs/overhetalgoritmekader/soorten-algoritmes.md b/docs/overhetalgoritmekader/soorten-algoritmes.md index 254fef5ce1..c31f842120 100644 --- a/docs/overhetalgoritmekader/soorten-algoritmes.md +++ b/docs/overhetalgoritmekader/soorten-algoritmes.md @@ -41,7 +41,7 @@ Zelflerende technieken zijn in elk geval: * **Deep learning**: Supervised, unsupervised of reinforcement learning gecombineerd met diepe neurale netwerken. Dit zijn kunstmatige neurale netwerken met veel verschillende lagen. Hierdoor kun je nog ingewikkeldere problemen oplossen. Voorbeeld: [Geautomatiseerde gezichtsvergelijking bij het RNI-inschrijfproces](https://algoritmes.overheid.nl/nl/algoritme/geautomatiseerde-gezichtsvergelijking-bij-het-rniinschrijfproces-rijksdienst-voor-identiteitsgegevens/18814864). ## AI-systeem -Met een AI-systeem bedoelen we een systeem dat kunstmatig intelligent is volgens de [Europese AI-verordening](../voldoen-aan-wetten-en-regels/ai-verordening.md#definitie-van-een-ai-systeem). Dit zijn in elk geval systemen die gebruik maken van: +Met een AI-systeem bedoelen we een systeem dat kunstmatig intelligent is volgens de [Europese AI-verordening](../voldoen-aan-wetten-en-regels/ai-verordening.md#ai-systeem). Dit zijn in elk geval systemen die gebruik maken van: * supervised learning * unsupervised learning diff --git a/docs/rollen/beleid-en-advies.md b/docs/rollen/beleid-en-advies.md index 90dfb32aef..07e7e72b1e 100644 --- a/docs/rollen/beleid-en-advies.md +++ b/docs/rollen/beleid-en-advies.md @@ -7,7 +7,7 @@ hide: # Beleid en advies Professionals op het gebied van beleid en advies zorgen ervoor dat de organisatie algoritmes verantwoord en in lijn met beleidsdoelen ontwikkelt en inzet. -Zij dragen bij aan impact-assessments, risicobeoordelingen en [beleidsplannen over algoritmes](../vodoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid_opstellen_inzet_algoritmes.md). En zij helpen bij het signaleren en mitigeren van potentiële risico’s, zoals onbedoelde [bias](../onderwerpen/bias-en-non-discriminatie.md) of risico's op het gebied van [privacy](../onderwerpen/privacy-en-gegevensbescherming.md). +Zij dragen bij aan impact-assessments, risicobeoordelingen en [beleidsplannen over algoritmes](../voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid-opstellen-inzet-algoritmes.md). En zij helpen bij het signaleren en mitigeren van potentiële risico’s, zoals onbedoelde [bias](../onderwerpen/bias-en-non-discriminatie.md) of risico's op het gebied van [privacy](../onderwerpen/privacy-en-gegevensbescherming.md). Door hun brede blik en specialistische kennis ondersteunen zij adviseurs bij het opstellen en vertalen van beleidskaders naar concrete maatregelen en adviezen. Zij vormen zo een verbindende factor tussen de technische, organisatorische en bestuurlijke aspecten van algoritmeontwikkeling. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md index 313b341a9f..1f06a30544 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md @@ -38,7 +38,7 @@ Richt algoritmegovernance in op basis van de risicoclassificatie van algoritmes. !!! example "Ministerie van Economische Zaken: Gids AI-verordening" _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ - Het ministerie van Economische Zaken (EZ) heeft een gids opgesteld voor de AI-verordening. Hierin worden vier stappen toegelicht: Risico, AI, Rol en Verplichtingen. Om te identificeren welke AI-systemen of algoritmes hoog-risico zijn is het aan te raden om deze gids te bekijken. Meer informatie over de AI-verordening is ook te vinden op ["AI-verordening in het kort"](../voldoen-aan-wetten-en-regels/ai-verordening.md) + Het ministerie van Economische Zaken (EZ) heeft een gids opgesteld voor de AI-verordening. Hierin worden vier stappen toegelicht: Risico, AI, Rol en Verplichtingen. Om te identificeren welke AI-systemen of algoritmes hoog-risico zijn is het aan te raden om deze gids te bekijken. Meer informatie over de AI-verordening is ook te vinden op ["AI-verordening in het kort"](../ai-verordening.md) Naast de classificatie staat er in deze gids vanaf pagina 11 ook aan welke verplichtingen een aanbieder en gebruiksverantwoordelijke moeten voldoen voor hoog-risico AI, AI voor algemene doeleinden, generatieve AI en chatbots, maar niet voor overige AI. Bron: [Gids AI-verordening](https://www.rijksoverheid.nl/documenten/brochures/2024/10/16/gids-ai-verordening) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/1-pba-03-onderbouwen-gebruik-algoritme.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/1-pba-03-onderbouwen-gebruik-algoritme.md index bd60b1c584..b2b060cb4c 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/1-pba-03-onderbouwen-gebruik-algoritme.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/1-pba-03-onderbouwen-gebruik-algoritme.md @@ -3,7 +3,7 @@ title: Beschrijf waarom een algoritme het probleem moet oplossen id: urn:nl:ak:mtr:pba-03 toelichting: Bepaal en documenteer waarom het gewenst of nodig is om een algoritme in te zetten om het probleem te kunnen aanpakken. vereiste: -- aia-01-verboden-AI-praktijken +- aia-00-verboden-AI-praktijken - awb-01-zorgvuldigheidsbeginsel levenscyclus: - probleemanalyse @@ -29,7 +29,7 @@ Documenteer de onderbouwing waarom een algoritme een betere oplossing zou bieden - Maak een bewuste afweging of een algoritme het juiste middel is om [het probleem](1-pba-01-formuleren-probleemdefinitie.md) op doelmatige en doeltreffende wijze op te lossen, en documenteer deze afweging. -- Beoordeel of de gewenste oplossing is [toegestaan op grond van de AI-Verordening](aia-01-verboden-AI-praktijken.md). +- Beoordeel of de gewenste oplossing is [toegestaan op grond van de AI-Verordening](../vereisten/aia-00-verboden-AI-praktijken.md). ## Risico Het algoritme is niet het juiste middel om het probleem op te lossen. Het risico daarbij bestaat dat het probleem niet wordt opgelost. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/1-pba-04-betrek-belanghebbenden.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/1-pba-04-betrek-belanghebbenden.md index 49b36aa773..92430a2bf9 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/1-pba-04-betrek-belanghebbenden.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/1-pba-04-betrek-belanghebbenden.md @@ -55,7 +55,7 @@ Enkele voorbeelden hierbij zijn: - [Toetsingskader Algemene Rekenkamer 2.12](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) - [Ethics Guidelines for Trustworthy AI](https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai) - [Onderzoekskader Algoritmes Auditdienst Rijk, SV.10](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) -- [Framework for Meaningful Engagement](framework-meaningful-engagement.md) +- [Framework for Meaningful Engagement](../hulpmiddelen/framework-meaningful-engagement.md) ## Risico diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-15-bespreek-vereisten-met-aanbieders.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-15-bespreek-vereisten-met-aanbieders.md index e93abb5b38..c46ba1bd01 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-15-bespreek-vereisten-met-aanbieders.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-15-bespreek-vereisten-met-aanbieders.md @@ -95,7 +95,7 @@ Bespreek de vereiste die gelden voor een verantwoorde inzet van algoritmes met e Ga met een aanbieder in gesprek over in hoeverre zij invulling kunnen geven aan de vereisten die gelden voor een verantwoorde inzet van algoritmes. Dit kan worden gedaan bijvoorbeeld bij een informatiesessie met aanbieders voorafgaand aan een aanbesteding. -Hiervoor is het van belang om te bepalen om wat voor [type algoritme het gaat en wat de bijbehorende risicoclassificatie](2-owp-05-soort-algoritme) is. Maak op basis daarvan inzichtelijk welke vereisten hierop van toepassing zijn. +Hiervoor is het van belang om te bepalen om wat voor [type algoritme het gaat en wat de bijbehorende risicoclassificatie](2-owp-05-soort-algoritme.md) is. Maak op basis daarvan inzichtelijk welke vereisten hierop van toepassing zijn. Op basis van nieuwe of gewijzigde wet- en regelgeving of de totstandkoming van nieuwe standaard, is het denkbaar dat aanbieders van algoritmes nog niet of niet meer voldoet aan deze vereisten. Het is van belang om deze inzichten bijvoorbeeld tijdens een aanbesteding worden verkregen. Indien van toepassing, laat de aanbieder inzichtelijk maken welke stappen deze gaat zetten om hieraan te gaan voldoen. Dit is ook relevant bij reeds afgesloten contracten. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-36-voorkom-kwetsbaarheden-supplychain.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-36-voorkom-kwetsbaarheden-supplychain.md index 8a60bfefde..1e8b2ee64a 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-36-voorkom-kwetsbaarheden-supplychain.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-36-voorkom-kwetsbaarheden-supplychain.md @@ -35,7 +35,7 @@ Redenen om dit te doen zijn het reeds beschikbaar zijn van een voorgetraind algo Echter is het een stuk lastiger om deze modellen te beschermen tegen aanvallen zoals [backdoors] omdat er geen (directe) controle is op het correct uitvoeren van een trainingsproces. Een eerste stap is om in kaart te brengen welke afhankelijkheden er zijn en te onderzoeken of deze beheersbaar zijn. -Er moeten er duidelijke afspraken gemaakt worden met leveranciers, bijvoorbeeld in de vorm van een [Service Level Agreement (SLA)](2-owp-26-maak-vereisten-onderdeel-van-service-level-agreement.md). +Er moeten er duidelijke afspraken gemaakt worden met leveranciers, bijvoorbeeld in de vorm van een [Service Level Agreement (SLA)](2-owp-29-maak-vereisten-onderdeel-van-service-level-agreement.md). Op deze manier kan bijvoorbeeld afgesproken wie er verantwoordelijk is voor bijvoorbeeld het correct trainen en functioneren van het algoritme en hoe incidenten afgehandeld moeten worden. Tot slot kunnen extra maatregelen genomen worden om te verifiëren dat het model inderdaad functioneert zoals afgesproken. Zo kunnen er formele methodes gebruikt worden om het algoritme te verifiëren, en kan het gedrag van het algoritme getest worden tegen bekende, foutieve invoerwaarden. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-31-genereren-bronvermelding.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-37-genereren-bronvermelding.md similarity index 89% rename from docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-31-genereren-bronvermelding.md rename to docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-37-genereren-bronvermelding.md index 3bc41ce43a..daefc25d88 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-31-genereren-bronvermelding.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-37-genereren-bronvermelding.md @@ -1,6 +1,6 @@ --- title: Maak gebruik van een algoritme dat bronvermelding kan genereren bij de output. -id: urn:nl:ak:mtr:imp-10 +id: urn:nl:ak:mtr:owp-37 toelichting: Kies bij het ontwikkelen of inkopen een algoritme dat bronvermelding kan genereren bij de output, zodat een beoordeling kan worden gegeven of het algoritme naar behoren functioneert. vereiste: - dat-01-databankenwet @@ -32,12 +32,12 @@ Maak gebruik van een algoritme dat bronvermelding kan genereren bij de output. ## Toelichting Bij het gebruik van generatieve AI/LLM’s is bronvermelding van belang. -Hiermee kan tot op zekere hoogte een beoordeling worden gegeven in hoeverre bij het trainen van het AI-model [rechtmatig](aut-01-auteursrechten.md) [gebruik](dat-01-databankenwet.md) is gemaakt van bronnen. +Hiermee kan tot op zekere hoogte een beoordeling worden gegeven in hoeverre bij het trainen van het AI-model [rechtmatig](../vereisten/aut-01-auteursrechten.md) [gebruik](../vereisten/dat-01-databankenwet.md) is gemaakt van bronnen. Bronvermelding is daarnaast essentieel om de output van het AI-model [inhoudelijk te kunnen controleren](../../levenscyclus/verificatie-en-validatie.md), wat ook informatie geeft in hoeverre het AI-model bijvoorbeeld al dan niet hallucineert of manipuleert. Voor het ontwikkelen van een AI-model is bronvermelding noodzakelijk, omdat het voor ontwikkelaars de enige manier is om te kunnen controleren of het model goed werkt. Dit geldt ook voor ontwikkelaars die pre-trained modellen gebruiken. -Neem het kunnen generenen van een bronvermelding mee als een 'requirement' voor het te ontwikkelen AI-model in de ontwerpfase of maakt het onderdeel van de behoeftestelling en [specificeer deze behoefte](2-owp-25-maak-vereisten-onderdeel-van-programma-van-eisen.md) in het inkoopproces. +Neem het kunnen generenen van een bronvermelding mee als een 'requirement' voor het te ontwikkelen AI-model in de ontwerpfase of maakt het onderdeel van de behoeftestelling en [specificeer deze behoefte](2-owp-28-maak-vereisten-onderdeel-van-programma-van-eisen.md) in het inkoopproces. ## Bijbehorende vereiste(n) { data-search-exclude } diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-01-datakwaliteit.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-01-datakwaliteit.md index 33c18642e6..1bdaa9f398 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-01-datakwaliteit.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-01-datakwaliteit.md @@ -42,9 +42,9 @@ Stel vast of de gebruikte data van voldoende kwaliteit is voor de beoogde toepas - De vraag of de data kwaliteit voldoende is, hangt sterk samen met de vraag of er bias in de onderliggende data zit. Analyseer daarom ook welke bias en aannames er besloten zijn in de onderliggende data. Denk hierbij onder andere aan de volgende vormen van bias: - - [historische bias](../../onderwerpen/bias-en-non-discriminatie.md#verschillende-vormen-van-bias) - - [meetbias](../../onderwerpen/bias-en-non-discriminatie.md#verschillende-vormen-van-bias) - - [representatie bias](../../onderwerpen/bias-en-non-discriminatie.md#verschillende-vormen-van-bias) + - [historische bias](../../onderwerpen/bias-en-non-discriminatie.md#herken-bias) + - [meetbias](../../onderwerpen/bias-en-non-discriminatie.md#herken-bias) + - [representatie bias](../../onderwerpen/bias-en-non-discriminatie.md#herken-bias) - Zorg dat je data [vindbaar, toegankelijk, interoperabel en herbruikbaar (FAIR)](3-dat-02-fair-data.md) is. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-09-dataminimalisatie.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-09-dataminimalisatie.md index 4e2a0fd0ff..3cc8332b90 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-09-dataminimalisatie.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-09-dataminimalisatie.md @@ -45,12 +45,8 @@ Zonder dataminimalisatie loopt je organisatie het risico op onnodig hoge energie De Basisregistratie Personen (BRP) heeft in 2023 een experiment uitgevoerd rondom dataminimalisatie. BRP-gegevens zoals naam en geslacht werden vertaald naar direct bruikbare informatie zoals aanschrijfnaam. Op deze manier werd informatie op een efficiëntere manier doorgegeven. Het experiment van BRP is een indirecte vorm van energie-efficiëntie omdat er minder (onnodige) data verstrekt wordt aan de aanvrager. Hierdoor hoeft de aanvrager minder data op te slaan en te verwerken. - - Bron: [Experimentbesluit BRP dataminimalisatie]([https://www.nationaalarchief.nl/archiveren/kennisbank/selectielijst-voor-het-uitvoeringsinstituut-werknemersverzekeringen-uwv-voor](https://www.internetconsultatie.nl/experimentbesluitbrp/b1)) - - - + Bron: [Experimentbesluit BRP dataminimalisatie](https://www.internetconsultatie.nl/experimentbesluitbrp/b1) ## Bronnen - [Onderzoekskader Auditdienst Rijk, PRI.5](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-06-evalueer-betrouwbaarheid.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-06-evalueer-betrouwbaarheid.md index 5bf5e91c2e..580442c95e 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-06-evalueer-betrouwbaarheid.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-06-evalueer-betrouwbaarheid.md @@ -55,7 +55,7 @@ Onderzoek of er specifieke situaties of omstandigheden zijn waarvan bekend is da ??? example "Voorbeeld" - Analyseer welke veranderingen of wisselingen in de [inputdata](2-owp-02-gebruikte-data.md) er kunnen plaatsvinden. Bijvoorbeeld door economische schommelingen of door veranderingen in gebruikersgedrag. Test of het algoritme goed blijft presteren onder deze omstandigheden. + Analyseer welke veranderingen of wisselingen in de [inputdata](2-owp-11-gebruikte-data.md) er kunnen plaatsvinden. Bijvoorbeeld door economische schommelingen of door veranderingen in gebruikersgedrag. Test of het algoritme goed blijft presteren onder deze omstandigheden. ??? example "Voorbeeld" diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md index 6f5327bbeb..d42d2738a2 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md @@ -31,7 +31,7 @@ Richt (technische) controlemechanismen in voor menselijke tussenkomst (of: mense ## Toelichting -Algoritmes ondersteunen vaak beslissingen en besluitvorming van overheidsorganisaties. Deze beslissingen of besluiten kunnen betrokkenen in [aanmerkelijke mate raken of zelfs rechtsgevolgen](avg-10-recht-op-niet-geautomatiseerde-besluitvorming.md) hebben. Omdat algoritmes niet foutloos zijn, is het belangrijk dat een mens controleert wat een algoritme doet en, waar nodig, corrigeert. Dit proces heet 'menselijke tussenkomst' en moet betekenisvol zijn, niet slechts symbolisch. +Algoritmes ondersteunen vaak beslissingen en besluitvorming van overheidsorganisaties. Deze beslissingen of besluiten kunnen betrokkenen in [aanmerkelijke mate raken of zelfs rechtsgevolgen](../vereisten/avg-10-recht-op-niet-geautomatiseerde-besluitvorming.md) hebben. Omdat algoritmes niet foutloos zijn, is het belangrijk dat een mens controleert wat een algoritme doet en, waar nodig, corrigeert. Dit proces heet 'menselijke tussenkomst' en moet betekenisvol zijn, niet slechts symbolisch. Het inrichten, monitoren en evalueren van menselijke controle is cruciaal om te voorkomen dat algoritmes negatieve effecten veroorzaken of de menselijke autonomie ondermijnen. @@ -78,7 +78,7 @@ Het niet inrichten van passende menselijke controle leidt tot onverantwoorde inz ## Bronnen - [Toetsingskader Algoritmes Algemene Rekenkamer, 2.01](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) - - [Menselijke tussenkomst | Algoritmes | Algemene Rekenkamer](https://www.rekenkamer.nl/onderwerpen/algoritmes/toetsingskader/ethiek/menselijke-tussenkomst) +- [Menselijke tussenkomst | Algoritmes | Algemene Rekenkamer](https://www.rekenkamer.nl/onderwerpen/algoritmes/toetsingskader/ethiek/menselijke-tussenkomst) - [Onderzoekskader Algoritmes Auditdienst Rijk, SV.5, SV.6](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) - [Advies over geautomatiseerde selectietechniek Pels Rijcken, p.9](https://open.overheid.nl/documenten/6b5b5d5b-fdc1-4333-a11e-f89d3627a0f5/file) - [Recht op een menselijke blik bij besluiten | Autoriteit Persoonsgegevens](https://www.autoriteitpersoonsgegevens.nl/themas/basis-avg/privacyrechten-avg/recht-op-een-menselijke-blik-bij-besluiten#:~:text=Reactie%20op%20verzoek-,Geautomatiseerd%20besluit,noemen%20dit%20een%20geautomatiseerd%20besluit.) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/8-uit-01-archiveren.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/8-uit-01-archiveren.md index dc88d0646d..b7262d35ed 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/8-uit-01-archiveren.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/8-uit-01-archiveren.md @@ -30,7 +30,7 @@ Verwijder bij [uitfasering](../../levenscyclus/uitfaseren.md) van je algoritme g ## Toelichting Als het doel van het algoritme niet langer bestaat, kan een algoritme (zowel data als model) uitgeschakeld of verwijderd worden. Tegelijkertijd kan dit voor door het algoritme gemaakte beslissingen betekenen dat niet meer te achterhalen is welke data is gebruikt, en waarom het model deze zo beoordeeld heeft. -In de ontwerpfase van het algoritme wordt daarom [vastgelegd welke elementen bewaard dienen te worden en waarom](2-owp-08-archiveren-documenten.md). +In de ontwerpfase van het algoritme wordt daarom [vastgelegd welke elementen bewaard dienen te worden en waarom](2-owp-09-archiveren-documenten.md). Door op een juiste manier om te gaan met uitfaseren, kan worden voorkomen dat de potentiële latere effecten van algoritme worden geadresseerd. De werking van een algoritme, en de manier waarop beslissingen in het verleden zijn genomen, blijven behouden. Dit zorgt voor transparantie en controleerbaarheid of auditeerbaarheid. diff --git a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-01-verboden-AI-praktijken.md b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-00-verboden-AI-praktijken.md similarity index 97% rename from docs/voldoen-aan-wetten-en-regels/vereisten/aia-01-verboden-AI-praktijken.md rename to docs/voldoen-aan-wetten-en-regels/vereisten/aia-00-verboden-AI-praktijken.md index 08e7c89515..71a3b38414 100644 --- a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-01-verboden-AI-praktijken.md +++ b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-00-verboden-AI-praktijken.md @@ -1,6 +1,6 @@ --- title: Verboden AI-systemen mogen niet worden gebruikt. -id: urn:nl:ak:ver:aia-01 +id: urn:nl:ak:ver:aia-00 toelichting: Als een AI-systeem valt onder een toepassingen zoals beschreven in Artikel 5 AI-Verordening, dan is het niet toegestaan om deze te gebruiken. levenscyclus: - organisatieverantwoordelijkheden @@ -46,7 +46,7 @@ Er zijn een tweetal uitzonderingen voor het inzetten van verbonden AI-systemen. - Er is sprake van een rechtshandhavingsactiviteit i.v.m. een specifiek misdrijf (terrorisme, mensenhandel, seksuele uitbuiting van kinderen en materiaal over seksueel misbruik van kinderen, illegale handel in verdovende middelen en psychotrope stoffen, illegale handel in wapens, munitie en explosieven, moord, zware mishandeling, illegale handel in menselijke organen en weefsels, illegale handel in nucleaire en radioactieve stoffen, ontvoering, wederrechtelijke vrijheidsberoving en gijzeling, misdrijven die onder de rechtsmacht van het Internationaal Strafhof vallen, kaping van vliegtuigen/schepen, verkrachting, milieucriminaliteit, georganiseerde of gewapende diefstal, sabotage, deelneming aan een criminele organisatie die betrokken is bij een of meer van de bovengenoemde misdrijven). - Er is sprake van gerichte opsporing van specifieke slachtoffers, ontvoering, mensenhandel en seksuele uitbuiting van mensen, vermiste personen; of het voorkomen van bedreigingen voor het leven of de fysieke veiligheid van personen of het reageren op de huidige of voorzienbare dreiging van een terreuraanslag. -Bepaal in een vroege fase en bij het [onderbouwen van het gebruik van een AI-systeem](1-pba-03-onderbouwen-gebruik-algoritme.md) of de beoogde toepassing is toegestaan. +Bepaal in een vroege fase en bij het [onderbouwen van het gebruik van een AI-systeem](../maatregelen/1-pba-03-onderbouwen-gebruik-algoritme.md) of de beoogde toepassing is toegestaan. ## Bronnen diff --git a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-03-risicobeheersysteem.md b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-03-risicobeheersysteem.md index b5dbb17a9b..8bb3c4c9e9 100644 --- a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-03-risicobeheersysteem.md +++ b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-03-risicobeheersysteem.md @@ -26,7 +26,7 @@ Voor AI-systemen met een hoog risico wordt een systeem voor risicobeheer vastges ## Toelichting -Het systeem voor risicobeheer moet bestaan uit een gepland iteratief proces, dat tijdens de [gehele levensduur](levenscyclus/index.md) van een hoog-risico AI-systeem wordt doorlopen. Een organisatie moet ervoor zorgen dat een risicobeheersysteem wordt ingericht in de organisatie. +Het systeem voor risicobeheer moet bestaan uit een gepland iteratief proces, dat tijdens de [gehele levensduur](../../levenscyclus/over-de-levenscyclus.md) van een hoog-risico AI-systeem wordt doorlopen. Een organisatie moet ervoor zorgen dat een risicobeheersysteem wordt ingericht in de organisatie. Het risicobeheersysteem moet gericht zijn op het vaststellen en beperken van de relevante risico’s van AI-systemen voor de gezondheid, veiligheid en grondrechten met passende maatregelen. diff --git a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-05-data-kwaliteitscriteria.md b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-05-data-kwaliteitscriteria.md index f27c8b51fe..9e2ca383d8 100644 --- a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-05-data-kwaliteitscriteria.md +++ b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-05-data-kwaliteitscriteria.md @@ -30,9 +30,9 @@ AI-systemen met een hoog risico die technieken gebruiken die het trainen van AI- ## Toelichting -AI-systemen met een hoog risico die data gebruiken voor het trainen van AI-modellen, moeten gebaseerd zijn op datasets die voldoen aan specifieke [kwaliteitscriteria](3-dat-01-datakwaliteit.md). +AI-systemen met een hoog risico die data gebruiken voor het trainen van AI-modellen, moeten gebaseerd zijn op datasets die voldoen aan specifieke [kwaliteitscriteria](../maatregelen/3-dat-01-datakwaliteit.md). -Deze criteria zorgen ervoor dat de data geschikt zijn voor [training, validatie en tests](3-dat-07-training-validatie-en-testdata.md), wat de betrouwbaarheid en nauwkeurigheid van het AI-systeem waarborgt. De kwaliteitscriteria zijn te vinden in leden 2 t/m 5 van artikel 10 van de AI-verordening. Bijvoorbeeld datasets moeten aan praktijken voor databeheer voldoen en moeten relevant, representatief, accuraat en volledig zijn. +Deze criteria zorgen ervoor dat de data geschikt zijn voor [training, validatie en tests](../maatregelen/3-dat-07-training-validatie-en-testdata.md), wat de betrouwbaarheid en nauwkeurigheid van het AI-systeem waarborgt. De kwaliteitscriteria zijn te vinden in leden 2 t/m 5 van artikel 10 van de AI-verordening. Bijvoorbeeld datasets moeten aan praktijken voor databeheer voldoen en moeten relevant, representatief, accuraat en volledig zijn. Deze vereiste houdt in dat de gebruikte datasets onder meer moeten voldoen aan: diff --git a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-28-transparantieverplichtingen.md b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-28-transparantieverplichtingen.md index 732b555eeb..3fda51cd1e 100644 --- a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-28-transparantieverplichtingen.md +++ b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-28-transparantieverplichtingen.md @@ -51,5 +51,5 @@ Bepaalde AI-systemen die bedoeld zijn om met natuurlijke personen te interageren ## Maatregelen { data-search-exclude } - + diff --git a/docs/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel.md b/docs/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel.md index 81a1cb8137..40e58ebedc 100644 --- a/docs/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel.md +++ b/docs/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel.md @@ -25,9 +25,9 @@ Het zorgvuldigheidsvereiste eist dat een besluit met de nodige zorgvuldigheid wo Dit vraagt onder meer om een zorgvuldig onderzoek naar informatie, feiten, een zorgvuldige beslissingsprocedure en een deugdelijke besluitvorming. Dit betekent dat bij de ontwikkeling en gebruik van algoritmes informatie moet worden vastgelegd over het algoritme. Hierbij kan worden gedacht aan: -- Dat het [doel en eventuele subdoelen](1-pba-01-formuleren-probleemdefinitie.md) van het algoritme of AI-systeem helder zijn gedefinieerd, ook in relatie tot het maatschappelijke resultaat (outcome). -- Een bewuste afweging afmaken en vaststellen of het algoritme het [juiste middel is om het probleem](1-pba-01-formuleren-probleemdefinitie) op doelmatige en doeltreffende wijze op te lossen. -- Dat de werking van het algoritme is onderzocht en is vastgesteld dat dit [passend is](5-ver-03-functioneren-in-lijn-met-doeleinden.md) om te gebruiken in een besluitvormingsproces. +- Dat het [doel en eventuele subdoelen](../maatregelen/1-pba-01-formuleren-probleemdefinitie.md) van het algoritme of AI-systeem helder zijn gedefinieerd, ook in relatie tot het maatschappelijke resultaat (outcome). +- Een bewuste afweging afmaken en vaststellen of het algoritme het [juiste middel is om het probleem](../maatregelen/1-pba-01-formuleren-probleemdefinitie) op doelmatige en doeltreffende wijze op te lossen. +- Dat de werking van het algoritme is onderzocht en is vastgesteld dat dit [passend is](../maatregelen/5-ver-03-functioneren-in-lijn-met-doeleinden.md) om te gebruiken in een besluitvormingsproces. ## Bronnen - [Afdeling 3.2 Algemene wet bestuursrecht](https://wetten.overheid.nl/jci1.3:c:BWBR0005537&hoofdstuk=3&afdeling=3.2&z=2024-05-01&g=2024-05-01) From 0cf458a64c7a1a128c718e1d12317ffed591b66e Mon Sep 17 00:00:00 2001 From: ruthkoole Date: Thu, 19 Dec 2024 13:17:47 +0100 Subject: [PATCH 02/14] fix broken links --- docs/onderwerpen/bias-en-non-discriminatie.md | 112 ++++++------------ ...3-dat-07-training-validatie-en-testdata.md | 2 +- .../maatregelen/4-owk-08-feedbackloops.md | 2 +- .../4-owk-09-adversarial-aanvallen.md | 2 +- ...-01-functioneren-in-lijn-met-doeleinden.md | 2 +- .../maatregelen/5-ver-03-biasanalyse.md | 6 +- .../aia-00-verboden-AI-praktijken.md | 5 +- ...-04-proportionaliteit-en-subsidiariteit.md | 2 +- .../awb-01-zorgvuldigheidsbeginsel.md | 4 +- 9 files changed, 52 insertions(+), 85 deletions(-) diff --git a/docs/onderwerpen/bias-en-non-discriminatie.md b/docs/onderwerpen/bias-en-non-discriminatie.md index 031288a3be..0c4d795b8d 100644 --- a/docs/onderwerpen/bias-en-non-discriminatie.md +++ b/docs/onderwerpen/bias-en-non-discriminatie.md @@ -19,8 +19,9 @@ Zo’n discriminerend effect ontstaat doordat het algoritme een verboden ondersc - Indirect onderscheid: Het algoritme lijkt neutraal of eerlijk. Maar later blijkt dat bepaalde mensen op een andere manier worden behandeld door hun geloof, politieke of seksuele voorkeur, ras, geslacht, of burgerlijke staat. -> [!TIP] -> Heeft je algoritme een discriminerend effect, dan moet je zo snel mogelijk [stoppen met het algoritme](../levenscyclus/uitfaseren.md). Gebruik bijvoorbeeld het [discriminatieprotocol](https://minbzk.github.io/discriminatieprotocol/) van het ministerie van Binnenlandse Zaken. +!!! tip "Tip" + + Heeft je algoritme een discriminerend effect, dan moet je zo snel mogelijk [stoppen met het algoritme](../levenscyclus/uitfaseren.md). Gebruik bijvoorbeeld het [discriminatieprotocol](https://minbzk.github.io/discriminatieprotocol/) van het ministerie van Binnenlandse Zaken. ### Uitzondering Een direct of indirect onderscheid is niet altijd verboden volgens [Artikel 2 Algemene wet gelijke behandeling](https://wetten.overheid.nl/jci1.3:c:BWBR0006502&hoofdstuk=1¶graaf=1&artikel=1&z=2020-01-01&g=2020-01-01). In bepaalde situaties en onder bepaalde strenge voorwaarden mag je zo’n onderscheid wel maken. @@ -55,42 +56,29 @@ Dit zijn fouten in de: Voorbeelden: -
-Meet-bias (measurement bias) - -Je algoritme maakt een verkeerde schatting of benadering van kenmerken of labels. Dit komt doordat het de ene variabele gebruikt om een andere variabele te voorspellen of te benaderen (proxy). En hierbij laat het belangrijke informatie weg, of het voegt onbelangrijke informatie (ruis) toe. - -Een algoritme maakt bijvoorbeeld een verkeerde schatting van het risico op overlijden aan longontsteking in het ziekenhuis. Het algoritme leert namelijk uit de data dat dit risico lager is voor astmapatiënten. Maar dit komt niet door hun astma. Het algoritme laat weg dat astmapatiënten met longontsteking direct naar de intensive care gaan. En mensen zonder astma niet. - -
- -
-Versterkingsbias (amplification bias) - -Je algoritme versterkt een patroon uit de trainingsdata. +??? expander "Meet-bias (measurement bias)" -Een algoritme dat mensen en hun acties herkent, voorspelt bijvoorbeeld 5 keer zo vaak de combinatie ‘vrouw’ en ‘koken’. Terwijl deze combinatie in de trainingsdata maar 2 keer zo vaak voorkomt. + Je algoritme maakt een verkeerde schatting of benadering van kenmerken of labels. Dit komt doordat het de ene variabele gebruikt om een andere variabele te voorspellen of te benaderen (proxy). En hierbij laat het belangrijke informatie weg, of het voegt onbelangrijke informatie (ruis) toe. -
+ Een algoritme maakt bijvoorbeeld een verkeerde schatting van het risico op overlijden aan longontsteking in het ziekenhuis. Het algoritme leert namelijk uit de data dat dit risico lager is voor astmapatiënten. Maar dit komt niet door hun astma. Het algoritme laat weg dat astmapatiënten met longontsteking direct naar de intensive care gaan. En mensen zonder astma niet. -
-Evaluatie-bias (evaluation bias) +??? expander "Versterkingsbias (amplification bias)" -Je algoritme trekt verkeerde conclusies omdat de evaluatiedata niet kloppen, of niet compleet zijn. + Je algoritme versterkt een patroon uit de trainingsdata. -Een algoritme voor gezichtsherkenning herkent bijvoorbeeld vrouwen van kleur niet goed, omdat deze vrouwen te weinig voorkomen in de dataset voor evaluatie. + Een algoritme dat mensen en hun acties herkent, voorspelt bijvoorbeeld 5 keer zo vaak de combinatie ‘vrouw’ en ‘koken’. Terwijl deze combinatie in de trainingsdata maar 2 keer zo vaak voorkomt. -
+??? expander "Evaluatie-bias (evaluation bias)" -
-Representatie-bias (representation bias) + Je algoritme trekt verkeerde conclusies omdat de evaluatiedata niet kloppen, of niet compleet zijn. -Je algoritme doet voorspellingen over een grote groep, op basis van resultaten uit subgroepen met te weinig verschillende proefpersonen. + Een algoritme voor gezichtsherkenning herkent bijvoorbeeld vrouwen van kleur niet goed, omdat deze vrouwen te weinig voorkomen in de dataset voor evaluatie. -Een algoritme beoordeelt bijvoorbeeld de populariteit van treinstations onder reizigers op basis van hun smartphone-gebruik. Maar deze groep is niet representatief, omdat oudere reizigers vaak minder gebruik maken van smartphones. +??? expander "Representatie-bias (representation bias)" -
+ Je algoritme doet voorspellingen over een grote groep, op basis van resultaten uit subgroepen met te weinig verschillende proefpersonen. + Een algoritme beoordeelt bijvoorbeeld de populariteit van treinstations onder reizigers op basis van hun smartphone-gebruik. Maar deze groep is niet representatief, omdat oudere reizigers vaak minder gebruik maken van smartphones. ### Bias in systemen en processen Dit is vooringenomenheid die vaak in de loop der tijd is ontstaan in de samenleving of je organisatie. Deze vooringenomenheid werkt door in processen of systemen, of wordt soms versterkt door algoritmes. Dit gebeurt vaak niet bewust. @@ -99,31 +87,23 @@ Systemische bias heet ook wel: institutionele vooringenomenheid. Dit betekent da Voorbeelden: -
-Historische bias +??? expander "Historische bias" -Je algoritme heeft vooroordelen die in de loop der tijd ontstonden in de samenleving. + Je algoritme heeft vooroordelen die in de loop der tijd ontstonden in de samenleving. -Een algoritme gebruikt bijvoorbeeld data die gebaseerd is op oude belastingregels, terwijl er nieuwe wetten en regels zijn. Dan zit er een historische bias in je data. Of een algoritme voorspelt bijvoorbeeld de koopkracht van mensen, maar gebruikt hiervoor data uit een tijd waarin mannen meer verdienden dan vrouwen. + Een algoritme gebruikt bijvoorbeeld data die gebaseerd is op oude belastingregels, terwijl er nieuwe wetten en regels zijn. Dan zit er een historische bias in je data. Of een algoritme voorspelt bijvoorbeeld de koopkracht van mensen, maar gebruikt hiervoor data uit een tijd waarin mannen meer verdienden dan vrouwen. -
- -
-Activiteitenbias (activity bias) +??? exander "Activiteitenbias (activity bias)" -Je algoritme geeft een verkeerd beeld over gebruikers van interactieve producten, zoals websites of apps. Dit komt omdat alleen de meest actieve gebruikers trainingsdata aanleveren. + Je algoritme geeft een verkeerd beeld over gebruikers van interactieve producten, zoals websites of apps. Dit komt omdat alleen de meest actieve gebruikers trainingsdata aanleveren. -Een algoritme onderzoekt bijvoorbeeld wat burgers van een bepaalde brief vinden op basis van kliks in een digitale vragenlijst. Het algoritme kan niet zeggen wat burgers écht vinden, omdat de meest actieve internetgebruikers vaker klikken en vaker de vragenlijst invullen. + Een algoritme onderzoekt bijvoorbeeld wat burgers van een bepaalde brief vinden op basis van kliks in een digitale vragenlijst. Het algoritme kan niet zeggen wat burgers écht vinden, omdat de meest actieve internetgebruikers vaker klikken en vaker de vragenlijst invullen. -
+??? exander "Samenlevingsbias (societal bias)" -
-Samenlevingsbias (societal bias) -Je algoritme maakt een fout op basis van stereotypes die voorkomen in de samenleving. Dit gebeurt vooral in AI-systemen die taal verwerken via Natural Language Processing (NLP). + Je algoritme maakt een fout op basis van stereotypes die voorkomen in de samenleving. Dit gebeurt vooral in AI-systemen die taal verwerken via Natural Language Processing (NLP). -Een algoritme dat teksten maakt, geeft bijvoorbeeld ‘verpleegster’ als vrouwelijke vorm van ‘dokter’. Dit komt omdat het stereotype dokter in die samenleving een man is. - -
+ Een algoritme dat teksten maakt, geeft bijvoorbeeld ‘verpleegster’ als vrouwelijke vorm van ‘dokter’. Dit komt omdat het stereotype dokter in die samenleving een man is. ### Bias in menselijk denken Dit zijn vooroordelen in het menselijk denken die steeds (systematisch) invloed hebben op de manier waarop iemand iets ziet, hoort, ruikt, proeft of voelt. @@ -136,49 +116,35 @@ Menselijke bias kan invloed hebben op de: Voorbeelden: -
-Automatiseringsbias - -Mensen maken een denkfout omdat zij de voorkeur geven aan adviezen van automatische besluitvormingssystemen. Zelfs als uit andere informatie blijkt dat deze adviezen niet kloppen. - -Wanneer behandelaren handmatig controleren of een uitkering van een burger klopt, hebben zij vaak de neiging om de beslissing te volgen van het algoritme. - -
- -
-Cognitieve bias +??? exander "Automatiseringsbias" -Mensen maken een denkfout omdat zij volgens een vast patroon afwijken van logisch nadenken. Vaak gebeurt dit om complexe denktaken te versimpelen of versnellen. + Mensen maken een denkfout omdat zij de voorkeur geven aan adviezen van automatische besluitvormingssystemen. Zelfs als uit andere informatie blijkt dat deze adviezen niet kloppen. -Administratief medewerkers weigeren bijvoorbeeld een AI-systeem te gebruiken, omdat ze slechte ervaringen hebben met een ander AI-systeem. Zij willen het nieuwe AI-systeem dus niet gebruiken, terwijl ze dit nooit gebruikt hebben. + Wanneer behandelaren handmatig controleren of een uitkering van een burger klopt, hebben zij vaak de neiging om de beslissing te volgen van het algoritme. -
+??? exander "Cognitieve bias" -
-Bevestigingsbias + Mensen maken een denkfout omdat zij volgens een vast patroon afwijken van logisch nadenken. Vaak gebeurt dit om complexe denktaken te versimpelen of versnellen. -Mensen maken een denkfout omdat zij de voorkeur geven aan voorspellingen van algoritmes die hun eigen overtuigingen of gedachtes bevestigen. + Administratief medewerkers weigeren bijvoorbeeld een AI-systeem te gebruiken, omdat ze slechte ervaringen hebben met een ander AI-systeem. Zij willen het nieuwe AI-systeem dus niet gebruiken, terwijl ze dit nooit gebruikt hebben. -Rechercheurs zoeken bijvoorbeeld direct naar bewijs om verdachte X te veroordelen, nadat een algoritme X voorspelt als dader. Terwijl de rechercheurs ook ander bewijs moeten zoeken. +??? exander "Bevestigingsbias" -
+ Mensen maken een denkfout omdat zij de voorkeur geven aan voorspellingen van algoritmes die hun eigen overtuigingen of gedachtes bevestigen. -
-Implementatie-bias + Rechercheurs zoeken bijvoorbeeld direct naar bewijs om verdachte X te veroordelen, nadat een algoritme X voorspelt als dader. Terwijl de rechercheurs ook ander bewijs moeten zoeken. -Een algoritme wordt op een andere manier gebruikt dan hoe het bedoeld is en waarvoor het ontwikkeld is. Dit komt vaak voor wanneer een algoritme wordt gebruikt als beslishulp voor mensen. Deze vorm van bias is een menselijke denkfout in de vorm dat gebruikers niet op dezelfde of goede manier omgaan met adviezen. +??? exander "Implementatie-bias" -Een wet over bijvoorbeeld immigratie wordt ingevoerd en er wordt een algoritme ontwikkeld om te onderzoeken wat de gevolgen hiervan zijn. Dit algoritme is dan ook bedoeld om voor bepaalde groepen mensen te kijken wat de gevolgen zijn. Het algoritme wordt ook gebruikt bij het toekennen van staatsburgerschap aan de hand van de gevolgen. Dit is niet zoals het systeem bedoeld is en dus kunnen er incomplete antwoorden of resultaten uitkomen. + Een algoritme wordt op een andere manier gebruikt dan hoe het bedoeld is en waarvoor het ontwikkeld is. Dit komt vaak voor wanneer een algoritme wordt gebruikt als beslishulp voor mensen. Deze vorm van bias is een menselijke denkfout in de vorm dat gebruikers niet op dezelfde of goede manier omgaan met adviezen. -
+ Een wet over bijvoorbeeld immigratie wordt ingevoerd en er wordt een algoritme ontwikkeld om te onderzoeken wat de gevolgen hiervan zijn. Dit algoritme is dan ook bedoeld om voor bepaalde groepen mensen te kijken wat de gevolgen zijn. Het algoritme wordt ook gebruikt bij het toekennen van staatsburgerschap aan de hand van de gevolgen. Dit is niet zoals het systeem bedoeld is en dus kunnen er incomplete antwoorden of resultaten uitkomen. -
-Overlevingsbias (survivorship bias) -Mensen hebben de neiging om voorkeur te geven aan dingen, mensen of observaties die door een bepaalde selectie zijn gekomen. Naar de gevallen die buiten de selecties vallen wordt vaak niet of minder gekeken. Dit kan leiden tot een zichzelf versterkend proces. Zo worden bijvoorbeeld modellen die werken verbeterd, maar wordt niet gekeken waarom de andere modellen niet werken. +??? exander "Overlevingsbias (survivorship bias)" -Om fraudeherkenning te vergemakkelijken wordt bijvoorbeeld een model getraind op data van personen/huishoudens die eerder zijn gecontroleerd op mogelijke fraude. Hiermee wordt een groot gedeelte personen/huishoudens niet meegenomen in de trainingsdata, omdat deze groep niet eerder gecontroleerd is. + Mensen hebben de neiging om voorkeur te geven aan dingen, mensen of observaties die door een bepaalde selectie zijn gekomen. Naar de gevallen die buiten de selecties vallen wordt vaak niet of minder gekeken. Dit kan leiden tot een zichzelf versterkend proces. Zo worden bijvoorbeeld modellen die werken verbeterd, maar wordt niet gekeken waarom de andere modellen niet werken. -
+ Om fraudeherkenning te vergemakkelijken wordt bijvoorbeeld een model getraind op data van personen/huishoudens die eerder zijn gecontroleerd op mogelijke fraude. Hiermee wordt een groot gedeelte personen/huishoudens niet meegenomen in de trainingsdata, omdat deze groep niet eerder gecontroleerd is. ## Bepaal wat eerlijk en rechtvaardig is Ontdek je bias, dan wil je je algoritme of je aanpak verbeteren. Hoe je dat doet, hangt af van wat je organisatie zelf eerlijk en rechtvaardig vindt. Dit heet ook wel het bepalen van ‘algoritmische fairness’. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-07-training-validatie-en-testdata.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-07-training-validatie-en-testdata.md index 4602a8b5af..58d1c7e6f4 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-07-training-validatie-en-testdata.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-07-training-validatie-en-testdata.md @@ -30,7 +30,7 @@ Verdeel je dataset in drie delen: Deze dataset wordt gebruikt om het model te trainen. Uit deze dataset worden de onderliggende patronen of relaties geleerd die later gebruikt kunnen worden om voorspellingen mee te doen. - De [kwaliteit](3-dat-01-datakwaliteit.md) van deze dataset moet goed zijn en zo representatief mogelijk voor de doelpopulatie. Eventuele [bias](../../onderwerpen/bias-en-non-discriminatie.md#verschillende-vormen-van-bias) of vooroordelen in deze dataset kan door het trainen in het model sluipen. + De [kwaliteit](3-dat-01-datakwaliteit.md) van deze dataset moet goed zijn en zo representatief mogelijk voor de doelpopulatie. Eventuele [bias](../../onderwerpen/bias-en-non-discriminatie.md#herken-bias) of vooroordelen in deze dataset kan door het trainen in het model sluipen. Let bij het samenstellen van de traningsset op dat de data waarop het model gebaseerd is, niet beschikbaar zijn voordat de uitkomsten zijn geobserveerd. Met andere woorden, zorg ervoor de de voorspellingen geen onderdeel kunnen zijn van de inputvariabelen. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-08-feedbackloops.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-08-feedbackloops.md index 5fa73d3657..009918480c 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-08-feedbackloops.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-08-feedbackloops.md @@ -34,7 +34,7 @@ Er zijn verschillende vormen van feedbackloops: - *sampling feedbackloop*: Wanneer de beslissing die volgt uit het algoritme effect heeft op de kans dat bepaalde groepen in een volgende selectie terechtkomen. -- *individual feedbackloop*: Wanneer de mening of visie van een beoordelaar verandert door [het gebruiken van het algoritme](../../onderwerpen/bias-en-non-discriminatie.md#menselijke-bias)(het overnemen van de ‘vooroordelen van een systeem’). +- *individual feedbackloop*: Wanneer de mening of visie van een beoordelaar verandert door [het gebruiken van het algoritme](../../onderwerpen/bias-en-non-discriminatie.md#bias-in-menselijk-denken)(het overnemen van de ‘vooroordelen van een systeem’). - *feature feedbackloop*: Bijvoorbeeld wanneer de uitkomst dat een subsidie niet verstrekt wordt, ook als kenmerk ‘eerdere weigering van subsidie’ wordt gebruikt door het algoritme. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-09-adversarial-aanvallen.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-09-adversarial-aanvallen.md index d584e2a9b4..6e6dee9069 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-09-adversarial-aanvallen.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-09-adversarial-aanvallen.md @@ -27,7 +27,7 @@ hide: Ontwerp en train het algoritme om bestand te zijn tegen adversarial aanvallen. ## Toelichting -De impact van een adversarial AI-aanval hangt af van de [mate van autonomie](../ai-verordening.md#definitie-van-een-ai-systeem) waarmee een algoritme wordt ingezet. +De impact van een adversarial AI-aanval hangt af van de [mate van autonomie](../ai-verordening.md#ai-systeem) waarmee een algoritme wordt ingezet. Een algemene impact-beperkende maatregel is daarom om menselijke gebruikers duidelijke instructies mee te geven om de uitkomsten van de algoritmes te controleren. Voor de verschillende typen adversarial AI-aanvallen zijn specifieke maatregelen mogelijk: diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-01-functioneren-in-lijn-met-doeleinden.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-01-functioneren-in-lijn-met-doeleinden.md index 2585b6f871..eff8711795 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-01-functioneren-in-lijn-met-doeleinden.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-01-functioneren-in-lijn-met-doeleinden.md @@ -28,7 +28,7 @@ Stel vast dat het algoritme voortdurend functioneert in lijn met de [vastgesteld - Vertaal de [vastgestelde doelstelling](1-pba-02-formuleren-doelstelling.md) naar functionele eisen voor het algoritme. Werk het vastgestelde doel uit in een beschrijving in logische taal/pseudo code of documentatie die handvatten biedt aan de ontwikkelaar. - Monitor de mate waarin aan deze eisen wordt voldaan door het algoritme. - Bepaal en leg vast hoe eventuele parameters, business rules en indicatoren bepaald worden. Zorg dat dit breed wordt afgestemd in de organisatie (ontwikkelteam, opdrachtgevers en beheer). -- Houd hier rekening met eventuele [(statistische) bias](../../onderwerpen/bias-en-non-discriminatie.md#statistische-bias): meten we daadwerkelijk wat we denken te meten? +- Houd hier rekening met eventuele [(statistische) bias](../../onderwerpen/bias-en-non-discriminatie.md#bias-in-statistiek-en-berekeningen): meten we daadwerkelijk wat we denken te meten? - Wanneer het algoritme meerdere doelen dient, is het belangrijk ook te evalueren op meerdere functionele eisen. - Wanneer er sprake is van een (handmatige) behandeling, bepaal dan wanneer deze behandeling als 'succesvol' gezien kan worden. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-03-biasanalyse.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-03-biasanalyse.md index 1e716b2100..dcac07cac5 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-03-biasanalyse.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-03-biasanalyse.md @@ -41,7 +41,7 @@ Voor alle stappen geldt dat het belangrijk is om de gemaakte keuzes en afweginge ### Stap 1: Analyseer of er sprake is van bias In deze stap is het doel om te bepalen in welke mate er sprake is van een systematisch verschil in behandeling van bepaalde objecten, mensen of groepen in vergelijking met anderen. -Dit verschil kan zowel op een [directe als een indirecte manier](../../onderwerpen/bias-en-non-discriminatie.md/#bias-in-algoritmische-context) ontstaan. +Dit verschil kan zowel op een [directe als een indirecte manier](../../onderwerpen/bias-en-non-discriminatie.md#herken-bias) ontstaan. #### Toetsen op direct onderscheid Toetsen op direct onderscheid is in vergelijking tot toetsen op indirect onderscheid relatief eenvoudig. @@ -60,14 +60,14 @@ Een ander voorbeeld is dat onderscheid op grond van een niet-westers klinkende n [^3]: Zie [Discriminatie door risicoprofielen, een mensenrechtelijk toetsingskader, College voor de Rechten van de Mens](https://publicaties.mensenrechten.nl/publicatie/61a734e65d726f72c45f9dce), [College voor de Rechten van de Mens 7 juni 2021, oordeel 2021-70](https://oordelen.mensenrechten.nl/oordeel/2021-70); [College voor de Rechten van de Mens 23 april 2015, oordeel 2015-44](https://oordelen.mensenrechten.nl/oordeel/2015-44); [College voor de Rechten van de Mens 23 april 2015, oordeel 2014-0426](https://oordelen.mensenrechten.nl/oordeel/2015-43). #### Toetsen op indirect onderscheid -Ook selectiecriteria die op het eerste gezicht geen enkele link lijken te hebben met een [discriminatiegrond](../../onderwerpen/bias-en-non-discriminatie.md#discriminatiegrond) kunnen leiden tot indirect onderscheid op grond van een discriminatiegrond. +Ook selectiecriteria die op het eerste gezicht geen enkele link lijken te hebben met een discriminatiegrond kunnen leiden tot indirect onderscheid op grond van een discriminatiegrond. Enkele voorbeelden van zulke 'ogenschijnlijk neutrale' selectiecriteria die verband hebben met ras of nationaliteit zijn: postcode, hoogte van het inkomen, kenteken, familielid in het buitenland, laaggeletterdheid. Indirect onderscheid is in vergelijking met direct onderscheid lastiger op te signaleren en te voorkomen. Daarom is het belangrijk jouw algoritmische toepassing regelmatig te analyseren op eventueel indirect onderscheid. Het toetsen op indirect onderscheid bestaat uit 5 stappen: 1. **Bepaal wat de [kwetsbare groepen](2-owp-07-afwegen-grondrechten.md) zijn.** -Eventueel kan dit aangevuld worden op basis van de [discriminatiegronden](../../onderwerpen/bias-en-non-discriminatie.md#discriminatiegrond) uit non-discriminatie wetgeving. Of andere groepen waarvoor verschillen in behandeling ethisch onwenselijk zijn. +Eventueel kan dit aangevuld worden op basis van de discriminatiegronden uit non-discriminatie wetgeving. Of andere groepen waarvoor verschillen in behandeling ethisch onwenselijk zijn. 2. **Bepaal wat "verschillen in behandeling" betekent in de context van het algoritme.** In deze stap is het belangrijk om voorafgaand aan de daadwerkelijke analyse met een [brede groep stakeholders](1-pba-04-betrek-belanghebbenden.md) te bepalen wat 'eerlijk' en 'rechtvaardig' wordt bevonden in de context van het betreffende algoritme. diff --git a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-00-verboden-AI-praktijken.md b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-00-verboden-AI-praktijken.md index 71a3b38414..144b5d73ca 100644 --- a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-00-verboden-AI-praktijken.md +++ b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-00-verboden-AI-praktijken.md @@ -7,7 +7,6 @@ levenscyclus: - probleemanalyse onderwerp: - governance - soort-toepassing: - ai-systeem risicogroep: @@ -33,6 +32,7 @@ Afgezien van de vele nuttige toepassingen van AI kan zij ook worden misbruikt en Dergelijke praktijken zijn bijzonder schadelijk en abusief en moeten worden verboden omdat zij in strijd zijn met de waarden van de Unie, namelijk eerbied voor de menselijke waardigheid, vrijheid, gelijkheid, democratie en de rechtsstaat, en met de grondrechten van de Unie die zijn vastgelegd in het Handvest, waaronder het recht op non-discriminatie, gegevensbescherming en privacy, en de rechten van het kind. In de volgende gevallen gaat het om een verboden toepassing op grond van de AI-Verordening: + - gebruik kan gaan maken van subliminale technieken om mensen onbewust of bewust kunnen manipuleren, waardoor ze beslissingen nemen die ze anders niet zouden hebben genomen? - gebruik kan gaan maken van kwetsbaarheden van individuen of specifieke groepen, zoals leeftijd, handicaps of sociale/economische omstandigheden, om het gedrag van die personen aanzienlijk te verstoren, wat kan leiden tot aanzienlijke schade bij henzelf of anderen? - gebruikt kan worden om natuurlijke personen of groepen gedurende een periode te evalueren of te classificeren op basis van hun sociale gedrag of afgeleide persoonlijke kenmerken? @@ -43,6 +43,7 @@ In de volgende gevallen gaat het om een verboden toepassing op grond van de AI-V - gebruikt kan worden als een biometrisch systeem in de publieke ruimte voor identificatie op afstand in real-time, met het oog op de rechtshandhaving? Er zijn een tweetal uitzonderingen voor het inzetten van verbonden AI-systemen. Deze zijn: + - Er is sprake van een rechtshandhavingsactiviteit i.v.m. een specifiek misdrijf (terrorisme, mensenhandel, seksuele uitbuiting van kinderen en materiaal over seksueel misbruik van kinderen, illegale handel in verdovende middelen en psychotrope stoffen, illegale handel in wapens, munitie en explosieven, moord, zware mishandeling, illegale handel in menselijke organen en weefsels, illegale handel in nucleaire en radioactieve stoffen, ontvoering, wederrechtelijke vrijheidsberoving en gijzeling, misdrijven die onder de rechtsmacht van het Internationaal Strafhof vallen, kaping van vliegtuigen/schepen, verkrachting, milieucriminaliteit, georganiseerde of gewapende diefstal, sabotage, deelneming aan een criminele organisatie die betrokken is bij een of meer van de bovengenoemde misdrijven). - Er is sprake van gerichte opsporing van specifieke slachtoffers, ontvoering, mensenhandel en seksuele uitbuiting van mensen, vermiste personen; of het voorkomen van bedreigingen voor het leven of de fysieke veiligheid van personen of het reageren op de huidige of voorzienbare dreiging van een terreuraanslag. @@ -65,4 +66,4 @@ Er ontstaat een onrechtmatige situatie voor een organisatie als deze AI inzet, d ## Maatregelen { data-search-exclude } - + diff --git a/docs/voldoen-aan-wetten-en-regels/vereisten/avg-04-proportionaliteit-en-subsidiariteit.md b/docs/voldoen-aan-wetten-en-regels/vereisten/avg-04-proportionaliteit-en-subsidiariteit.md index 6caa50adab..7ab21acb3b 100644 --- a/docs/voldoen-aan-wetten-en-regels/vereisten/avg-04-proportionaliteit-en-subsidiariteit.md +++ b/docs/voldoen-aan-wetten-en-regels/vereisten/avg-04-proportionaliteit-en-subsidiariteit.md @@ -31,7 +31,7 @@ Subsidiariteit vereist dat persoonsgegevens alleen moeten worden verwerkt als di Deze principes waarborgen dat de privacy van individuen wordt gerespecteerd en dat gegevensverwerking niet verder gaat dan noodzakelijk is voor legitieme doeleinden. -Het is van belang om deze principes te hanteren om te bepalen of en in [welke vorm een algoritmes](../maatregelen/1-pba-03-onderbouwen-gebruik-algoritme) moet worden toegepast en om tot een passende mate van gegevensverwerking te komen om het [doel](../maatregelen/1-pba-02-formuleren-doelstelling.md) te bereiken. +Het is van belang om deze principes te hanteren om te bepalen of en in [welke vorm een algoritmes](../maatregelen/1-pba-03-onderbouwen-gebruik-algoritme.md) moet worden toegepast en om tot een passende mate van gegevensverwerking te komen om het [doel](../maatregelen/1-pba-02-formuleren-doelstelling.md) te bereiken. ## Bronnen diff --git a/docs/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel.md b/docs/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel.md index 40e58ebedc..6f89fc9b64 100644 --- a/docs/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel.md +++ b/docs/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel.md @@ -26,8 +26,8 @@ Dit vraagt onder meer om een zorgvuldig onderzoek naar informatie, feiten, een z Dit betekent dat bij de ontwikkeling en gebruik van algoritmes informatie moet worden vastgelegd over het algoritme. Hierbij kan worden gedacht aan: - Dat het [doel en eventuele subdoelen](../maatregelen/1-pba-01-formuleren-probleemdefinitie.md) van het algoritme of AI-systeem helder zijn gedefinieerd, ook in relatie tot het maatschappelijke resultaat (outcome). -- Een bewuste afweging afmaken en vaststellen of het algoritme het [juiste middel is om het probleem](../maatregelen/1-pba-01-formuleren-probleemdefinitie) op doelmatige en doeltreffende wijze op te lossen. -- Dat de werking van het algoritme is onderzocht en is vastgesteld dat dit [passend is](../maatregelen/5-ver-03-functioneren-in-lijn-met-doeleinden.md) om te gebruiken in een besluitvormingsproces. +- Een bewuste afweging afmaken en vaststellen of het algoritme het [juiste middel is om het probleem](../maatregelen/1-pba-01-formuleren-probleemdefinitie.md) op doelmatige en doeltreffende wijze op te lossen. +- Dat de werking van het algoritme is onderzocht en is vastgesteld dat dit [passend is](../maatregelen/5-ver-01-functioneren-in-lijn-met-doeleinden.md) om te gebruiken in een besluitvormingsproces. ## Bronnen - [Afdeling 3.2 Algemene wet bestuursrecht](https://wetten.overheid.nl/jci1.3:c:BWBR0005537&hoofdstuk=3&afdeling=3.2&z=2024-05-01&g=2024-05-01) From 00d5c1a682d9a66f6aff970342472bc0a4302de0 Mon Sep 17 00:00:00 2001 From: ruthkoole Date: Thu, 19 Dec 2024 13:23:25 +0100 Subject: [PATCH 03/14] fix layout --- docs/onderwerpen/bias-en-non-discriminatie.md | 14 +++++----- .../{aia-39-testen.md => aia-38-testen.md} | 26 +++++++++---------- ...eid-naleven-auteurs-en-naburige-rechten.md | 4 +-- 3 files changed, 22 insertions(+), 22 deletions(-) rename docs/voldoen-aan-wetten-en-regels/vereisten/{aia-39-testen.md => aia-38-testen.md} (90%) diff --git a/docs/onderwerpen/bias-en-non-discriminatie.md b/docs/onderwerpen/bias-en-non-discriminatie.md index 0c4d795b8d..938ef97158 100644 --- a/docs/onderwerpen/bias-en-non-discriminatie.md +++ b/docs/onderwerpen/bias-en-non-discriminatie.md @@ -93,13 +93,13 @@ Voorbeelden: Een algoritme gebruikt bijvoorbeeld data die gebaseerd is op oude belastingregels, terwijl er nieuwe wetten en regels zijn. Dan zit er een historische bias in je data. Of een algoritme voorspelt bijvoorbeeld de koopkracht van mensen, maar gebruikt hiervoor data uit een tijd waarin mannen meer verdienden dan vrouwen. -??? exander "Activiteitenbias (activity bias)" +??? expander "Activiteitenbias (activity bias)" Je algoritme geeft een verkeerd beeld over gebruikers van interactieve producten, zoals websites of apps. Dit komt omdat alleen de meest actieve gebruikers trainingsdata aanleveren. Een algoritme onderzoekt bijvoorbeeld wat burgers van een bepaalde brief vinden op basis van kliks in een digitale vragenlijst. Het algoritme kan niet zeggen wat burgers écht vinden, omdat de meest actieve internetgebruikers vaker klikken en vaker de vragenlijst invullen. -??? exander "Samenlevingsbias (societal bias)" +??? expander "Samenlevingsbias (societal bias)" Je algoritme maakt een fout op basis van stereotypes die voorkomen in de samenleving. Dit gebeurt vooral in AI-systemen die taal verwerken via Natural Language Processing (NLP). @@ -116,31 +116,31 @@ Menselijke bias kan invloed hebben op de: Voorbeelden: -??? exander "Automatiseringsbias" +??? expander "Automatiseringsbias" Mensen maken een denkfout omdat zij de voorkeur geven aan adviezen van automatische besluitvormingssystemen. Zelfs als uit andere informatie blijkt dat deze adviezen niet kloppen. Wanneer behandelaren handmatig controleren of een uitkering van een burger klopt, hebben zij vaak de neiging om de beslissing te volgen van het algoritme. -??? exander "Cognitieve bias" +??? expander "Cognitieve bias" Mensen maken een denkfout omdat zij volgens een vast patroon afwijken van logisch nadenken. Vaak gebeurt dit om complexe denktaken te versimpelen of versnellen. Administratief medewerkers weigeren bijvoorbeeld een AI-systeem te gebruiken, omdat ze slechte ervaringen hebben met een ander AI-systeem. Zij willen het nieuwe AI-systeem dus niet gebruiken, terwijl ze dit nooit gebruikt hebben. -??? exander "Bevestigingsbias" +??? expander "Bevestigingsbias" Mensen maken een denkfout omdat zij de voorkeur geven aan voorspellingen van algoritmes die hun eigen overtuigingen of gedachtes bevestigen. Rechercheurs zoeken bijvoorbeeld direct naar bewijs om verdachte X te veroordelen, nadat een algoritme X voorspelt als dader. Terwijl de rechercheurs ook ander bewijs moeten zoeken. -??? exander "Implementatie-bias" +??? expander "Implementatie-bias" Een algoritme wordt op een andere manier gebruikt dan hoe het bedoeld is en waarvoor het ontwikkeld is. Dit komt vaak voor wanneer een algoritme wordt gebruikt als beslishulp voor mensen. Deze vorm van bias is een menselijke denkfout in de vorm dat gebruikers niet op dezelfde of goede manier omgaan met adviezen. Een wet over bijvoorbeeld immigratie wordt ingevoerd en er wordt een algoritme ontwikkeld om te onderzoeken wat de gevolgen hiervan zijn. Dit algoritme is dan ook bedoeld om voor bepaalde groepen mensen te kijken wat de gevolgen zijn. Het algoritme wordt ook gebruikt bij het toekennen van staatsburgerschap aan de hand van de gevolgen. Dit is niet zoals het systeem bedoeld is en dus kunnen er incomplete antwoorden of resultaten uitkomen. -??? exander "Overlevingsbias (survivorship bias)" +??? expander "Overlevingsbias (survivorship bias)" Mensen hebben de neiging om voorkeur te geven aan dingen, mensen of observaties die door een bepaalde selectie zijn gekomen. Naar de gevallen die buiten de selecties vallen wordt vaak niet of minder gekeken. Dit kan leiden tot een zichzelf versterkend proces. Zo worden bijvoorbeeld modellen die werken verbeterd, maar wordt niet gekeken waarom de andere modellen niet werken. diff --git a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-39-testen.md b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-38-testen.md similarity index 90% rename from docs/voldoen-aan-wetten-en-regels/vereisten/aia-39-testen.md rename to docs/voldoen-aan-wetten-en-regels/vereisten/aia-38-testen.md index 6aade32be3..1515dea4c5 100644 --- a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-39-testen.md +++ b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-38-testen.md @@ -1,6 +1,6 @@ --- title: Hoog-risico-AI-systemen zijn getest. -id: urn:nl:ak:ver:aia-39 +id: urn:nl:ak:ver:aia-38 toelichting: AI-systemen met een hoog risico worden getest met het oog op het vaststellen van passende en gerichte risicobeheersmaatregelen. levenscyclus: - ontwerp @@ -45,27 +45,27 @@ Aanbieders of potentiële aanbieders kunnen zelf of in samenwerking met een of m Aanbieders of potentiële aanbieders mogen alleen testen onder reële omstandigheden als is voldaan aan alle volgende voorwaarden: -a) de aanbieder of potentiële aanbieder heeft een plan voor tests onder reële omstandigheden opgesteld en ingediend bij de markttoezichtautoriteit in de lidstaat waar onder reële omstandigheden moet worden getest; +a. de aanbieder of potentiële aanbieder heeft een plan voor tests onder reële omstandigheden opgesteld en ingediend bij de markttoezichtautoriteit in de lidstaat waar onder reële omstandigheden moet worden getest; -b) de markttoezichtautoriteit in de lidstaat waar onder reële omstandigheden moet worden getest, heeft het testen onder reële omstandigheden en het plan voor tests onder reële omstandigheden goedgekeurd; indien de markttoezichtautoriteit binnen dertig dagen geen antwoord heeft gegeven, worden het testen onder reële omstandigheden en het plan voor tests onder reële omstandigheden geacht te zijn goedgekeurd; indien het nationale recht niet voorziet in een stilzwijgende goedkeuring, blijft het testen onder reële omstandigheden onderworpen aan een toestemming; +b. de markttoezichtautoriteit in de lidstaat waar onder reële omstandigheden moet worden getest, heeft het testen onder reële omstandigheden en het plan voor tests onder reële omstandigheden goedgekeurd; indien de markttoezichtautoriteit binnen dertig dagen geen antwoord heeft gegeven, worden het testen onder reële omstandigheden en het plan voor tests onder reële omstandigheden geacht te zijn goedgekeurd; indien het nationale recht niet voorziet in een stilzwijgende goedkeuring, blijft het testen onder reële omstandigheden onderworpen aan een toestemming; -c) de aanbieder of potentiële aanbieder, met uitzondering van aanbieders of potentiële aanbieders van in de punten 1, 6 en 7 van bijlage III bedoelde AI-systemen met een hoog risico op de gebieden rechtshandhaving, migratie, asiel en grenstoezichtsbeheer en AI-systemen met een hoog risico als bedoeld in punt 2 van bijlage III, heeft het testen onder reële omstandigheden geregistreerd overeenkomstig artikel 71, lid 4, met een Uniebreed uniek identificatienummer en de in bijlage IX gespecificeerde informatie; de aanbieder of potentiële aanbieder van in de punten 1, 6 en 7 van bijlage III bedoelde AI-systemen met een hoog risico op de gebieden van rechtshandhaving, migratie, asiel en grenstoezichtsbeheer, heeft het testen onder reële omstandigheden geregistreerd in het beveiligde niet-openbare gedeelte van de EU-databank overeenkomstig artikel 49, lid 4, punt d), met een Uniebreed uniek identificatienummer en de daarin gespecificeerde informatie; de aanbieder of potentiële aanbieder van in punt 2 van bijlage III bedoelde AI-systemen met een hoog risico heeft het testen onder reële omstandigheden geregistreerd overeenkomstig artikel 49, lid 5; +c. de aanbieder of potentiële aanbieder, met uitzondering van aanbieders of potentiële aanbieders van in de punten 1, 6 en 7 van bijlage III bedoelde AI-systemen met een hoog risico op de gebieden rechtshandhaving, migratie, asiel en grenstoezichtsbeheer en AI-systemen met een hoog risico als bedoeld in punt 2 van bijlage III, heeft het testen onder reële omstandigheden geregistreerd overeenkomstig artikel 71, lid 4, met een Uniebreed uniek identificatienummer en de in bijlage IX gespecificeerde informatie; de aanbieder of potentiële aanbieder van in de punten 1, 6 en 7 van bijlage III bedoelde AI-systemen met een hoog risico op de gebieden van rechtshandhaving, migratie, asiel en grenstoezichtsbeheer, heeft het testen onder reële omstandigheden geregistreerd in het beveiligde niet-openbare gedeelte van de EU-databank overeenkomstig artikel 49, lid 4, punt d), met een Uniebreed uniek identificatienummer en de daarin gespecificeerde informatie; de aanbieder of potentiële aanbieder van in punt 2 van bijlage III bedoelde AI-systemen met een hoog risico heeft het testen onder reële omstandigheden geregistreerd overeenkomstig artikel 49, lid 5; -d) de aanbieder of potentiële aanbieder die onder reële omstandigheden test, is in de Unie gevestigd of heeft een in de Unie gevestigde wettelijke vertegenwoordiger aangewezen; +d. de aanbieder of potentiële aanbieder die onder reële omstandigheden test, is in de Unie gevestigd of heeft een in de Unie gevestigde wettelijke vertegenwoordiger aangewezen; -e) gegevens die zijn verzameld en verwerkt met het oog op het testen onder reële omstandigheden mogen alleen aan derde landen worden doorgegeven mits er passende en toepasselijke waarborgen uit hoofde van het Unierecht worden toegepast; +e. gegevens die zijn verzameld en verwerkt met het oog op het testen onder reële omstandigheden mogen alleen aan derde landen worden doorgegeven mits er passende en toepasselijke waarborgen uit hoofde van het Unierecht worden toegepast; -f) het testen onder reële omstandigheden duurt niet langer dan nodig is om de doelstellingen ervan te verwezenlijken en in geen geval langer dan zes maanden, met een mogelijke verlenging van nog eens zes maanden indien de aanbieder of potentiële aanbieder de markttoezichtautoriteit daar vooraf van in kennis stelt, met een uitleg waarom een dergelijke verlenging noodzakelijk is; +f. het testen onder reële omstandigheden duurt niet langer dan nodig is om de doelstellingen ervan te verwezenlijken en in geen geval langer dan zes maanden, met een mogelijke verlenging van nog eens zes maanden indien de aanbieder of potentiële aanbieder de markttoezichtautoriteit daar vooraf van in kennis stelt, met een uitleg waarom een dergelijke verlenging noodzakelijk is; -g) proefpersonen die onder reële omstandigheden worden getest en die tot kwetsbare groepen behoren vanwege hun leeftijd of handicap, worden naar behoren beschermd; +g. proefpersonen die onder reële omstandigheden worden getest en die tot kwetsbare groepen behoren vanwege hun leeftijd of handicap, worden naar behoren beschermd; -h) indien een aanbieder of potentiële aanbieder het testen onder reële omstandigheden organiseert in samenwerking met een of meer gebruiksverantwoordelijken of potentiële gebruiksverantwoordelijken, worden zij geïnformeerd over alle aspecten van het testen die relevant zijn voor hun beslissing om deel te nemen, en krijgen zij de relevante gebruiksinstructies van het AI-systeem als bedoeld in artikel 13; de aanbieder of potentiële aanbieder en de gebruiksverantwoordelijke of potentiële gebruiksverantwoordelijke sluiten een overeenkomst waarin hun taken en verantwoordelijkheden worden gespecificeerd teneinde te waarborgen dat de bepalingen voor het testen onder reële omstandigheden uit hoofde van deze verordening en ander toepasselijk Unie- en nationaal recht worden nageleefd; +h. indien een aanbieder of potentiële aanbieder het testen onder reële omstandigheden organiseert in samenwerking met een of meer gebruiksverantwoordelijken of potentiële gebruiksverantwoordelijken, worden zij geïnformeerd over alle aspecten van het testen die relevant zijn voor hun beslissing om deel te nemen, en krijgen zij de relevante gebruiksinstructies van het AI-systeem als bedoeld in artikel 13; de aanbieder of potentiële aanbieder en de gebruiksverantwoordelijke of potentiële gebruiksverantwoordelijke sluiten een overeenkomst waarin hun taken en verantwoordelijkheden worden gespecificeerd teneinde te waarborgen dat de bepalingen voor het testen onder reële omstandigheden uit hoofde van deze verordening en ander toepasselijk Unie- en nationaal recht worden nageleefd; -i) de proefpersonen die onder reële omstandigheden worden getest, hebben geïnformeerde toestemming gegeven overeenkomstig artikel 61, of, in het geval van rechtshandhaving, indien het vragen om geïnformeerde toestemming het testen van het AI-systeem onder reële omstandigheden onmogelijk zou maken, de test zelf en het resultaat van de test onder reële omstandigheden hebben geen negatieve gevolgen voor de proefpersonen en hun persoonsgegevens worden na de uitvoering van test gewist; +i. de proefpersonen die onder reële omstandigheden worden getest, hebben geïnformeerde toestemming gegeven overeenkomstig artikel 61, of, in het geval van rechtshandhaving, indien het vragen om geïnformeerde toestemming het testen van het AI-systeem onder reële omstandigheden onmogelijk zou maken, de test zelf en het resultaat van de test onder reële omstandigheden hebben geen negatieve gevolgen voor de proefpersonen en hun persoonsgegevens worden na de uitvoering van test gewist; -j) op het testen onder reële omstandigheden wordt daadwerkelijk toezicht gehouden door de aanbieder of potentiële aanbieder, alsook door gebruiksverantwoordelijken of potentiële gebruiksverantwoordelijken via personen die voldoende zijn gekwalificeerd op het relevante gebied en beschikken over de nodige capaciteiten, opleiding en bevoegdheden om hun taken uit te voeren; +j. op het testen onder reële omstandigheden wordt daadwerkelijk toezicht gehouden door de aanbieder of potentiële aanbieder, alsook door gebruiksverantwoordelijken of potentiële gebruiksverantwoordelijken via personen die voldoende zijn gekwalificeerd op het relevante gebied en beschikken over de nodige capaciteiten, opleiding en bevoegdheden om hun taken uit te voeren; -k) de voorspellingen, aanbevelingen of beslissingen van het AI-systeem kunnen daadwerkelijk worden teruggedraaid en genegeerd. +k. de voorspellingen, aanbevelingen of beslissingen van het AI-systeem kunnen daadwerkelijk worden teruggedraaid en genegeerd. ## Bronnen [Artikel 9(6 en 8) Verordening Artificiële Intelligentie](https://eur-lex.europa.eu/legal-content/NL/TXT/HTML/?uri=OJ:L_202401689#d1e3241-1-1) @@ -86,4 +86,4 @@ Zonder het testen van een AI-systeem, ontstaat het risico dat het AI-systeem inc ## Maatregelen - + From 083e573fdb952aee6b4b13120734a86ea535d6db Mon Sep 17 00:00:00 2001 From: ruthkoole Date: Thu, 19 Dec 2024 12:57:40 +0100 Subject: [PATCH 04/14] fix broken links --- docs/onderwerpen/data.md | 2 +- docs/overhetalgoritmekader/soorten-algoritmes.md | 2 +- docs/rollen/beleid-en-advies.md | 2 +- .../maatregelen/0-org-09-governance-per-risicocategorie.md | 2 +- .../maatregelen/1-pba-03-onderbouwen-gebruik-algoritme.md | 4 ++-- .../maatregelen/1-pba-04-betrek-belanghebbenden.md | 2 +- .../2-owp-15-bespreek-vereisten-met-aanbieders.md | 2 +- .../2-owp-36-voorkom-kwetsbaarheden-supplychain.md | 2 +- ...onvermelding.md => 2-owp-37-genereren-bronvermelding.md} | 6 +++--- .../maatregelen/3-dat-01-datakwaliteit.md | 6 +++--- .../maatregelen/3-dat-09-dataminimalisatie.md | 6 +----- .../maatregelen/5-ver-06-evalueer-betrouwbaarheid.md | 2 +- .../maatregelen/6-imp-03-menselijke-tussenkomst.md | 4 ++-- .../maatregelen/8-uit-01-archiveren.md | 2 +- ...en-AI-praktijken.md => aia-00-verboden-AI-praktijken.md} | 4 ++-- .../vereisten/aia-03-risicobeheersysteem.md | 2 +- .../vereisten/aia-05-data-kwaliteitscriteria.md | 4 ++-- .../vereisten/aia-28-transparantieverplichtingen.md | 2 +- .../vereisten/awb-01-zorgvuldigheidsbeginsel.md | 6 +++--- 19 files changed, 29 insertions(+), 33 deletions(-) rename docs/voldoen-aan-wetten-en-regels/maatregelen/{2-owp-31-genereren-bronvermelding.md => 2-owp-37-genereren-bronvermelding.md} (89%) rename docs/voldoen-aan-wetten-en-regels/vereisten/{aia-01-verboden-AI-praktijken.md => aia-00-verboden-AI-praktijken.md} (97%) diff --git a/docs/onderwerpen/data.md b/docs/onderwerpen/data.md index 4c85a863b1..a4d89904db 100644 --- a/docs/onderwerpen/data.md +++ b/docs/onderwerpen/data.md @@ -56,7 +56,7 @@ Met verantwoord datagebruik voorkom je: ### Bescherming van cruciale infrastructuurdata Niet alleen persoonsgegevens, maar ook gegevens over de Nederlandse infrastructuur vragen om verantwoord datagebruik. Dit omvat zowel fysieke infrastructuur, zoals wegen, bruggen, tunnels en energievoorzieningen, als digitale infrastructuur, zoals datakabels en datacentra. -Het ongecontroleerd delen of gebruiken van deze gegevens, bijvoorbeeld voor het trainen van buitenlandse AI-toepassingen, kan risico’s opleveren voor de nationale veiligheid en de continuïteit van vitale systemen. Overheden en organisaties moeten deze data goed [beveiligen](technische-robuustheid-en-veiligheid.md) en duidelijke [kaders opstellen](../voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid_opstellen_inzet_algoritmes.md) om verantwoord gebruik te waarborgen. +Het ongecontroleerd delen of gebruiken van deze gegevens, bijvoorbeeld voor het trainen van buitenlandse AI-toepassingen, kan risico’s opleveren voor de nationale veiligheid en de continuïteit van vitale systemen. Overheden en organisaties moeten deze data goed [beveiligen](technische-robuustheid-en-veiligheid.md) en duidelijke [kaders opstellen](../voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid-opstellen-inzet-algoritmes.md) om verantwoord gebruik te waarborgen. ## Vereisten { data-search-exclude } diff --git a/docs/overhetalgoritmekader/soorten-algoritmes.md b/docs/overhetalgoritmekader/soorten-algoritmes.md index 254fef5ce1..c31f842120 100644 --- a/docs/overhetalgoritmekader/soorten-algoritmes.md +++ b/docs/overhetalgoritmekader/soorten-algoritmes.md @@ -41,7 +41,7 @@ Zelflerende technieken zijn in elk geval: * **Deep learning**: Supervised, unsupervised of reinforcement learning gecombineerd met diepe neurale netwerken. Dit zijn kunstmatige neurale netwerken met veel verschillende lagen. Hierdoor kun je nog ingewikkeldere problemen oplossen. Voorbeeld: [Geautomatiseerde gezichtsvergelijking bij het RNI-inschrijfproces](https://algoritmes.overheid.nl/nl/algoritme/geautomatiseerde-gezichtsvergelijking-bij-het-rniinschrijfproces-rijksdienst-voor-identiteitsgegevens/18814864). ## AI-systeem -Met een AI-systeem bedoelen we een systeem dat kunstmatig intelligent is volgens de [Europese AI-verordening](../voldoen-aan-wetten-en-regels/ai-verordening.md#definitie-van-een-ai-systeem). Dit zijn in elk geval systemen die gebruik maken van: +Met een AI-systeem bedoelen we een systeem dat kunstmatig intelligent is volgens de [Europese AI-verordening](../voldoen-aan-wetten-en-regels/ai-verordening.md#ai-systeem). Dit zijn in elk geval systemen die gebruik maken van: * supervised learning * unsupervised learning diff --git a/docs/rollen/beleid-en-advies.md b/docs/rollen/beleid-en-advies.md index 90dfb32aef..07e7e72b1e 100644 --- a/docs/rollen/beleid-en-advies.md +++ b/docs/rollen/beleid-en-advies.md @@ -7,7 +7,7 @@ hide: # Beleid en advies Professionals op het gebied van beleid en advies zorgen ervoor dat de organisatie algoritmes verantwoord en in lijn met beleidsdoelen ontwikkelt en inzet. -Zij dragen bij aan impact-assessments, risicobeoordelingen en [beleidsplannen over algoritmes](../vodoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid_opstellen_inzet_algoritmes.md). En zij helpen bij het signaleren en mitigeren van potentiële risico’s, zoals onbedoelde [bias](../onderwerpen/bias-en-non-discriminatie.md) of risico's op het gebied van [privacy](../onderwerpen/privacy-en-gegevensbescherming.md). +Zij dragen bij aan impact-assessments, risicobeoordelingen en [beleidsplannen over algoritmes](../voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid-opstellen-inzet-algoritmes.md). En zij helpen bij het signaleren en mitigeren van potentiële risico’s, zoals onbedoelde [bias](../onderwerpen/bias-en-non-discriminatie.md) of risico's op het gebied van [privacy](../onderwerpen/privacy-en-gegevensbescherming.md). Door hun brede blik en specialistische kennis ondersteunen zij adviseurs bij het opstellen en vertalen van beleidskaders naar concrete maatregelen en adviezen. Zij vormen zo een verbindende factor tussen de technische, organisatorische en bestuurlijke aspecten van algoritmeontwikkeling. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md index 313b341a9f..1f06a30544 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md @@ -38,7 +38,7 @@ Richt algoritmegovernance in op basis van de risicoclassificatie van algoritmes. !!! example "Ministerie van Economische Zaken: Gids AI-verordening" _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ - Het ministerie van Economische Zaken (EZ) heeft een gids opgesteld voor de AI-verordening. Hierin worden vier stappen toegelicht: Risico, AI, Rol en Verplichtingen. Om te identificeren welke AI-systemen of algoritmes hoog-risico zijn is het aan te raden om deze gids te bekijken. Meer informatie over de AI-verordening is ook te vinden op ["AI-verordening in het kort"](../voldoen-aan-wetten-en-regels/ai-verordening.md) + Het ministerie van Economische Zaken (EZ) heeft een gids opgesteld voor de AI-verordening. Hierin worden vier stappen toegelicht: Risico, AI, Rol en Verplichtingen. Om te identificeren welke AI-systemen of algoritmes hoog-risico zijn is het aan te raden om deze gids te bekijken. Meer informatie over de AI-verordening is ook te vinden op ["AI-verordening in het kort"](../ai-verordening.md) Naast de classificatie staat er in deze gids vanaf pagina 11 ook aan welke verplichtingen een aanbieder en gebruiksverantwoordelijke moeten voldoen voor hoog-risico AI, AI voor algemene doeleinden, generatieve AI en chatbots, maar niet voor overige AI. Bron: [Gids AI-verordening](https://www.rijksoverheid.nl/documenten/brochures/2024/10/16/gids-ai-verordening) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/1-pba-03-onderbouwen-gebruik-algoritme.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/1-pba-03-onderbouwen-gebruik-algoritme.md index bd60b1c584..b2b060cb4c 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/1-pba-03-onderbouwen-gebruik-algoritme.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/1-pba-03-onderbouwen-gebruik-algoritme.md @@ -3,7 +3,7 @@ title: Beschrijf waarom een algoritme het probleem moet oplossen id: urn:nl:ak:mtr:pba-03 toelichting: Bepaal en documenteer waarom het gewenst of nodig is om een algoritme in te zetten om het probleem te kunnen aanpakken. vereiste: -- aia-01-verboden-AI-praktijken +- aia-00-verboden-AI-praktijken - awb-01-zorgvuldigheidsbeginsel levenscyclus: - probleemanalyse @@ -29,7 +29,7 @@ Documenteer de onderbouwing waarom een algoritme een betere oplossing zou bieden - Maak een bewuste afweging of een algoritme het juiste middel is om [het probleem](1-pba-01-formuleren-probleemdefinitie.md) op doelmatige en doeltreffende wijze op te lossen, en documenteer deze afweging. -- Beoordeel of de gewenste oplossing is [toegestaan op grond van de AI-Verordening](aia-01-verboden-AI-praktijken.md). +- Beoordeel of de gewenste oplossing is [toegestaan op grond van de AI-Verordening](../vereisten/aia-00-verboden-AI-praktijken.md). ## Risico Het algoritme is niet het juiste middel om het probleem op te lossen. Het risico daarbij bestaat dat het probleem niet wordt opgelost. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/1-pba-04-betrek-belanghebbenden.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/1-pba-04-betrek-belanghebbenden.md index 49b36aa773..92430a2bf9 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/1-pba-04-betrek-belanghebbenden.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/1-pba-04-betrek-belanghebbenden.md @@ -55,7 +55,7 @@ Enkele voorbeelden hierbij zijn: - [Toetsingskader Algemene Rekenkamer 2.12](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) - [Ethics Guidelines for Trustworthy AI](https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai) - [Onderzoekskader Algoritmes Auditdienst Rijk, SV.10](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) -- [Framework for Meaningful Engagement](framework-meaningful-engagement.md) +- [Framework for Meaningful Engagement](../hulpmiddelen/framework-meaningful-engagement.md) ## Risico diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-15-bespreek-vereisten-met-aanbieders.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-15-bespreek-vereisten-met-aanbieders.md index e93abb5b38..c46ba1bd01 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-15-bespreek-vereisten-met-aanbieders.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-15-bespreek-vereisten-met-aanbieders.md @@ -95,7 +95,7 @@ Bespreek de vereiste die gelden voor een verantwoorde inzet van algoritmes met e Ga met een aanbieder in gesprek over in hoeverre zij invulling kunnen geven aan de vereisten die gelden voor een verantwoorde inzet van algoritmes. Dit kan worden gedaan bijvoorbeeld bij een informatiesessie met aanbieders voorafgaand aan een aanbesteding. -Hiervoor is het van belang om te bepalen om wat voor [type algoritme het gaat en wat de bijbehorende risicoclassificatie](2-owp-05-soort-algoritme) is. Maak op basis daarvan inzichtelijk welke vereisten hierop van toepassing zijn. +Hiervoor is het van belang om te bepalen om wat voor [type algoritme het gaat en wat de bijbehorende risicoclassificatie](2-owp-05-soort-algoritme.md) is. Maak op basis daarvan inzichtelijk welke vereisten hierop van toepassing zijn. Op basis van nieuwe of gewijzigde wet- en regelgeving of de totstandkoming van nieuwe standaard, is het denkbaar dat aanbieders van algoritmes nog niet of niet meer voldoet aan deze vereisten. Het is van belang om deze inzichten bijvoorbeeld tijdens een aanbesteding worden verkregen. Indien van toepassing, laat de aanbieder inzichtelijk maken welke stappen deze gaat zetten om hieraan te gaan voldoen. Dit is ook relevant bij reeds afgesloten contracten. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-36-voorkom-kwetsbaarheden-supplychain.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-36-voorkom-kwetsbaarheden-supplychain.md index 8a60bfefde..1e8b2ee64a 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-36-voorkom-kwetsbaarheden-supplychain.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-36-voorkom-kwetsbaarheden-supplychain.md @@ -35,7 +35,7 @@ Redenen om dit te doen zijn het reeds beschikbaar zijn van een voorgetraind algo Echter is het een stuk lastiger om deze modellen te beschermen tegen aanvallen zoals [backdoors] omdat er geen (directe) controle is op het correct uitvoeren van een trainingsproces. Een eerste stap is om in kaart te brengen welke afhankelijkheden er zijn en te onderzoeken of deze beheersbaar zijn. -Er moeten er duidelijke afspraken gemaakt worden met leveranciers, bijvoorbeeld in de vorm van een [Service Level Agreement (SLA)](2-owp-26-maak-vereisten-onderdeel-van-service-level-agreement.md). +Er moeten er duidelijke afspraken gemaakt worden met leveranciers, bijvoorbeeld in de vorm van een [Service Level Agreement (SLA)](2-owp-29-maak-vereisten-onderdeel-van-service-level-agreement.md). Op deze manier kan bijvoorbeeld afgesproken wie er verantwoordelijk is voor bijvoorbeeld het correct trainen en functioneren van het algoritme en hoe incidenten afgehandeld moeten worden. Tot slot kunnen extra maatregelen genomen worden om te verifiëren dat het model inderdaad functioneert zoals afgesproken. Zo kunnen er formele methodes gebruikt worden om het algoritme te verifiëren, en kan het gedrag van het algoritme getest worden tegen bekende, foutieve invoerwaarden. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-31-genereren-bronvermelding.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-37-genereren-bronvermelding.md similarity index 89% rename from docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-31-genereren-bronvermelding.md rename to docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-37-genereren-bronvermelding.md index 3bc41ce43a..daefc25d88 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-31-genereren-bronvermelding.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-37-genereren-bronvermelding.md @@ -1,6 +1,6 @@ --- title: Maak gebruik van een algoritme dat bronvermelding kan genereren bij de output. -id: urn:nl:ak:mtr:imp-10 +id: urn:nl:ak:mtr:owp-37 toelichting: Kies bij het ontwikkelen of inkopen een algoritme dat bronvermelding kan genereren bij de output, zodat een beoordeling kan worden gegeven of het algoritme naar behoren functioneert. vereiste: - dat-01-databankenwet @@ -32,12 +32,12 @@ Maak gebruik van een algoritme dat bronvermelding kan genereren bij de output. ## Toelichting Bij het gebruik van generatieve AI/LLM’s is bronvermelding van belang. -Hiermee kan tot op zekere hoogte een beoordeling worden gegeven in hoeverre bij het trainen van het AI-model [rechtmatig](aut-01-auteursrechten.md) [gebruik](dat-01-databankenwet.md) is gemaakt van bronnen. +Hiermee kan tot op zekere hoogte een beoordeling worden gegeven in hoeverre bij het trainen van het AI-model [rechtmatig](../vereisten/aut-01-auteursrechten.md) [gebruik](../vereisten/dat-01-databankenwet.md) is gemaakt van bronnen. Bronvermelding is daarnaast essentieel om de output van het AI-model [inhoudelijk te kunnen controleren](../../levenscyclus/verificatie-en-validatie.md), wat ook informatie geeft in hoeverre het AI-model bijvoorbeeld al dan niet hallucineert of manipuleert. Voor het ontwikkelen van een AI-model is bronvermelding noodzakelijk, omdat het voor ontwikkelaars de enige manier is om te kunnen controleren of het model goed werkt. Dit geldt ook voor ontwikkelaars die pre-trained modellen gebruiken. -Neem het kunnen generenen van een bronvermelding mee als een 'requirement' voor het te ontwikkelen AI-model in de ontwerpfase of maakt het onderdeel van de behoeftestelling en [specificeer deze behoefte](2-owp-25-maak-vereisten-onderdeel-van-programma-van-eisen.md) in het inkoopproces. +Neem het kunnen generenen van een bronvermelding mee als een 'requirement' voor het te ontwikkelen AI-model in de ontwerpfase of maakt het onderdeel van de behoeftestelling en [specificeer deze behoefte](2-owp-28-maak-vereisten-onderdeel-van-programma-van-eisen.md) in het inkoopproces. ## Bijbehorende vereiste(n) { data-search-exclude } diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-01-datakwaliteit.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-01-datakwaliteit.md index 33c18642e6..1bdaa9f398 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-01-datakwaliteit.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-01-datakwaliteit.md @@ -42,9 +42,9 @@ Stel vast of de gebruikte data van voldoende kwaliteit is voor de beoogde toepas - De vraag of de data kwaliteit voldoende is, hangt sterk samen met de vraag of er bias in de onderliggende data zit. Analyseer daarom ook welke bias en aannames er besloten zijn in de onderliggende data. Denk hierbij onder andere aan de volgende vormen van bias: - - [historische bias](../../onderwerpen/bias-en-non-discriminatie.md#verschillende-vormen-van-bias) - - [meetbias](../../onderwerpen/bias-en-non-discriminatie.md#verschillende-vormen-van-bias) - - [representatie bias](../../onderwerpen/bias-en-non-discriminatie.md#verschillende-vormen-van-bias) + - [historische bias](../../onderwerpen/bias-en-non-discriminatie.md#herken-bias) + - [meetbias](../../onderwerpen/bias-en-non-discriminatie.md#herken-bias) + - [representatie bias](../../onderwerpen/bias-en-non-discriminatie.md#herken-bias) - Zorg dat je data [vindbaar, toegankelijk, interoperabel en herbruikbaar (FAIR)](3-dat-02-fair-data.md) is. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-09-dataminimalisatie.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-09-dataminimalisatie.md index 4e2a0fd0ff..3cc8332b90 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-09-dataminimalisatie.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-09-dataminimalisatie.md @@ -45,12 +45,8 @@ Zonder dataminimalisatie loopt je organisatie het risico op onnodig hoge energie De Basisregistratie Personen (BRP) heeft in 2023 een experiment uitgevoerd rondom dataminimalisatie. BRP-gegevens zoals naam en geslacht werden vertaald naar direct bruikbare informatie zoals aanschrijfnaam. Op deze manier werd informatie op een efficiëntere manier doorgegeven. Het experiment van BRP is een indirecte vorm van energie-efficiëntie omdat er minder (onnodige) data verstrekt wordt aan de aanvrager. Hierdoor hoeft de aanvrager minder data op te slaan en te verwerken. - - Bron: [Experimentbesluit BRP dataminimalisatie]([https://www.nationaalarchief.nl/archiveren/kennisbank/selectielijst-voor-het-uitvoeringsinstituut-werknemersverzekeringen-uwv-voor](https://www.internetconsultatie.nl/experimentbesluitbrp/b1)) - - - + Bron: [Experimentbesluit BRP dataminimalisatie](https://www.internetconsultatie.nl/experimentbesluitbrp/b1) ## Bronnen - [Onderzoekskader Auditdienst Rijk, PRI.5](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-06-evalueer-betrouwbaarheid.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-06-evalueer-betrouwbaarheid.md index 5bf5e91c2e..580442c95e 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-06-evalueer-betrouwbaarheid.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-06-evalueer-betrouwbaarheid.md @@ -55,7 +55,7 @@ Onderzoek of er specifieke situaties of omstandigheden zijn waarvan bekend is da ??? example "Voorbeeld" - Analyseer welke veranderingen of wisselingen in de [inputdata](2-owp-02-gebruikte-data.md) er kunnen plaatsvinden. Bijvoorbeeld door economische schommelingen of door veranderingen in gebruikersgedrag. Test of het algoritme goed blijft presteren onder deze omstandigheden. + Analyseer welke veranderingen of wisselingen in de [inputdata](2-owp-11-gebruikte-data.md) er kunnen plaatsvinden. Bijvoorbeeld door economische schommelingen of door veranderingen in gebruikersgedrag. Test of het algoritme goed blijft presteren onder deze omstandigheden. ??? example "Voorbeeld" diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md index 6f5327bbeb..d42d2738a2 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md @@ -31,7 +31,7 @@ Richt (technische) controlemechanismen in voor menselijke tussenkomst (of: mense ## Toelichting -Algoritmes ondersteunen vaak beslissingen en besluitvorming van overheidsorganisaties. Deze beslissingen of besluiten kunnen betrokkenen in [aanmerkelijke mate raken of zelfs rechtsgevolgen](avg-10-recht-op-niet-geautomatiseerde-besluitvorming.md) hebben. Omdat algoritmes niet foutloos zijn, is het belangrijk dat een mens controleert wat een algoritme doet en, waar nodig, corrigeert. Dit proces heet 'menselijke tussenkomst' en moet betekenisvol zijn, niet slechts symbolisch. +Algoritmes ondersteunen vaak beslissingen en besluitvorming van overheidsorganisaties. Deze beslissingen of besluiten kunnen betrokkenen in [aanmerkelijke mate raken of zelfs rechtsgevolgen](../vereisten/avg-10-recht-op-niet-geautomatiseerde-besluitvorming.md) hebben. Omdat algoritmes niet foutloos zijn, is het belangrijk dat een mens controleert wat een algoritme doet en, waar nodig, corrigeert. Dit proces heet 'menselijke tussenkomst' en moet betekenisvol zijn, niet slechts symbolisch. Het inrichten, monitoren en evalueren van menselijke controle is cruciaal om te voorkomen dat algoritmes negatieve effecten veroorzaken of de menselijke autonomie ondermijnen. @@ -78,7 +78,7 @@ Het niet inrichten van passende menselijke controle leidt tot onverantwoorde inz ## Bronnen - [Toetsingskader Algoritmes Algemene Rekenkamer, 2.01](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) - - [Menselijke tussenkomst | Algoritmes | Algemene Rekenkamer](https://www.rekenkamer.nl/onderwerpen/algoritmes/toetsingskader/ethiek/menselijke-tussenkomst) +- [Menselijke tussenkomst | Algoritmes | Algemene Rekenkamer](https://www.rekenkamer.nl/onderwerpen/algoritmes/toetsingskader/ethiek/menselijke-tussenkomst) - [Onderzoekskader Algoritmes Auditdienst Rijk, SV.5, SV.6](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) - [Advies over geautomatiseerde selectietechniek Pels Rijcken, p.9](https://open.overheid.nl/documenten/6b5b5d5b-fdc1-4333-a11e-f89d3627a0f5/file) - [Recht op een menselijke blik bij besluiten | Autoriteit Persoonsgegevens](https://www.autoriteitpersoonsgegevens.nl/themas/basis-avg/privacyrechten-avg/recht-op-een-menselijke-blik-bij-besluiten#:~:text=Reactie%20op%20verzoek-,Geautomatiseerd%20besluit,noemen%20dit%20een%20geautomatiseerd%20besluit.) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/8-uit-01-archiveren.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/8-uit-01-archiveren.md index dc88d0646d..b7262d35ed 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/8-uit-01-archiveren.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/8-uit-01-archiveren.md @@ -30,7 +30,7 @@ Verwijder bij [uitfasering](../../levenscyclus/uitfaseren.md) van je algoritme g ## Toelichting Als het doel van het algoritme niet langer bestaat, kan een algoritme (zowel data als model) uitgeschakeld of verwijderd worden. Tegelijkertijd kan dit voor door het algoritme gemaakte beslissingen betekenen dat niet meer te achterhalen is welke data is gebruikt, en waarom het model deze zo beoordeeld heeft. -In de ontwerpfase van het algoritme wordt daarom [vastgelegd welke elementen bewaard dienen te worden en waarom](2-owp-08-archiveren-documenten.md). +In de ontwerpfase van het algoritme wordt daarom [vastgelegd welke elementen bewaard dienen te worden en waarom](2-owp-09-archiveren-documenten.md). Door op een juiste manier om te gaan met uitfaseren, kan worden voorkomen dat de potentiële latere effecten van algoritme worden geadresseerd. De werking van een algoritme, en de manier waarop beslissingen in het verleden zijn genomen, blijven behouden. Dit zorgt voor transparantie en controleerbaarheid of auditeerbaarheid. diff --git a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-01-verboden-AI-praktijken.md b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-00-verboden-AI-praktijken.md similarity index 97% rename from docs/voldoen-aan-wetten-en-regels/vereisten/aia-01-verboden-AI-praktijken.md rename to docs/voldoen-aan-wetten-en-regels/vereisten/aia-00-verboden-AI-praktijken.md index 08e7c89515..71a3b38414 100644 --- a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-01-verboden-AI-praktijken.md +++ b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-00-verboden-AI-praktijken.md @@ -1,6 +1,6 @@ --- title: Verboden AI-systemen mogen niet worden gebruikt. -id: urn:nl:ak:ver:aia-01 +id: urn:nl:ak:ver:aia-00 toelichting: Als een AI-systeem valt onder een toepassingen zoals beschreven in Artikel 5 AI-Verordening, dan is het niet toegestaan om deze te gebruiken. levenscyclus: - organisatieverantwoordelijkheden @@ -46,7 +46,7 @@ Er zijn een tweetal uitzonderingen voor het inzetten van verbonden AI-systemen. - Er is sprake van een rechtshandhavingsactiviteit i.v.m. een specifiek misdrijf (terrorisme, mensenhandel, seksuele uitbuiting van kinderen en materiaal over seksueel misbruik van kinderen, illegale handel in verdovende middelen en psychotrope stoffen, illegale handel in wapens, munitie en explosieven, moord, zware mishandeling, illegale handel in menselijke organen en weefsels, illegale handel in nucleaire en radioactieve stoffen, ontvoering, wederrechtelijke vrijheidsberoving en gijzeling, misdrijven die onder de rechtsmacht van het Internationaal Strafhof vallen, kaping van vliegtuigen/schepen, verkrachting, milieucriminaliteit, georganiseerde of gewapende diefstal, sabotage, deelneming aan een criminele organisatie die betrokken is bij een of meer van de bovengenoemde misdrijven). - Er is sprake van gerichte opsporing van specifieke slachtoffers, ontvoering, mensenhandel en seksuele uitbuiting van mensen, vermiste personen; of het voorkomen van bedreigingen voor het leven of de fysieke veiligheid van personen of het reageren op de huidige of voorzienbare dreiging van een terreuraanslag. -Bepaal in een vroege fase en bij het [onderbouwen van het gebruik van een AI-systeem](1-pba-03-onderbouwen-gebruik-algoritme.md) of de beoogde toepassing is toegestaan. +Bepaal in een vroege fase en bij het [onderbouwen van het gebruik van een AI-systeem](../maatregelen/1-pba-03-onderbouwen-gebruik-algoritme.md) of de beoogde toepassing is toegestaan. ## Bronnen diff --git a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-03-risicobeheersysteem.md b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-03-risicobeheersysteem.md index b5dbb17a9b..8bb3c4c9e9 100644 --- a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-03-risicobeheersysteem.md +++ b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-03-risicobeheersysteem.md @@ -26,7 +26,7 @@ Voor AI-systemen met een hoog risico wordt een systeem voor risicobeheer vastges ## Toelichting -Het systeem voor risicobeheer moet bestaan uit een gepland iteratief proces, dat tijdens de [gehele levensduur](levenscyclus/index.md) van een hoog-risico AI-systeem wordt doorlopen. Een organisatie moet ervoor zorgen dat een risicobeheersysteem wordt ingericht in de organisatie. +Het systeem voor risicobeheer moet bestaan uit een gepland iteratief proces, dat tijdens de [gehele levensduur](../../levenscyclus/over-de-levenscyclus.md) van een hoog-risico AI-systeem wordt doorlopen. Een organisatie moet ervoor zorgen dat een risicobeheersysteem wordt ingericht in de organisatie. Het risicobeheersysteem moet gericht zijn op het vaststellen en beperken van de relevante risico’s van AI-systemen voor de gezondheid, veiligheid en grondrechten met passende maatregelen. diff --git a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-05-data-kwaliteitscriteria.md b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-05-data-kwaliteitscriteria.md index f27c8b51fe..9e2ca383d8 100644 --- a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-05-data-kwaliteitscriteria.md +++ b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-05-data-kwaliteitscriteria.md @@ -30,9 +30,9 @@ AI-systemen met een hoog risico die technieken gebruiken die het trainen van AI- ## Toelichting -AI-systemen met een hoog risico die data gebruiken voor het trainen van AI-modellen, moeten gebaseerd zijn op datasets die voldoen aan specifieke [kwaliteitscriteria](3-dat-01-datakwaliteit.md). +AI-systemen met een hoog risico die data gebruiken voor het trainen van AI-modellen, moeten gebaseerd zijn op datasets die voldoen aan specifieke [kwaliteitscriteria](../maatregelen/3-dat-01-datakwaliteit.md). -Deze criteria zorgen ervoor dat de data geschikt zijn voor [training, validatie en tests](3-dat-07-training-validatie-en-testdata.md), wat de betrouwbaarheid en nauwkeurigheid van het AI-systeem waarborgt. De kwaliteitscriteria zijn te vinden in leden 2 t/m 5 van artikel 10 van de AI-verordening. Bijvoorbeeld datasets moeten aan praktijken voor databeheer voldoen en moeten relevant, representatief, accuraat en volledig zijn. +Deze criteria zorgen ervoor dat de data geschikt zijn voor [training, validatie en tests](../maatregelen/3-dat-07-training-validatie-en-testdata.md), wat de betrouwbaarheid en nauwkeurigheid van het AI-systeem waarborgt. De kwaliteitscriteria zijn te vinden in leden 2 t/m 5 van artikel 10 van de AI-verordening. Bijvoorbeeld datasets moeten aan praktijken voor databeheer voldoen en moeten relevant, representatief, accuraat en volledig zijn. Deze vereiste houdt in dat de gebruikte datasets onder meer moeten voldoen aan: diff --git a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-28-transparantieverplichtingen.md b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-28-transparantieverplichtingen.md index 732b555eeb..3fda51cd1e 100644 --- a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-28-transparantieverplichtingen.md +++ b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-28-transparantieverplichtingen.md @@ -51,5 +51,5 @@ Bepaalde AI-systemen die bedoeld zijn om met natuurlijke personen te interageren ## Maatregelen { data-search-exclude } - + diff --git a/docs/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel.md b/docs/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel.md index 81a1cb8137..40e58ebedc 100644 --- a/docs/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel.md +++ b/docs/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel.md @@ -25,9 +25,9 @@ Het zorgvuldigheidsvereiste eist dat een besluit met de nodige zorgvuldigheid wo Dit vraagt onder meer om een zorgvuldig onderzoek naar informatie, feiten, een zorgvuldige beslissingsprocedure en een deugdelijke besluitvorming. Dit betekent dat bij de ontwikkeling en gebruik van algoritmes informatie moet worden vastgelegd over het algoritme. Hierbij kan worden gedacht aan: -- Dat het [doel en eventuele subdoelen](1-pba-01-formuleren-probleemdefinitie.md) van het algoritme of AI-systeem helder zijn gedefinieerd, ook in relatie tot het maatschappelijke resultaat (outcome). -- Een bewuste afweging afmaken en vaststellen of het algoritme het [juiste middel is om het probleem](1-pba-01-formuleren-probleemdefinitie) op doelmatige en doeltreffende wijze op te lossen. -- Dat de werking van het algoritme is onderzocht en is vastgesteld dat dit [passend is](5-ver-03-functioneren-in-lijn-met-doeleinden.md) om te gebruiken in een besluitvormingsproces. +- Dat het [doel en eventuele subdoelen](../maatregelen/1-pba-01-formuleren-probleemdefinitie.md) van het algoritme of AI-systeem helder zijn gedefinieerd, ook in relatie tot het maatschappelijke resultaat (outcome). +- Een bewuste afweging afmaken en vaststellen of het algoritme het [juiste middel is om het probleem](../maatregelen/1-pba-01-formuleren-probleemdefinitie) op doelmatige en doeltreffende wijze op te lossen. +- Dat de werking van het algoritme is onderzocht en is vastgesteld dat dit [passend is](../maatregelen/5-ver-03-functioneren-in-lijn-met-doeleinden.md) om te gebruiken in een besluitvormingsproces. ## Bronnen - [Afdeling 3.2 Algemene wet bestuursrecht](https://wetten.overheid.nl/jci1.3:c:BWBR0005537&hoofdstuk=3&afdeling=3.2&z=2024-05-01&g=2024-05-01) From 00b4fc9f8ff457116bee6d179e58ef6de8053ca5 Mon Sep 17 00:00:00 2001 From: ruthkoole Date: Thu, 19 Dec 2024 13:17:47 +0100 Subject: [PATCH 05/14] fix broken links --- docs/onderwerpen/bias-en-non-discriminatie.md | 112 ++++++------------ ...3-dat-07-training-validatie-en-testdata.md | 2 +- .../maatregelen/4-owk-08-feedbackloops.md | 2 +- .../4-owk-09-adversarial-aanvallen.md | 2 +- ...-01-functioneren-in-lijn-met-doeleinden.md | 2 +- .../maatregelen/5-ver-03-biasanalyse.md | 6 +- .../aia-00-verboden-AI-praktijken.md | 5 +- ...-04-proportionaliteit-en-subsidiariteit.md | 2 +- .../awb-01-zorgvuldigheidsbeginsel.md | 4 +- 9 files changed, 52 insertions(+), 85 deletions(-) diff --git a/docs/onderwerpen/bias-en-non-discriminatie.md b/docs/onderwerpen/bias-en-non-discriminatie.md index 031288a3be..0c4d795b8d 100644 --- a/docs/onderwerpen/bias-en-non-discriminatie.md +++ b/docs/onderwerpen/bias-en-non-discriminatie.md @@ -19,8 +19,9 @@ Zo’n discriminerend effect ontstaat doordat het algoritme een verboden ondersc - Indirect onderscheid: Het algoritme lijkt neutraal of eerlijk. Maar later blijkt dat bepaalde mensen op een andere manier worden behandeld door hun geloof, politieke of seksuele voorkeur, ras, geslacht, of burgerlijke staat. -> [!TIP] -> Heeft je algoritme een discriminerend effect, dan moet je zo snel mogelijk [stoppen met het algoritme](../levenscyclus/uitfaseren.md). Gebruik bijvoorbeeld het [discriminatieprotocol](https://minbzk.github.io/discriminatieprotocol/) van het ministerie van Binnenlandse Zaken. +!!! tip "Tip" + + Heeft je algoritme een discriminerend effect, dan moet je zo snel mogelijk [stoppen met het algoritme](../levenscyclus/uitfaseren.md). Gebruik bijvoorbeeld het [discriminatieprotocol](https://minbzk.github.io/discriminatieprotocol/) van het ministerie van Binnenlandse Zaken. ### Uitzondering Een direct of indirect onderscheid is niet altijd verboden volgens [Artikel 2 Algemene wet gelijke behandeling](https://wetten.overheid.nl/jci1.3:c:BWBR0006502&hoofdstuk=1¶graaf=1&artikel=1&z=2020-01-01&g=2020-01-01). In bepaalde situaties en onder bepaalde strenge voorwaarden mag je zo’n onderscheid wel maken. @@ -55,42 +56,29 @@ Dit zijn fouten in de: Voorbeelden: -
-Meet-bias (measurement bias) - -Je algoritme maakt een verkeerde schatting of benadering van kenmerken of labels. Dit komt doordat het de ene variabele gebruikt om een andere variabele te voorspellen of te benaderen (proxy). En hierbij laat het belangrijke informatie weg, of het voegt onbelangrijke informatie (ruis) toe. - -Een algoritme maakt bijvoorbeeld een verkeerde schatting van het risico op overlijden aan longontsteking in het ziekenhuis. Het algoritme leert namelijk uit de data dat dit risico lager is voor astmapatiënten. Maar dit komt niet door hun astma. Het algoritme laat weg dat astmapatiënten met longontsteking direct naar de intensive care gaan. En mensen zonder astma niet. - -
- -
-Versterkingsbias (amplification bias) - -Je algoritme versterkt een patroon uit de trainingsdata. +??? expander "Meet-bias (measurement bias)" -Een algoritme dat mensen en hun acties herkent, voorspelt bijvoorbeeld 5 keer zo vaak de combinatie ‘vrouw’ en ‘koken’. Terwijl deze combinatie in de trainingsdata maar 2 keer zo vaak voorkomt. + Je algoritme maakt een verkeerde schatting of benadering van kenmerken of labels. Dit komt doordat het de ene variabele gebruikt om een andere variabele te voorspellen of te benaderen (proxy). En hierbij laat het belangrijke informatie weg, of het voegt onbelangrijke informatie (ruis) toe. -
+ Een algoritme maakt bijvoorbeeld een verkeerde schatting van het risico op overlijden aan longontsteking in het ziekenhuis. Het algoritme leert namelijk uit de data dat dit risico lager is voor astmapatiënten. Maar dit komt niet door hun astma. Het algoritme laat weg dat astmapatiënten met longontsteking direct naar de intensive care gaan. En mensen zonder astma niet. -
-Evaluatie-bias (evaluation bias) +??? expander "Versterkingsbias (amplification bias)" -Je algoritme trekt verkeerde conclusies omdat de evaluatiedata niet kloppen, of niet compleet zijn. + Je algoritme versterkt een patroon uit de trainingsdata. -Een algoritme voor gezichtsherkenning herkent bijvoorbeeld vrouwen van kleur niet goed, omdat deze vrouwen te weinig voorkomen in de dataset voor evaluatie. + Een algoritme dat mensen en hun acties herkent, voorspelt bijvoorbeeld 5 keer zo vaak de combinatie ‘vrouw’ en ‘koken’. Terwijl deze combinatie in de trainingsdata maar 2 keer zo vaak voorkomt. -
+??? expander "Evaluatie-bias (evaluation bias)" -
-Representatie-bias (representation bias) + Je algoritme trekt verkeerde conclusies omdat de evaluatiedata niet kloppen, of niet compleet zijn. -Je algoritme doet voorspellingen over een grote groep, op basis van resultaten uit subgroepen met te weinig verschillende proefpersonen. + Een algoritme voor gezichtsherkenning herkent bijvoorbeeld vrouwen van kleur niet goed, omdat deze vrouwen te weinig voorkomen in de dataset voor evaluatie. -Een algoritme beoordeelt bijvoorbeeld de populariteit van treinstations onder reizigers op basis van hun smartphone-gebruik. Maar deze groep is niet representatief, omdat oudere reizigers vaak minder gebruik maken van smartphones. +??? expander "Representatie-bias (representation bias)" -
+ Je algoritme doet voorspellingen over een grote groep, op basis van resultaten uit subgroepen met te weinig verschillende proefpersonen. + Een algoritme beoordeelt bijvoorbeeld de populariteit van treinstations onder reizigers op basis van hun smartphone-gebruik. Maar deze groep is niet representatief, omdat oudere reizigers vaak minder gebruik maken van smartphones. ### Bias in systemen en processen Dit is vooringenomenheid die vaak in de loop der tijd is ontstaan in de samenleving of je organisatie. Deze vooringenomenheid werkt door in processen of systemen, of wordt soms versterkt door algoritmes. Dit gebeurt vaak niet bewust. @@ -99,31 +87,23 @@ Systemische bias heet ook wel: institutionele vooringenomenheid. Dit betekent da Voorbeelden: -
-Historische bias +??? expander "Historische bias" -Je algoritme heeft vooroordelen die in de loop der tijd ontstonden in de samenleving. + Je algoritme heeft vooroordelen die in de loop der tijd ontstonden in de samenleving. -Een algoritme gebruikt bijvoorbeeld data die gebaseerd is op oude belastingregels, terwijl er nieuwe wetten en regels zijn. Dan zit er een historische bias in je data. Of een algoritme voorspelt bijvoorbeeld de koopkracht van mensen, maar gebruikt hiervoor data uit een tijd waarin mannen meer verdienden dan vrouwen. + Een algoritme gebruikt bijvoorbeeld data die gebaseerd is op oude belastingregels, terwijl er nieuwe wetten en regels zijn. Dan zit er een historische bias in je data. Of een algoritme voorspelt bijvoorbeeld de koopkracht van mensen, maar gebruikt hiervoor data uit een tijd waarin mannen meer verdienden dan vrouwen. -
- -
-Activiteitenbias (activity bias) +??? exander "Activiteitenbias (activity bias)" -Je algoritme geeft een verkeerd beeld over gebruikers van interactieve producten, zoals websites of apps. Dit komt omdat alleen de meest actieve gebruikers trainingsdata aanleveren. + Je algoritme geeft een verkeerd beeld over gebruikers van interactieve producten, zoals websites of apps. Dit komt omdat alleen de meest actieve gebruikers trainingsdata aanleveren. -Een algoritme onderzoekt bijvoorbeeld wat burgers van een bepaalde brief vinden op basis van kliks in een digitale vragenlijst. Het algoritme kan niet zeggen wat burgers écht vinden, omdat de meest actieve internetgebruikers vaker klikken en vaker de vragenlijst invullen. + Een algoritme onderzoekt bijvoorbeeld wat burgers van een bepaalde brief vinden op basis van kliks in een digitale vragenlijst. Het algoritme kan niet zeggen wat burgers écht vinden, omdat de meest actieve internetgebruikers vaker klikken en vaker de vragenlijst invullen. -
+??? exander "Samenlevingsbias (societal bias)" -
-Samenlevingsbias (societal bias) -Je algoritme maakt een fout op basis van stereotypes die voorkomen in de samenleving. Dit gebeurt vooral in AI-systemen die taal verwerken via Natural Language Processing (NLP). + Je algoritme maakt een fout op basis van stereotypes die voorkomen in de samenleving. Dit gebeurt vooral in AI-systemen die taal verwerken via Natural Language Processing (NLP). -Een algoritme dat teksten maakt, geeft bijvoorbeeld ‘verpleegster’ als vrouwelijke vorm van ‘dokter’. Dit komt omdat het stereotype dokter in die samenleving een man is. - -
+ Een algoritme dat teksten maakt, geeft bijvoorbeeld ‘verpleegster’ als vrouwelijke vorm van ‘dokter’. Dit komt omdat het stereotype dokter in die samenleving een man is. ### Bias in menselijk denken Dit zijn vooroordelen in het menselijk denken die steeds (systematisch) invloed hebben op de manier waarop iemand iets ziet, hoort, ruikt, proeft of voelt. @@ -136,49 +116,35 @@ Menselijke bias kan invloed hebben op de: Voorbeelden: -
-Automatiseringsbias - -Mensen maken een denkfout omdat zij de voorkeur geven aan adviezen van automatische besluitvormingssystemen. Zelfs als uit andere informatie blijkt dat deze adviezen niet kloppen. - -Wanneer behandelaren handmatig controleren of een uitkering van een burger klopt, hebben zij vaak de neiging om de beslissing te volgen van het algoritme. - -
- -
-Cognitieve bias +??? exander "Automatiseringsbias" -Mensen maken een denkfout omdat zij volgens een vast patroon afwijken van logisch nadenken. Vaak gebeurt dit om complexe denktaken te versimpelen of versnellen. + Mensen maken een denkfout omdat zij de voorkeur geven aan adviezen van automatische besluitvormingssystemen. Zelfs als uit andere informatie blijkt dat deze adviezen niet kloppen. -Administratief medewerkers weigeren bijvoorbeeld een AI-systeem te gebruiken, omdat ze slechte ervaringen hebben met een ander AI-systeem. Zij willen het nieuwe AI-systeem dus niet gebruiken, terwijl ze dit nooit gebruikt hebben. + Wanneer behandelaren handmatig controleren of een uitkering van een burger klopt, hebben zij vaak de neiging om de beslissing te volgen van het algoritme. -
+??? exander "Cognitieve bias" -
-Bevestigingsbias + Mensen maken een denkfout omdat zij volgens een vast patroon afwijken van logisch nadenken. Vaak gebeurt dit om complexe denktaken te versimpelen of versnellen. -Mensen maken een denkfout omdat zij de voorkeur geven aan voorspellingen van algoritmes die hun eigen overtuigingen of gedachtes bevestigen. + Administratief medewerkers weigeren bijvoorbeeld een AI-systeem te gebruiken, omdat ze slechte ervaringen hebben met een ander AI-systeem. Zij willen het nieuwe AI-systeem dus niet gebruiken, terwijl ze dit nooit gebruikt hebben. -Rechercheurs zoeken bijvoorbeeld direct naar bewijs om verdachte X te veroordelen, nadat een algoritme X voorspelt als dader. Terwijl de rechercheurs ook ander bewijs moeten zoeken. +??? exander "Bevestigingsbias" -
+ Mensen maken een denkfout omdat zij de voorkeur geven aan voorspellingen van algoritmes die hun eigen overtuigingen of gedachtes bevestigen. -
-Implementatie-bias + Rechercheurs zoeken bijvoorbeeld direct naar bewijs om verdachte X te veroordelen, nadat een algoritme X voorspelt als dader. Terwijl de rechercheurs ook ander bewijs moeten zoeken. -Een algoritme wordt op een andere manier gebruikt dan hoe het bedoeld is en waarvoor het ontwikkeld is. Dit komt vaak voor wanneer een algoritme wordt gebruikt als beslishulp voor mensen. Deze vorm van bias is een menselijke denkfout in de vorm dat gebruikers niet op dezelfde of goede manier omgaan met adviezen. +??? exander "Implementatie-bias" -Een wet over bijvoorbeeld immigratie wordt ingevoerd en er wordt een algoritme ontwikkeld om te onderzoeken wat de gevolgen hiervan zijn. Dit algoritme is dan ook bedoeld om voor bepaalde groepen mensen te kijken wat de gevolgen zijn. Het algoritme wordt ook gebruikt bij het toekennen van staatsburgerschap aan de hand van de gevolgen. Dit is niet zoals het systeem bedoeld is en dus kunnen er incomplete antwoorden of resultaten uitkomen. + Een algoritme wordt op een andere manier gebruikt dan hoe het bedoeld is en waarvoor het ontwikkeld is. Dit komt vaak voor wanneer een algoritme wordt gebruikt als beslishulp voor mensen. Deze vorm van bias is een menselijke denkfout in de vorm dat gebruikers niet op dezelfde of goede manier omgaan met adviezen. -
+ Een wet over bijvoorbeeld immigratie wordt ingevoerd en er wordt een algoritme ontwikkeld om te onderzoeken wat de gevolgen hiervan zijn. Dit algoritme is dan ook bedoeld om voor bepaalde groepen mensen te kijken wat de gevolgen zijn. Het algoritme wordt ook gebruikt bij het toekennen van staatsburgerschap aan de hand van de gevolgen. Dit is niet zoals het systeem bedoeld is en dus kunnen er incomplete antwoorden of resultaten uitkomen. -
-Overlevingsbias (survivorship bias) -Mensen hebben de neiging om voorkeur te geven aan dingen, mensen of observaties die door een bepaalde selectie zijn gekomen. Naar de gevallen die buiten de selecties vallen wordt vaak niet of minder gekeken. Dit kan leiden tot een zichzelf versterkend proces. Zo worden bijvoorbeeld modellen die werken verbeterd, maar wordt niet gekeken waarom de andere modellen niet werken. +??? exander "Overlevingsbias (survivorship bias)" -Om fraudeherkenning te vergemakkelijken wordt bijvoorbeeld een model getraind op data van personen/huishoudens die eerder zijn gecontroleerd op mogelijke fraude. Hiermee wordt een groot gedeelte personen/huishoudens niet meegenomen in de trainingsdata, omdat deze groep niet eerder gecontroleerd is. + Mensen hebben de neiging om voorkeur te geven aan dingen, mensen of observaties die door een bepaalde selectie zijn gekomen. Naar de gevallen die buiten de selecties vallen wordt vaak niet of minder gekeken. Dit kan leiden tot een zichzelf versterkend proces. Zo worden bijvoorbeeld modellen die werken verbeterd, maar wordt niet gekeken waarom de andere modellen niet werken. -
+ Om fraudeherkenning te vergemakkelijken wordt bijvoorbeeld een model getraind op data van personen/huishoudens die eerder zijn gecontroleerd op mogelijke fraude. Hiermee wordt een groot gedeelte personen/huishoudens niet meegenomen in de trainingsdata, omdat deze groep niet eerder gecontroleerd is. ## Bepaal wat eerlijk en rechtvaardig is Ontdek je bias, dan wil je je algoritme of je aanpak verbeteren. Hoe je dat doet, hangt af van wat je organisatie zelf eerlijk en rechtvaardig vindt. Dit heet ook wel het bepalen van ‘algoritmische fairness’. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-07-training-validatie-en-testdata.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-07-training-validatie-en-testdata.md index 4602a8b5af..58d1c7e6f4 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-07-training-validatie-en-testdata.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-07-training-validatie-en-testdata.md @@ -30,7 +30,7 @@ Verdeel je dataset in drie delen: Deze dataset wordt gebruikt om het model te trainen. Uit deze dataset worden de onderliggende patronen of relaties geleerd die later gebruikt kunnen worden om voorspellingen mee te doen. - De [kwaliteit](3-dat-01-datakwaliteit.md) van deze dataset moet goed zijn en zo representatief mogelijk voor de doelpopulatie. Eventuele [bias](../../onderwerpen/bias-en-non-discriminatie.md#verschillende-vormen-van-bias) of vooroordelen in deze dataset kan door het trainen in het model sluipen. + De [kwaliteit](3-dat-01-datakwaliteit.md) van deze dataset moet goed zijn en zo representatief mogelijk voor de doelpopulatie. Eventuele [bias](../../onderwerpen/bias-en-non-discriminatie.md#herken-bias) of vooroordelen in deze dataset kan door het trainen in het model sluipen. Let bij het samenstellen van de traningsset op dat de data waarop het model gebaseerd is, niet beschikbaar zijn voordat de uitkomsten zijn geobserveerd. Met andere woorden, zorg ervoor de de voorspellingen geen onderdeel kunnen zijn van de inputvariabelen. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-08-feedbackloops.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-08-feedbackloops.md index 5fa73d3657..009918480c 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-08-feedbackloops.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-08-feedbackloops.md @@ -34,7 +34,7 @@ Er zijn verschillende vormen van feedbackloops: - *sampling feedbackloop*: Wanneer de beslissing die volgt uit het algoritme effect heeft op de kans dat bepaalde groepen in een volgende selectie terechtkomen. -- *individual feedbackloop*: Wanneer de mening of visie van een beoordelaar verandert door [het gebruiken van het algoritme](../../onderwerpen/bias-en-non-discriminatie.md#menselijke-bias)(het overnemen van de ‘vooroordelen van een systeem’). +- *individual feedbackloop*: Wanneer de mening of visie van een beoordelaar verandert door [het gebruiken van het algoritme](../../onderwerpen/bias-en-non-discriminatie.md#bias-in-menselijk-denken)(het overnemen van de ‘vooroordelen van een systeem’). - *feature feedbackloop*: Bijvoorbeeld wanneer de uitkomst dat een subsidie niet verstrekt wordt, ook als kenmerk ‘eerdere weigering van subsidie’ wordt gebruikt door het algoritme. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-09-adversarial-aanvallen.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-09-adversarial-aanvallen.md index d584e2a9b4..6e6dee9069 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-09-adversarial-aanvallen.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-09-adversarial-aanvallen.md @@ -27,7 +27,7 @@ hide: Ontwerp en train het algoritme om bestand te zijn tegen adversarial aanvallen. ## Toelichting -De impact van een adversarial AI-aanval hangt af van de [mate van autonomie](../ai-verordening.md#definitie-van-een-ai-systeem) waarmee een algoritme wordt ingezet. +De impact van een adversarial AI-aanval hangt af van de [mate van autonomie](../ai-verordening.md#ai-systeem) waarmee een algoritme wordt ingezet. Een algemene impact-beperkende maatregel is daarom om menselijke gebruikers duidelijke instructies mee te geven om de uitkomsten van de algoritmes te controleren. Voor de verschillende typen adversarial AI-aanvallen zijn specifieke maatregelen mogelijk: diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-01-functioneren-in-lijn-met-doeleinden.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-01-functioneren-in-lijn-met-doeleinden.md index 2585b6f871..eff8711795 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-01-functioneren-in-lijn-met-doeleinden.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-01-functioneren-in-lijn-met-doeleinden.md @@ -28,7 +28,7 @@ Stel vast dat het algoritme voortdurend functioneert in lijn met de [vastgesteld - Vertaal de [vastgestelde doelstelling](1-pba-02-formuleren-doelstelling.md) naar functionele eisen voor het algoritme. Werk het vastgestelde doel uit in een beschrijving in logische taal/pseudo code of documentatie die handvatten biedt aan de ontwikkelaar. - Monitor de mate waarin aan deze eisen wordt voldaan door het algoritme. - Bepaal en leg vast hoe eventuele parameters, business rules en indicatoren bepaald worden. Zorg dat dit breed wordt afgestemd in de organisatie (ontwikkelteam, opdrachtgevers en beheer). -- Houd hier rekening met eventuele [(statistische) bias](../../onderwerpen/bias-en-non-discriminatie.md#statistische-bias): meten we daadwerkelijk wat we denken te meten? +- Houd hier rekening met eventuele [(statistische) bias](../../onderwerpen/bias-en-non-discriminatie.md#bias-in-statistiek-en-berekeningen): meten we daadwerkelijk wat we denken te meten? - Wanneer het algoritme meerdere doelen dient, is het belangrijk ook te evalueren op meerdere functionele eisen. - Wanneer er sprake is van een (handmatige) behandeling, bepaal dan wanneer deze behandeling als 'succesvol' gezien kan worden. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-03-biasanalyse.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-03-biasanalyse.md index 1e716b2100..dcac07cac5 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-03-biasanalyse.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-03-biasanalyse.md @@ -41,7 +41,7 @@ Voor alle stappen geldt dat het belangrijk is om de gemaakte keuzes en afweginge ### Stap 1: Analyseer of er sprake is van bias In deze stap is het doel om te bepalen in welke mate er sprake is van een systematisch verschil in behandeling van bepaalde objecten, mensen of groepen in vergelijking met anderen. -Dit verschil kan zowel op een [directe als een indirecte manier](../../onderwerpen/bias-en-non-discriminatie.md/#bias-in-algoritmische-context) ontstaan. +Dit verschil kan zowel op een [directe als een indirecte manier](../../onderwerpen/bias-en-non-discriminatie.md#herken-bias) ontstaan. #### Toetsen op direct onderscheid Toetsen op direct onderscheid is in vergelijking tot toetsen op indirect onderscheid relatief eenvoudig. @@ -60,14 +60,14 @@ Een ander voorbeeld is dat onderscheid op grond van een niet-westers klinkende n [^3]: Zie [Discriminatie door risicoprofielen, een mensenrechtelijk toetsingskader, College voor de Rechten van de Mens](https://publicaties.mensenrechten.nl/publicatie/61a734e65d726f72c45f9dce), [College voor de Rechten van de Mens 7 juni 2021, oordeel 2021-70](https://oordelen.mensenrechten.nl/oordeel/2021-70); [College voor de Rechten van de Mens 23 april 2015, oordeel 2015-44](https://oordelen.mensenrechten.nl/oordeel/2015-44); [College voor de Rechten van de Mens 23 april 2015, oordeel 2014-0426](https://oordelen.mensenrechten.nl/oordeel/2015-43). #### Toetsen op indirect onderscheid -Ook selectiecriteria die op het eerste gezicht geen enkele link lijken te hebben met een [discriminatiegrond](../../onderwerpen/bias-en-non-discriminatie.md#discriminatiegrond) kunnen leiden tot indirect onderscheid op grond van een discriminatiegrond. +Ook selectiecriteria die op het eerste gezicht geen enkele link lijken te hebben met een discriminatiegrond kunnen leiden tot indirect onderscheid op grond van een discriminatiegrond. Enkele voorbeelden van zulke 'ogenschijnlijk neutrale' selectiecriteria die verband hebben met ras of nationaliteit zijn: postcode, hoogte van het inkomen, kenteken, familielid in het buitenland, laaggeletterdheid. Indirect onderscheid is in vergelijking met direct onderscheid lastiger op te signaleren en te voorkomen. Daarom is het belangrijk jouw algoritmische toepassing regelmatig te analyseren op eventueel indirect onderscheid. Het toetsen op indirect onderscheid bestaat uit 5 stappen: 1. **Bepaal wat de [kwetsbare groepen](2-owp-07-afwegen-grondrechten.md) zijn.** -Eventueel kan dit aangevuld worden op basis van de [discriminatiegronden](../../onderwerpen/bias-en-non-discriminatie.md#discriminatiegrond) uit non-discriminatie wetgeving. Of andere groepen waarvoor verschillen in behandeling ethisch onwenselijk zijn. +Eventueel kan dit aangevuld worden op basis van de discriminatiegronden uit non-discriminatie wetgeving. Of andere groepen waarvoor verschillen in behandeling ethisch onwenselijk zijn. 2. **Bepaal wat "verschillen in behandeling" betekent in de context van het algoritme.** In deze stap is het belangrijk om voorafgaand aan de daadwerkelijke analyse met een [brede groep stakeholders](1-pba-04-betrek-belanghebbenden.md) te bepalen wat 'eerlijk' en 'rechtvaardig' wordt bevonden in de context van het betreffende algoritme. diff --git a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-00-verboden-AI-praktijken.md b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-00-verboden-AI-praktijken.md index 71a3b38414..144b5d73ca 100644 --- a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-00-verboden-AI-praktijken.md +++ b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-00-verboden-AI-praktijken.md @@ -7,7 +7,6 @@ levenscyclus: - probleemanalyse onderwerp: - governance - soort-toepassing: - ai-systeem risicogroep: @@ -33,6 +32,7 @@ Afgezien van de vele nuttige toepassingen van AI kan zij ook worden misbruikt en Dergelijke praktijken zijn bijzonder schadelijk en abusief en moeten worden verboden omdat zij in strijd zijn met de waarden van de Unie, namelijk eerbied voor de menselijke waardigheid, vrijheid, gelijkheid, democratie en de rechtsstaat, en met de grondrechten van de Unie die zijn vastgelegd in het Handvest, waaronder het recht op non-discriminatie, gegevensbescherming en privacy, en de rechten van het kind. In de volgende gevallen gaat het om een verboden toepassing op grond van de AI-Verordening: + - gebruik kan gaan maken van subliminale technieken om mensen onbewust of bewust kunnen manipuleren, waardoor ze beslissingen nemen die ze anders niet zouden hebben genomen? - gebruik kan gaan maken van kwetsbaarheden van individuen of specifieke groepen, zoals leeftijd, handicaps of sociale/economische omstandigheden, om het gedrag van die personen aanzienlijk te verstoren, wat kan leiden tot aanzienlijke schade bij henzelf of anderen? - gebruikt kan worden om natuurlijke personen of groepen gedurende een periode te evalueren of te classificeren op basis van hun sociale gedrag of afgeleide persoonlijke kenmerken? @@ -43,6 +43,7 @@ In de volgende gevallen gaat het om een verboden toepassing op grond van de AI-V - gebruikt kan worden als een biometrisch systeem in de publieke ruimte voor identificatie op afstand in real-time, met het oog op de rechtshandhaving? Er zijn een tweetal uitzonderingen voor het inzetten van verbonden AI-systemen. Deze zijn: + - Er is sprake van een rechtshandhavingsactiviteit i.v.m. een specifiek misdrijf (terrorisme, mensenhandel, seksuele uitbuiting van kinderen en materiaal over seksueel misbruik van kinderen, illegale handel in verdovende middelen en psychotrope stoffen, illegale handel in wapens, munitie en explosieven, moord, zware mishandeling, illegale handel in menselijke organen en weefsels, illegale handel in nucleaire en radioactieve stoffen, ontvoering, wederrechtelijke vrijheidsberoving en gijzeling, misdrijven die onder de rechtsmacht van het Internationaal Strafhof vallen, kaping van vliegtuigen/schepen, verkrachting, milieucriminaliteit, georganiseerde of gewapende diefstal, sabotage, deelneming aan een criminele organisatie die betrokken is bij een of meer van de bovengenoemde misdrijven). - Er is sprake van gerichte opsporing van specifieke slachtoffers, ontvoering, mensenhandel en seksuele uitbuiting van mensen, vermiste personen; of het voorkomen van bedreigingen voor het leven of de fysieke veiligheid van personen of het reageren op de huidige of voorzienbare dreiging van een terreuraanslag. @@ -65,4 +66,4 @@ Er ontstaat een onrechtmatige situatie voor een organisatie als deze AI inzet, d ## Maatregelen { data-search-exclude } - + diff --git a/docs/voldoen-aan-wetten-en-regels/vereisten/avg-04-proportionaliteit-en-subsidiariteit.md b/docs/voldoen-aan-wetten-en-regels/vereisten/avg-04-proportionaliteit-en-subsidiariteit.md index 6caa50adab..7ab21acb3b 100644 --- a/docs/voldoen-aan-wetten-en-regels/vereisten/avg-04-proportionaliteit-en-subsidiariteit.md +++ b/docs/voldoen-aan-wetten-en-regels/vereisten/avg-04-proportionaliteit-en-subsidiariteit.md @@ -31,7 +31,7 @@ Subsidiariteit vereist dat persoonsgegevens alleen moeten worden verwerkt als di Deze principes waarborgen dat de privacy van individuen wordt gerespecteerd en dat gegevensverwerking niet verder gaat dan noodzakelijk is voor legitieme doeleinden. -Het is van belang om deze principes te hanteren om te bepalen of en in [welke vorm een algoritmes](../maatregelen/1-pba-03-onderbouwen-gebruik-algoritme) moet worden toegepast en om tot een passende mate van gegevensverwerking te komen om het [doel](../maatregelen/1-pba-02-formuleren-doelstelling.md) te bereiken. +Het is van belang om deze principes te hanteren om te bepalen of en in [welke vorm een algoritmes](../maatregelen/1-pba-03-onderbouwen-gebruik-algoritme.md) moet worden toegepast en om tot een passende mate van gegevensverwerking te komen om het [doel](../maatregelen/1-pba-02-formuleren-doelstelling.md) te bereiken. ## Bronnen diff --git a/docs/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel.md b/docs/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel.md index 40e58ebedc..6f89fc9b64 100644 --- a/docs/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel.md +++ b/docs/voldoen-aan-wetten-en-regels/vereisten/awb-01-zorgvuldigheidsbeginsel.md @@ -26,8 +26,8 @@ Dit vraagt onder meer om een zorgvuldig onderzoek naar informatie, feiten, een z Dit betekent dat bij de ontwikkeling en gebruik van algoritmes informatie moet worden vastgelegd over het algoritme. Hierbij kan worden gedacht aan: - Dat het [doel en eventuele subdoelen](../maatregelen/1-pba-01-formuleren-probleemdefinitie.md) van het algoritme of AI-systeem helder zijn gedefinieerd, ook in relatie tot het maatschappelijke resultaat (outcome). -- Een bewuste afweging afmaken en vaststellen of het algoritme het [juiste middel is om het probleem](../maatregelen/1-pba-01-formuleren-probleemdefinitie) op doelmatige en doeltreffende wijze op te lossen. -- Dat de werking van het algoritme is onderzocht en is vastgesteld dat dit [passend is](../maatregelen/5-ver-03-functioneren-in-lijn-met-doeleinden.md) om te gebruiken in een besluitvormingsproces. +- Een bewuste afweging afmaken en vaststellen of het algoritme het [juiste middel is om het probleem](../maatregelen/1-pba-01-formuleren-probleemdefinitie.md) op doelmatige en doeltreffende wijze op te lossen. +- Dat de werking van het algoritme is onderzocht en is vastgesteld dat dit [passend is](../maatregelen/5-ver-01-functioneren-in-lijn-met-doeleinden.md) om te gebruiken in een besluitvormingsproces. ## Bronnen - [Afdeling 3.2 Algemene wet bestuursrecht](https://wetten.overheid.nl/jci1.3:c:BWBR0005537&hoofdstuk=3&afdeling=3.2&z=2024-05-01&g=2024-05-01) From 610b4ae2ce94583df28da7464014f58a5d64cd6b Mon Sep 17 00:00:00 2001 From: ruthkoole Date: Thu, 19 Dec 2024 13:23:25 +0100 Subject: [PATCH 06/14] fix layout --- docs/onderwerpen/bias-en-non-discriminatie.md | 14 +++++----- .../{aia-39-testen.md => aia-38-testen.md} | 26 +++++++++---------- ...eid-naleven-auteurs-en-naburige-rechten.md | 4 +-- 3 files changed, 22 insertions(+), 22 deletions(-) rename docs/voldoen-aan-wetten-en-regels/vereisten/{aia-39-testen.md => aia-38-testen.md} (90%) diff --git a/docs/onderwerpen/bias-en-non-discriminatie.md b/docs/onderwerpen/bias-en-non-discriminatie.md index 0c4d795b8d..938ef97158 100644 --- a/docs/onderwerpen/bias-en-non-discriminatie.md +++ b/docs/onderwerpen/bias-en-non-discriminatie.md @@ -93,13 +93,13 @@ Voorbeelden: Een algoritme gebruikt bijvoorbeeld data die gebaseerd is op oude belastingregels, terwijl er nieuwe wetten en regels zijn. Dan zit er een historische bias in je data. Of een algoritme voorspelt bijvoorbeeld de koopkracht van mensen, maar gebruikt hiervoor data uit een tijd waarin mannen meer verdienden dan vrouwen. -??? exander "Activiteitenbias (activity bias)" +??? expander "Activiteitenbias (activity bias)" Je algoritme geeft een verkeerd beeld over gebruikers van interactieve producten, zoals websites of apps. Dit komt omdat alleen de meest actieve gebruikers trainingsdata aanleveren. Een algoritme onderzoekt bijvoorbeeld wat burgers van een bepaalde brief vinden op basis van kliks in een digitale vragenlijst. Het algoritme kan niet zeggen wat burgers écht vinden, omdat de meest actieve internetgebruikers vaker klikken en vaker de vragenlijst invullen. -??? exander "Samenlevingsbias (societal bias)" +??? expander "Samenlevingsbias (societal bias)" Je algoritme maakt een fout op basis van stereotypes die voorkomen in de samenleving. Dit gebeurt vooral in AI-systemen die taal verwerken via Natural Language Processing (NLP). @@ -116,31 +116,31 @@ Menselijke bias kan invloed hebben op de: Voorbeelden: -??? exander "Automatiseringsbias" +??? expander "Automatiseringsbias" Mensen maken een denkfout omdat zij de voorkeur geven aan adviezen van automatische besluitvormingssystemen. Zelfs als uit andere informatie blijkt dat deze adviezen niet kloppen. Wanneer behandelaren handmatig controleren of een uitkering van een burger klopt, hebben zij vaak de neiging om de beslissing te volgen van het algoritme. -??? exander "Cognitieve bias" +??? expander "Cognitieve bias" Mensen maken een denkfout omdat zij volgens een vast patroon afwijken van logisch nadenken. Vaak gebeurt dit om complexe denktaken te versimpelen of versnellen. Administratief medewerkers weigeren bijvoorbeeld een AI-systeem te gebruiken, omdat ze slechte ervaringen hebben met een ander AI-systeem. Zij willen het nieuwe AI-systeem dus niet gebruiken, terwijl ze dit nooit gebruikt hebben. -??? exander "Bevestigingsbias" +??? expander "Bevestigingsbias" Mensen maken een denkfout omdat zij de voorkeur geven aan voorspellingen van algoritmes die hun eigen overtuigingen of gedachtes bevestigen. Rechercheurs zoeken bijvoorbeeld direct naar bewijs om verdachte X te veroordelen, nadat een algoritme X voorspelt als dader. Terwijl de rechercheurs ook ander bewijs moeten zoeken. -??? exander "Implementatie-bias" +??? expander "Implementatie-bias" Een algoritme wordt op een andere manier gebruikt dan hoe het bedoeld is en waarvoor het ontwikkeld is. Dit komt vaak voor wanneer een algoritme wordt gebruikt als beslishulp voor mensen. Deze vorm van bias is een menselijke denkfout in de vorm dat gebruikers niet op dezelfde of goede manier omgaan met adviezen. Een wet over bijvoorbeeld immigratie wordt ingevoerd en er wordt een algoritme ontwikkeld om te onderzoeken wat de gevolgen hiervan zijn. Dit algoritme is dan ook bedoeld om voor bepaalde groepen mensen te kijken wat de gevolgen zijn. Het algoritme wordt ook gebruikt bij het toekennen van staatsburgerschap aan de hand van de gevolgen. Dit is niet zoals het systeem bedoeld is en dus kunnen er incomplete antwoorden of resultaten uitkomen. -??? exander "Overlevingsbias (survivorship bias)" +??? expander "Overlevingsbias (survivorship bias)" Mensen hebben de neiging om voorkeur te geven aan dingen, mensen of observaties die door een bepaalde selectie zijn gekomen. Naar de gevallen die buiten de selecties vallen wordt vaak niet of minder gekeken. Dit kan leiden tot een zichzelf versterkend proces. Zo worden bijvoorbeeld modellen die werken verbeterd, maar wordt niet gekeken waarom de andere modellen niet werken. diff --git a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-39-testen.md b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-38-testen.md similarity index 90% rename from docs/voldoen-aan-wetten-en-regels/vereisten/aia-39-testen.md rename to docs/voldoen-aan-wetten-en-regels/vereisten/aia-38-testen.md index 6aade32be3..1515dea4c5 100644 --- a/docs/voldoen-aan-wetten-en-regels/vereisten/aia-39-testen.md +++ b/docs/voldoen-aan-wetten-en-regels/vereisten/aia-38-testen.md @@ -1,6 +1,6 @@ --- title: Hoog-risico-AI-systemen zijn getest. -id: urn:nl:ak:ver:aia-39 +id: urn:nl:ak:ver:aia-38 toelichting: AI-systemen met een hoog risico worden getest met het oog op het vaststellen van passende en gerichte risicobeheersmaatregelen. levenscyclus: - ontwerp @@ -45,27 +45,27 @@ Aanbieders of potentiële aanbieders kunnen zelf of in samenwerking met een of m Aanbieders of potentiële aanbieders mogen alleen testen onder reële omstandigheden als is voldaan aan alle volgende voorwaarden: -a) de aanbieder of potentiële aanbieder heeft een plan voor tests onder reële omstandigheden opgesteld en ingediend bij de markttoezichtautoriteit in de lidstaat waar onder reële omstandigheden moet worden getest; +a. de aanbieder of potentiële aanbieder heeft een plan voor tests onder reële omstandigheden opgesteld en ingediend bij de markttoezichtautoriteit in de lidstaat waar onder reële omstandigheden moet worden getest; -b) de markttoezichtautoriteit in de lidstaat waar onder reële omstandigheden moet worden getest, heeft het testen onder reële omstandigheden en het plan voor tests onder reële omstandigheden goedgekeurd; indien de markttoezichtautoriteit binnen dertig dagen geen antwoord heeft gegeven, worden het testen onder reële omstandigheden en het plan voor tests onder reële omstandigheden geacht te zijn goedgekeurd; indien het nationale recht niet voorziet in een stilzwijgende goedkeuring, blijft het testen onder reële omstandigheden onderworpen aan een toestemming; +b. de markttoezichtautoriteit in de lidstaat waar onder reële omstandigheden moet worden getest, heeft het testen onder reële omstandigheden en het plan voor tests onder reële omstandigheden goedgekeurd; indien de markttoezichtautoriteit binnen dertig dagen geen antwoord heeft gegeven, worden het testen onder reële omstandigheden en het plan voor tests onder reële omstandigheden geacht te zijn goedgekeurd; indien het nationale recht niet voorziet in een stilzwijgende goedkeuring, blijft het testen onder reële omstandigheden onderworpen aan een toestemming; -c) de aanbieder of potentiële aanbieder, met uitzondering van aanbieders of potentiële aanbieders van in de punten 1, 6 en 7 van bijlage III bedoelde AI-systemen met een hoog risico op de gebieden rechtshandhaving, migratie, asiel en grenstoezichtsbeheer en AI-systemen met een hoog risico als bedoeld in punt 2 van bijlage III, heeft het testen onder reële omstandigheden geregistreerd overeenkomstig artikel 71, lid 4, met een Uniebreed uniek identificatienummer en de in bijlage IX gespecificeerde informatie; de aanbieder of potentiële aanbieder van in de punten 1, 6 en 7 van bijlage III bedoelde AI-systemen met een hoog risico op de gebieden van rechtshandhaving, migratie, asiel en grenstoezichtsbeheer, heeft het testen onder reële omstandigheden geregistreerd in het beveiligde niet-openbare gedeelte van de EU-databank overeenkomstig artikel 49, lid 4, punt d), met een Uniebreed uniek identificatienummer en de daarin gespecificeerde informatie; de aanbieder of potentiële aanbieder van in punt 2 van bijlage III bedoelde AI-systemen met een hoog risico heeft het testen onder reële omstandigheden geregistreerd overeenkomstig artikel 49, lid 5; +c. de aanbieder of potentiële aanbieder, met uitzondering van aanbieders of potentiële aanbieders van in de punten 1, 6 en 7 van bijlage III bedoelde AI-systemen met een hoog risico op de gebieden rechtshandhaving, migratie, asiel en grenstoezichtsbeheer en AI-systemen met een hoog risico als bedoeld in punt 2 van bijlage III, heeft het testen onder reële omstandigheden geregistreerd overeenkomstig artikel 71, lid 4, met een Uniebreed uniek identificatienummer en de in bijlage IX gespecificeerde informatie; de aanbieder of potentiële aanbieder van in de punten 1, 6 en 7 van bijlage III bedoelde AI-systemen met een hoog risico op de gebieden van rechtshandhaving, migratie, asiel en grenstoezichtsbeheer, heeft het testen onder reële omstandigheden geregistreerd in het beveiligde niet-openbare gedeelte van de EU-databank overeenkomstig artikel 49, lid 4, punt d), met een Uniebreed uniek identificatienummer en de daarin gespecificeerde informatie; de aanbieder of potentiële aanbieder van in punt 2 van bijlage III bedoelde AI-systemen met een hoog risico heeft het testen onder reële omstandigheden geregistreerd overeenkomstig artikel 49, lid 5; -d) de aanbieder of potentiële aanbieder die onder reële omstandigheden test, is in de Unie gevestigd of heeft een in de Unie gevestigde wettelijke vertegenwoordiger aangewezen; +d. de aanbieder of potentiële aanbieder die onder reële omstandigheden test, is in de Unie gevestigd of heeft een in de Unie gevestigde wettelijke vertegenwoordiger aangewezen; -e) gegevens die zijn verzameld en verwerkt met het oog op het testen onder reële omstandigheden mogen alleen aan derde landen worden doorgegeven mits er passende en toepasselijke waarborgen uit hoofde van het Unierecht worden toegepast; +e. gegevens die zijn verzameld en verwerkt met het oog op het testen onder reële omstandigheden mogen alleen aan derde landen worden doorgegeven mits er passende en toepasselijke waarborgen uit hoofde van het Unierecht worden toegepast; -f) het testen onder reële omstandigheden duurt niet langer dan nodig is om de doelstellingen ervan te verwezenlijken en in geen geval langer dan zes maanden, met een mogelijke verlenging van nog eens zes maanden indien de aanbieder of potentiële aanbieder de markttoezichtautoriteit daar vooraf van in kennis stelt, met een uitleg waarom een dergelijke verlenging noodzakelijk is; +f. het testen onder reële omstandigheden duurt niet langer dan nodig is om de doelstellingen ervan te verwezenlijken en in geen geval langer dan zes maanden, met een mogelijke verlenging van nog eens zes maanden indien de aanbieder of potentiële aanbieder de markttoezichtautoriteit daar vooraf van in kennis stelt, met een uitleg waarom een dergelijke verlenging noodzakelijk is; -g) proefpersonen die onder reële omstandigheden worden getest en die tot kwetsbare groepen behoren vanwege hun leeftijd of handicap, worden naar behoren beschermd; +g. proefpersonen die onder reële omstandigheden worden getest en die tot kwetsbare groepen behoren vanwege hun leeftijd of handicap, worden naar behoren beschermd; -h) indien een aanbieder of potentiële aanbieder het testen onder reële omstandigheden organiseert in samenwerking met een of meer gebruiksverantwoordelijken of potentiële gebruiksverantwoordelijken, worden zij geïnformeerd over alle aspecten van het testen die relevant zijn voor hun beslissing om deel te nemen, en krijgen zij de relevante gebruiksinstructies van het AI-systeem als bedoeld in artikel 13; de aanbieder of potentiële aanbieder en de gebruiksverantwoordelijke of potentiële gebruiksverantwoordelijke sluiten een overeenkomst waarin hun taken en verantwoordelijkheden worden gespecificeerd teneinde te waarborgen dat de bepalingen voor het testen onder reële omstandigheden uit hoofde van deze verordening en ander toepasselijk Unie- en nationaal recht worden nageleefd; +h. indien een aanbieder of potentiële aanbieder het testen onder reële omstandigheden organiseert in samenwerking met een of meer gebruiksverantwoordelijken of potentiële gebruiksverantwoordelijken, worden zij geïnformeerd over alle aspecten van het testen die relevant zijn voor hun beslissing om deel te nemen, en krijgen zij de relevante gebruiksinstructies van het AI-systeem als bedoeld in artikel 13; de aanbieder of potentiële aanbieder en de gebruiksverantwoordelijke of potentiële gebruiksverantwoordelijke sluiten een overeenkomst waarin hun taken en verantwoordelijkheden worden gespecificeerd teneinde te waarborgen dat de bepalingen voor het testen onder reële omstandigheden uit hoofde van deze verordening en ander toepasselijk Unie- en nationaal recht worden nageleefd; -i) de proefpersonen die onder reële omstandigheden worden getest, hebben geïnformeerde toestemming gegeven overeenkomstig artikel 61, of, in het geval van rechtshandhaving, indien het vragen om geïnformeerde toestemming het testen van het AI-systeem onder reële omstandigheden onmogelijk zou maken, de test zelf en het resultaat van de test onder reële omstandigheden hebben geen negatieve gevolgen voor de proefpersonen en hun persoonsgegevens worden na de uitvoering van test gewist; +i. de proefpersonen die onder reële omstandigheden worden getest, hebben geïnformeerde toestemming gegeven overeenkomstig artikel 61, of, in het geval van rechtshandhaving, indien het vragen om geïnformeerde toestemming het testen van het AI-systeem onder reële omstandigheden onmogelijk zou maken, de test zelf en het resultaat van de test onder reële omstandigheden hebben geen negatieve gevolgen voor de proefpersonen en hun persoonsgegevens worden na de uitvoering van test gewist; -j) op het testen onder reële omstandigheden wordt daadwerkelijk toezicht gehouden door de aanbieder of potentiële aanbieder, alsook door gebruiksverantwoordelijken of potentiële gebruiksverantwoordelijken via personen die voldoende zijn gekwalificeerd op het relevante gebied en beschikken over de nodige capaciteiten, opleiding en bevoegdheden om hun taken uit te voeren; +j. op het testen onder reële omstandigheden wordt daadwerkelijk toezicht gehouden door de aanbieder of potentiële aanbieder, alsook door gebruiksverantwoordelijken of potentiële gebruiksverantwoordelijken via personen die voldoende zijn gekwalificeerd op het relevante gebied en beschikken over de nodige capaciteiten, opleiding en bevoegdheden om hun taken uit te voeren; -k) de voorspellingen, aanbevelingen of beslissingen van het AI-systeem kunnen daadwerkelijk worden teruggedraaid en genegeerd. +k. de voorspellingen, aanbevelingen of beslissingen van het AI-systeem kunnen daadwerkelijk worden teruggedraaid en genegeerd. ## Bronnen [Artikel 9(6 en 8) Verordening Artificiële Intelligentie](https://eur-lex.europa.eu/legal-content/NL/TXT/HTML/?uri=OJ:L_202401689#d1e3241-1-1) @@ -86,4 +86,4 @@ Zonder het testen van een AI-systeem, ontstaat het risico dat het AI-systeem inc ## Maatregelen - + From 5b20f357b6f53d936e8250fa193c901fb1781f5f Mon Sep 17 00:00:00 2001 From: webredactie-algoritmekader Date: Thu, 19 Dec 2024 13:27:07 +0100 Subject: [PATCH 07/14] Update index.md 2 kapotte linkjes gefixt. --- docs/index.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/index.md b/docs/index.md index c217c80b46..e6d05f9cb2 100644 --- a/docs/index.md +++ b/docs/index.md @@ -53,9 +53,9 @@ hide:

Eerste deadline: 2 februari 2025

From 53f8fbc9bf31941353c138196f9ddc2b2bc4de5b Mon Sep 17 00:00:00 2001 From: webredactie-algoritmekader Date: Thu, 19 Dec 2024 13:33:58 +0100 Subject: [PATCH 08/14] Update index.md Gefixte linkjes teruggedraaid. Ze eindigen nu weer op .md --- docs/index.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/index.md b/docs/index.md index e6d05f9cb2..c217c80b46 100644 --- a/docs/index.md +++ b/docs/index.md @@ -53,9 +53,9 @@ hide:

Eerste deadline: 2 februari 2025

From c3b7a170147ac1c1021b4b208a65859ff630eea0 Mon Sep 17 00:00:00 2001 From: ruthkoole Date: Thu, 19 Dec 2024 13:48:25 +0100 Subject: [PATCH 09/14] fix the numbering --- docs/index.md | 1 + docs/rollen/jurist.md | 1 + docs/voldoen-aan-wetten-en-regels/hulpmiddelen/index.md | 8 ++++---- .../2-owp-03-doel-verwerken-persoonsgegevens.md | 2 +- .../maatregelen/2-owp-11-gebruikte-data.md | 2 +- .../2-owp-30-contractuele-afspraken-data-en-artefacten.md | 2 +- ...ns.md => 3-dat-03-bewaartermijnen-persoonsgegevens.md} | 2 +- ...iseren.md => 3-dat-04-pseudonimiseren-anonimiseren.md} | 2 +- ...ursrechten.md => 3-dat-05-schending-auteursrechten.md} | 2 +- ...me-datacenters.md => 3-dat-06-duurzame-datacenters.md} | 2 +- .../maatregelen/3-dat-12-controleren-inputdata.md | 2 +- .../maatregelen/4-owk-03-privacyrisico.md | 2 +- .../maatregelen/5-ver-03-biasanalyse.md | 2 +- .../6-imp-06-vermelding-in-privacyverklaring.md | 2 +- .../maatregelen/6-imp-07-klacht-bezwaar-beroep.md | 2 +- .../maatregelen/6-imp-09-politiek-bestuurlijk-besluit.md | 2 +- ...rivacyrechten.md => 6-imp-11-proces-privacyrechten.md} | 2 +- docs/voldoen-aan-wetten-en-regels/maatregelen/index.md | 8 ++++---- docs/voldoen-aan-wetten-en-regels/vereisten/index.md | 8 ++++---- 19 files changed, 28 insertions(+), 26 deletions(-) rename docs/voldoen-aan-wetten-en-regels/maatregelen/{3-dat-04-bewaartermijnen-persoonsgegevens.md => 3-dat-03-bewaartermijnen-persoonsgegevens.md} (99%) rename docs/voldoen-aan-wetten-en-regels/maatregelen/{3-dat-05-pseudonimiseren-anonimiseren.md => 3-dat-04-pseudonimiseren-anonimiseren.md} (99%) rename docs/voldoen-aan-wetten-en-regels/maatregelen/{3-dat-06-schending-auteursrechten.md => 3-dat-05-schending-auteursrechten.md} (97%) rename docs/voldoen-aan-wetten-en-regels/maatregelen/{3-dat-07-duurzame-datacenters.md => 3-dat-06-duurzame-datacenters.md} (99%) rename docs/voldoen-aan-wetten-en-regels/maatregelen/{6-imp-05-proces-privacyrechten.md => 6-imp-11-proces-privacyrechten.md} (99%) diff --git a/docs/index.md b/docs/index.md index e6d05f9cb2..aeb66075e2 100644 --- a/docs/index.md +++ b/docs/index.md @@ -5,6 +5,7 @@ hide: - navigation - toc --- + # Algoritmekader
Wetten en regels, tips en hulpmiddelen voor verantwoord gebruik van algoritmes door de overheid. diff --git a/docs/rollen/jurist.md b/docs/rollen/jurist.md index 12fac56e3e..517b4642f3 100644 --- a/docs/rollen/jurist.md +++ b/docs/rollen/jurist.md @@ -26,6 +26,7 @@ Juristen kunnen vroeg in het proces helpen om juridische problemen te voorkomen * Privacy-jurist * Compliance-officer * Functionaris gegevensbescherming (FG) +* Contractbeheerder ## Vereisten { data-search-exclude } diff --git a/docs/voldoen-aan-wetten-en-regels/hulpmiddelen/index.md b/docs/voldoen-aan-wetten-en-regels/hulpmiddelen/index.md index 0b8570e80a..9bcb03254d 100644 --- a/docs/voldoen-aan-wetten-en-regels/hulpmiddelen/index.md +++ b/docs/voldoen-aan-wetten-en-regels/hulpmiddelen/index.md @@ -7,6 +7,10 @@ hide: navigation # Hulpmiddelen Overzicht van aanbevolen hulpmiddelen voor het verantwoord ontwikkelen, gebruiken, beoordelen en monitoren van algoritmes en AI-systemen. +## Overzicht hulpmiddelen + + + ## Richtlijnen en andere hulpmiddelen Met hulpmiddelen bedoelen we hulpmiddelen voor verantwoord en effectief gebruik van algoritmes en AI-systemen, zoals: @@ -36,9 +40,5 @@ Als een instrument verplicht is, staat dit er duidelijk bij. Een verplicht hulpm De meeste hulpmiddelen zijn niet verplicht. Bepaal zelf of je er gebruik van maakt. -## Overzicht hulpmiddelen - - - ## Help ons deze pagina te verbeteren Deel je idee, suggestie of opmerking via [GitHub](https://github.com/MinBZK/Algoritmekader/edit/main/docs/hulpmiddelen/index.md) of mail ons via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl). diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-03-doel-verwerken-persoonsgegevens.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-03-doel-verwerken-persoonsgegevens.md index fdf8748189..c0a714959c 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-03-doel-verwerken-persoonsgegevens.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-03-doel-verwerken-persoonsgegevens.md @@ -38,7 +38,7 @@ Bij de persoonsgegevens is aangegeven om wat voor categorie persoonsgegevens het Per kenmerk is toegelicht waarom deze noodzakelijk is om te verwerken voor het ontwikkelen en gebruiken van het algoritme. Het principe van dataminimalisatie is toegepast, wat betekent dat een keuze is gemaakt of een persoonsgegevens al dan niet strikt noodzakelijk is om het doel te bereiken of dat verwerking ervan achterwege kan blijven. -Voor [het beschermen van deze persoonsgegevens](3-dat-05-pseudonimiseren-anonimiseren.md) wordt per kenmerk aangegeven op welke manier deze kan worden beschermd. Denk hierbij aan het anonimiseren, pseudonomiseren, aggregeren van de persoonsgegevens. +Voor [het beschermen van deze persoonsgegevens](3-dat-04-pseudonimiseren-anonimiseren.md) wordt per kenmerk aangegeven op welke manier deze kan worden beschermd. Denk hierbij aan het anonimiseren, pseudonomiseren, aggregeren van de persoonsgegevens. Gebruik een [DPIA](../hulpmiddelen/DPIA.md) om bovenstaande zaken te beschrijven. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-gebruikte-data.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-gebruikte-data.md index 29ee4c5f7e..7c32189c39 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-gebruikte-data.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-11-gebruikte-data.md @@ -1,6 +1,6 @@ --- title: Beschrijf welke data gebruikt wordt voor de beoogde toepassing -id: urn:nl:ak:mtr:owp-02 +id: urn:nl:ak:mtr:owp-11 toelichting: Beschrijf welke data gebruikt wordt voor de beoogde toepassing. vereiste: - aia-05-data-kwaliteitscriteria diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-30-contractuele-afspraken-data-en-artefacten.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-30-contractuele-afspraken-data-en-artefacten.md index 95ffe27017..5006aa098f 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-30-contractuele-afspraken-data-en-artefacten.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-30-contractuele-afspraken-data-en-artefacten.md @@ -50,7 +50,7 @@ Hier kan worden gedacht aan (initiële) trainingsdatasets, outputdata (richting _Dit voorbeeld kan zonder veel aanpassingen in uw organisatie gebruikt worden._ De gemeente Amsterdam heeft contractvoorwaarden voor algoritmen opgesteld waarin ook duidelijke afspraken over data en artefacten staan. Dit staat in artikel 3 van “Modelbepalingen voor gemeenten voor verantwoord gebruik van Algoritmische toepassingen”. Zo komt de trainingsdata (genoemd “verstrekte data”) en output en nieuwe trainingsdata (genoemd “Gecreëerde en verzamelde data”) de gemeente toe. - Een mogelijke toevoeging die gedaan kan worden zit op het aspect van [auteursrechten](3-dat-06-schending-auteursrechten.md). Deze worden op dit moment niet expliciet genoemd en kunnen door toevoeging voor verheldering zorgen. + Een mogelijke toevoeging die gedaan kan worden zit op het aspect van [auteursrechten](3-dat-05-schending-auteursrechten.md). Deze worden op dit moment niet expliciet genoemd en kunnen door toevoeging voor verheldering zorgen. Meer informatie over generieke inkoopvoorwaarden die je kunt gebruiken, [lees je hier](../hulpmiddelen/inkoopvoorwaarden/index.html). diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-04-bewaartermijnen-persoonsgegevens.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-03-bewaartermijnen-persoonsgegevens.md similarity index 99% rename from docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-04-bewaartermijnen-persoonsgegevens.md rename to docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-03-bewaartermijnen-persoonsgegevens.md index c6df1cc1c7..cec3750ff0 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-04-bewaartermijnen-persoonsgegevens.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-03-bewaartermijnen-persoonsgegevens.md @@ -1,6 +1,6 @@ --- title: Geef data zoals persoonsgegevens een bewaartermijn met een vernietigingsprocedure -id: urn:nl:ak:mtr:dat-04 +id: urn:nl:ak:mtr:dat-03 toelichting: Zorg ervoor dat de vereisten met betrekking tot bewaartermijnen en de vernietiging correct zijn of worden vertaald naar het algoritme en de onderliggende systemen. Controleer of deze maatregelen zijn getroffen en zorg dat dit aantoonbaar is. vereiste: - arc-01-archiefwet diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-05-pseudonimiseren-anonimiseren.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-04-pseudonimiseren-anonimiseren.md similarity index 99% rename from docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-05-pseudonimiseren-anonimiseren.md rename to docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-04-pseudonimiseren-anonimiseren.md index d21544a818..e4b3ec4e15 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-05-pseudonimiseren-anonimiseren.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-04-pseudonimiseren-anonimiseren.md @@ -1,6 +1,6 @@ --- title: Bescherm persoonsgegevens door data te anonimiseren, pseudonimiseren of te aggregeren -id: urn:nl:ak:mtr:dat-05 +id: urn:nl:ak:mtr:dat-04 toelichting: Pas maatregelen toe als pseudonimiseren, anonimisering of aggregeren van persoonsgegevens bij het verwerken van de data. vereiste: - avg-03-minimale-verwerking-van-persoonsgegevens diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-06-schending-auteursrechten.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-05-schending-auteursrechten.md similarity index 97% rename from docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-06-schending-auteursrechten.md rename to docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-05-schending-auteursrechten.md index 7deb143ed9..e76c9648a9 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-06-schending-auteursrechten.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-05-schending-auteursrechten.md @@ -1,6 +1,6 @@ --- title: Controleer de auteursrechten van eigen data -id: urn:nl:ak:mtr:dat-06 +id: urn:nl:ak:mtr:dat-05 toelichting: Controleer of eventueel door de eigen organisatie verstrekte data binnen of buiten auteursrechten vallen. Bij voorkeur blijven de data eigendom van de (verstrekkende) overheidsorganisatie. vereiste: - aut-01-auteursrechten diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-07-duurzame-datacenters.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-06-duurzame-datacenters.md similarity index 99% rename from docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-07-duurzame-datacenters.md rename to docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-06-duurzame-datacenters.md index 54c569c241..a5a9981066 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-07-duurzame-datacenters.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-06-duurzame-datacenters.md @@ -1,6 +1,6 @@ --- title: Gebruik duurzame datacenters -id: urn:nl:ak:mtr:dat-07 +id: urn:nl:ak:mtr:dat-06 toelichting: Maak gebruik van datacenters die gebruikmaken van duurzame energiebronnen en energie-efficiënte technologieën voor de opslag en verwerking van data. levenscyclus: - ontwerp diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-12-controleren-inputdata.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-12-controleren-inputdata.md index c7d7c9151a..4bd4556163 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-12-controleren-inputdata.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-12-controleren-inputdata.md @@ -1,6 +1,6 @@ --- title: Controleer de input van gebruikers op misleiding -id: urn:nl:ak:mtr:dat-11 +id: urn:nl:ak:mtr:dat-12 toelichting: Controleer de inputdata van gebruikers op misleiding. levenscyclus: - dataverkenning-en-datapreparatie diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-03-privacyrisico.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-03-privacyrisico.md index 4e2fc13801..046efad68b 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-03-privacyrisico.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-03-privacyrisico.md @@ -27,7 +27,7 @@ Uitvoeren risicoanalyse en formuleren mitigerende maatregelen voor privacyrisico - Verifieer of een [DPIA](../hulpmiddelen/DPIA.md) is uitgevoerd over het werkproces dat wordt of zal worden ondersteund met een algoritme. Zo nee, voer een risico analyse (DPIA) uit om de risico's voor de rechten en vrijheden van betrokkenen met de inzet van algoritmes in beeld te brengen. - Organisatorische en technische maatregelen moeten worden getroffen om persoonsgegevens bij de ontwikkeling en het gebruik van het algoritme te beschermen. -- Beleg de mitigerende maatregelen bij betrokken actoren. Denk bijvoorbeeld aan het toekennen van de maatregelen als [anonimiseren en pseudonimiseren van persoonsgegevens](3-dat-05-pseudonimiseren-anonimiseren.md) aan een data engineer, voordat deze kunnen worden gebruikt ten behoeve van het ontwikkelen of controleren van het algoritme. +- Beleg de mitigerende maatregelen bij betrokken actoren. Denk bijvoorbeeld aan het toekennen van de maatregelen als [anonimiseren en pseudonimiseren van persoonsgegevens](3-dat-04-pseudonimiseren-anonimiseren.md) aan een data engineer, voordat deze kunnen worden gebruikt ten behoeve van het ontwikkelen of controleren van het algoritme. - Bepaal welke maatregelen moeten zijn gerealiseerd voordat mag worden gestart met de verwerking van de persoonsgegevens en welke moeten worden gemonitord. - Monitor de voortgang op het realiseren van de maatregelen en zorg voor bewijsstuken als deze zijn gerealiseerd. Deze bewijsstukken kunnen onderdeel worden van een audit. - Als er een noodzaak is om na verloop van tijd meer persoonsgegevens te verwerken of om andere verwerkingen uit te voeren, zal opnieuw een beoordeling moeten plaatsvinden of er privacyrisico's ontstaan en hoe deze kunnen worden gemitigeerd. Gedurende de levenscyclus van het algoritme moet aandacht blijven voor het uitvoeren van de risicoanalyse voor privacyrisico's. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-03-biasanalyse.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-03-biasanalyse.md index dcac07cac5..760b68e4db 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-03-biasanalyse.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-03-biasanalyse.md @@ -1,6 +1,6 @@ --- title: Toets het algoritme op bias -id: urn:nl:ak:mtr:ver-01 +id: urn:nl:ak:mtr:ver-03 toelichting: Analyseer of het gebruik van het algoritme of het proces daaromheen leidt tot onwenselijke of onrechtmatige verschillen in de behandeling van individuen en/of groepen. vereiste: - grw-02-non-discriminatie diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-06-vermelding-in-privacyverklaring.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-06-vermelding-in-privacyverklaring.md index a03aee1a5f..a100c1987e 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-06-vermelding-in-privacyverklaring.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-06-vermelding-in-privacyverklaring.md @@ -1,6 +1,6 @@ --- title: Vermeld het gebruik van persoonsgegevens in een privacyverklaring -id: urn:nl:ak:mtr:imp-07 +id: urn:nl:ak:mtr:imp-06 toelichting: Door in een privacyverklaring te vermelden welke persoonsgegevens worden verwerkt voor het gebruik van een algoritme, wordt een betrokkene geïnformeerd over de verwerking van diens persoonsgegevens. vereiste: - avg-07-transparantie-bij-verwerken-persoonsgegevens diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-07-klacht-bezwaar-beroep.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-07-klacht-bezwaar-beroep.md index af55175b5d..5f8eef08f0 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-07-klacht-bezwaar-beroep.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-07-klacht-bezwaar-beroep.md @@ -1,6 +1,6 @@ --- title: Richt een proces in zodat burgers of andere belanghebbenden een klacht, bezwaar of beroep kunnen indienen over het gebruik van het algoritme en monitor dit proces. -id: urn:nl:ak:mtr:imp-09 +id: urn:nl:ak:mtr:imp-07 toelichting: Richt een proces in zodat burgers of andere belanghebbenden een klacht, bezwaar of beroep kunnen indienen over het gebruik van het algoritme. Zorg voor goede monitoring van dit proces zodat het projectteam op de hoogte is van klachten, bezwaren en beroepen over het systeem. vereiste: - avg-09-inroepen-privacyrecht-bij-verwerking-persoonsgegevens diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-09-politiek-bestuurlijk-besluit.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-09-politiek-bestuurlijk-besluit.md index 10af12e8a9..4260d482d0 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-09-politiek-bestuurlijk-besluit.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-09-politiek-bestuurlijk-besluit.md @@ -1,6 +1,6 @@ --- title: Maak een openbaar besluit over de inzet van het algoritme -id: urn:nl:ak:mtr:imp-01 +id: urn:nl:ak:mtr:imp-09 toelichting: Door een politiek-bestuurlijk besluit te nemen over de inzet van een impactvol algoritme, wordt een afweging en keuze gemaakt over de wenselijkheid, haalbaarheid, transparantie en eventueel de mate van onbewuste vooringenomheid van het betreffende algoritme. Een openbaar besluit draagt ook bij aan de controleerbaarheid van een overheidsorganisatie. vereiste: - awb-01-zorgvuldigheidsbeginsel diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-05-proces-privacyrechten.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-11-proces-privacyrechten.md similarity index 99% rename from docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-05-proces-privacyrechten.md rename to docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-11-proces-privacyrechten.md index fba667bf92..d23fb72d41 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-05-proces-privacyrechten.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-11-proces-privacyrechten.md @@ -1,6 +1,6 @@ --- title: Spreek af hoe de organisatie omgaat met privacy-verzoeken -id: urn:nl:ak:mtr:imp-06 +id: urn:nl:ak:mtr:imp-11 toelichting: Betrokkenen kunnen hun persoonsgegevens inzien, rectificeren, laten verwijderen of het gebruik ervan beperken bij het toepassen van algoritmes. vereiste: - avg-09-inroepen-privacyrecht-bij-verwerking-persoonsgegevens diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/index.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/index.md index 052aaa0b82..059624f159 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/index.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/index.md @@ -8,6 +8,10 @@ hide: # Maatregelen Overzicht van aanbevolen maatregelen voor verantwoord gebruik van algoritmes en AI-systemen. Het zijn adviezen om te voldoen aan de vereisten voor overheden. Andere maatregelen zijn ook mogelijk. +## Overzicht maatregelen { data-search-exclude } + + + ## Alle maatregelen zijn adviezen De maatregelen zijn niet verplicht. Het zijn adviezen uit: @@ -35,9 +39,5 @@ Deze maatregel helpt om te voldoen aan de vereiste om niet te discrimineren. Maa Met één maatregel voldoe je soms aan meerdere vereisten. -## Overzicht maatregelen { data-search-exclude } - - - ## Help ons deze pagina te verbeteren Deel je idee, suggestie of opmerking via [GitHub](https://github.com/MinBZK/Algoritmekader/edit/main/docs/maatregelen/index.md) of mail ons via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl). diff --git a/docs/voldoen-aan-wetten-en-regels/vereisten/index.md b/docs/voldoen-aan-wetten-en-regels/vereisten/index.md index c215261d32..905e6f9168 100644 --- a/docs/voldoen-aan-wetten-en-regels/vereisten/index.md +++ b/docs/voldoen-aan-wetten-en-regels/vereisten/index.md @@ -9,6 +9,10 @@ hide: # Vereisten voor de overheid Overzicht van de belangrijkste vereisten voor overheden die algoritmes of AI-systemen ontwikkelen of gebruiken. +## Overzicht vereisten { data-search-exclude } + + + ## Wetten en regels De vereisten zijn gebaseerd op de wetten en regels voor het uitvoeren van wettelijke taken, zoals de: @@ -38,9 +42,5 @@ Welke vereisten gelden voor jouw organisatie, hangt af van: Deze vereiste geldt alleen voor impactvolle algoritmes en hoog-risico-AI-systemen. Een niet-impactvolle rekenregel hoef je niet te registreren. -## Overzicht vereisten { data-search-exclude } - - - ## Help ons deze pagina te verbeteren Deel je idee, suggestie of opmerking via [GitHub](https://github.com/MinBZK/Algoritmekader/edit/main/docs/vereisten/index.md) of mail ons via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl). From e81a941c542a70ce0ff6f0770941c1af26af8750 Mon Sep 17 00:00:00 2001 From: ruthkoole Date: Thu, 19 Dec 2024 13:52:36 +0100 Subject: [PATCH 10/14] fix layout tips --- docs/onderwerpen/governance.md | 4 ++-- docs/onderwerpen/privacy-en-gegevensbescherming.md | 5 +++-- 2 files changed, 5 insertions(+), 4 deletions(-) diff --git a/docs/onderwerpen/governance.md b/docs/onderwerpen/governance.md index c5ce877bbc..c8a658aead 100644 --- a/docs/onderwerpen/governance.md +++ b/docs/onderwerpen/governance.md @@ -44,9 +44,9 @@ Houd in elk geval rekening met: - [organisatieverantwoordelijkheden](../levenscyclus/organisatieverantwoordelijkheden.md): de minimale voorwaarden om te starten met algoritmes - [levenscyclus van algoritmes](../levenscyclus/index.md): waar je per fase op moet letten +!!! tip "Tip" -> [!TIP] -> Zorg dat iemand verantwoordelijk is voor algoritme-governance. En betrek stakeholders. + Zorg dat iemand verantwoordelijk is voor algoritme-governance. En betrek stakeholders. ## Vereisten diff --git a/docs/onderwerpen/privacy-en-gegevensbescherming.md b/docs/onderwerpen/privacy-en-gegevensbescherming.md index e10a116caf..e9d6a32293 100644 --- a/docs/onderwerpen/privacy-en-gegevensbescherming.md +++ b/docs/onderwerpen/privacy-en-gegevensbescherming.md @@ -30,8 +30,9 @@ De persoonsgegevens die overblijven, gebruik je zo minimaal mogelijk. Hoe minima * [Pseudonimiseren](https://www.autoriteitpersoonsgegevens.nl/themas/beveiliging/beveiliging-van-persoonsgegevens/gegevens-pseudonimiseren): data moeilijker herleidbaar maken naar personen * Aggregeren: data zoveel mogelijk combineren of samenvoegen tot 1 waarde, zoals een totaal of gemiddelde -Tip -Leg de keuzes die je maakt duidelijk uit. Zo voorkom je fouten op de werkvloer. Gevoelige persoonsgegevens voor doel A mag je bijvoorbeeld niet automatisch voor doel B gebruiken. +!!! "tip" Tip + + Leg de keuzes die je maakt duidelijk uit. Zo voorkom je fouten op de werkvloer. Gevoelige persoonsgegevens voor doel A mag je bijvoorbeeld niet automatisch voor doel B gebruiken. ## Belang van privacy en persoonsgegevens beschermen Algoritmes die persoonsgegevens verwerken, kunnen snel de privacy schenden van grote groepen mensen. Vooral [impactvolle algoritmes](../overhetalgoritmekader/impact-van-algoritmes.md) kunnen veel schade veroorzaken in de maatschappij. From d584be987cb92523593e3a781a460eb28f6e1770 Mon Sep 17 00:00:00 2001 From: ruthkoole Date: Thu, 19 Dec 2024 13:53:10 +0100 Subject: [PATCH 11/14] fix lists on privacy page --- docs/onderwerpen/privacy-en-gegevensbescherming.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/docs/onderwerpen/privacy-en-gegevensbescherming.md b/docs/onderwerpen/privacy-en-gegevensbescherming.md index e9d6a32293..46dc75b4aa 100644 --- a/docs/onderwerpen/privacy-en-gegevensbescherming.md +++ b/docs/onderwerpen/privacy-en-gegevensbescherming.md @@ -26,6 +26,7 @@ Als je persoonsgegevens gebruikt voor algoritmes, moet je rekening houden met we Je organisatie beoordeelt zelf welke persoonsgegevens nodig zijn voor een bepaald doel. Dit kan lastig zijn. Want welke gegevens zijn bijvoorbeeld nodig als je vooraf niet weet welke verbanden het algoritme legt? De persoonsgegevens die overblijven, gebruik je zo minimaal mogelijk. Hoe minimaal dat is, bepaalt je organisatie zelf. Technieken om privacy zoveel mogelijk te beschermen zijn: + * Anonimiseren: data zoveel mogelijk anoniem maken * [Pseudonimiseren](https://www.autoriteitpersoonsgegevens.nl/themas/beveiliging/beveiliging-van-persoonsgegevens/gegevens-pseudonimiseren): data moeilijker herleidbaar maken naar personen * Aggregeren: data zoveel mogelijk combineren of samenvoegen tot 1 waarde, zoals een totaal of gemiddelde @@ -38,6 +39,7 @@ De persoonsgegevens die overblijven, gebruik je zo minimaal mogelijk. Hoe minima Algoritmes die persoonsgegevens verwerken, kunnen snel de privacy schenden van grote groepen mensen. Vooral [impactvolle algoritmes](../overhetalgoritmekader/impact-van-algoritmes.md) kunnen veel schade veroorzaken in de maatschappij. Wanneer je de privacy en persoonsgegevens van mensen goed beschermt, voorkom je: + * Gebruik van persoonsgegevens voor het verkeerde doel, zoals het per ongeluk publiceren van iemands paspoortfoto op de website van een gemeente. * Discriminatie, bijvoorbeeld door onnodig gebruik van leeftijd in een algoritme. * Lekken van persoonsgegevens. From 34ce37f9aba2250d37c276d69df10e76df5f4a28 Mon Sep 17 00:00:00 2001 From: ruthkoole Date: Thu, 19 Dec 2024 13:54:17 +0100 Subject: [PATCH 12/14] fix layout tip TRV --- docs/onderwerpen/technische-robuustheid-en-veiligheid.md | 5 +++-- 1 file changed, 3 insertions(+), 2 deletions(-) diff --git a/docs/onderwerpen/technische-robuustheid-en-veiligheid.md b/docs/onderwerpen/technische-robuustheid-en-veiligheid.md index 4ce82d96a2..19af14818a 100644 --- a/docs/onderwerpen/technische-robuustheid-en-veiligheid.md +++ b/docs/onderwerpen/technische-robuustheid-en-veiligheid.md @@ -59,8 +59,9 @@ Voer de controles uit tijdens de [ontwikkelfas](../levenscyclus/ontwikkelen.md)e Blijf regelmatig controleren tijdens de fases [implementatie](../levenscyclus/implementatie.md) en [monitoring en beheer](../levenscyclus/monitoring-en-beheer.md). Dit zijn de fases waarin je het algoritme gebruikt. Presteert het algoritme niet goed, los het probleem dan op of [stop het gebruik](../levenscyclus/uitfaseren.md). -> [!TIP] -> Houd rekening met concept drift. Dit betekent dat de eigenschappen van je data in de loop van de tijd kunnen veranderen. Hierdoor trekt je algoritme mogelijk verkeerde conclusies. Zo was er vóór 2020 een verband tussen thuiswerken en ziek zijn. Maar sinds de coronacrisis in 2020 is dit verband minder sterk, omdat gezonde mensen vaker thuiswerken. +!!! tip "Tip" + + Houd rekening met concept drift. Dit betekent dat de eigenschappen van je data in de loop van de tijd kunnen veranderen. Hierdoor trekt je algoritme mogelijk verkeerde conclusies. Zo was er vóór 2020 een verband tussen thuiswerken en ziek zijn. Maar sinds de coronacrisis in 2020 is dit verband minder sterk, omdat gezonde mensen vaker thuiswerken. ## Bescherm algoritmes tegen aanvallen en bedreigingen Beveilig het ICT-systeem waarin het algoritme wordt gebruikt. Dit zijn bijvoorbeeld maatregelen uit de [Baseline Informatiebeveiliging Overheid (BIO)](https://www.digitaleoverheid.nl/overzicht-van-alle-onderwerpen/cybersecurity/bio-en-ensia/baseline-informatiebeveiliging-overheid/) die je standaard neemt voor beveiliging van ICT-systemen tegen cyberaanvallen. From 4c2e86474fc58d95a2648724b0557765cfe09499 Mon Sep 17 00:00:00 2001 From: ruthkoole Date: Thu, 19 Dec 2024 13:57:35 +0100 Subject: [PATCH 13/14] fix link --- .../2-owp-30-contractuele-afspraken-data-en-artefacten.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-30-contractuele-afspraken-data-en-artefacten.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-30-contractuele-afspraken-data-en-artefacten.md index 5006aa098f..09b7a8a851 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-30-contractuele-afspraken-data-en-artefacten.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-30-contractuele-afspraken-data-en-artefacten.md @@ -52,7 +52,7 @@ Hier kan worden gedacht aan (initiële) trainingsdatasets, outputdata (richting De gemeente Amsterdam heeft contractvoorwaarden voor algoritmen opgesteld waarin ook duidelijke afspraken over data en artefacten staan. Dit staat in artikel 3 van “Modelbepalingen voor gemeenten voor verantwoord gebruik van Algoritmische toepassingen”. Zo komt de trainingsdata (genoemd “verstrekte data”) en output en nieuwe trainingsdata (genoemd “Gecreëerde en verzamelde data”) de gemeente toe. Een mogelijke toevoeging die gedaan kan worden zit op het aspect van [auteursrechten](3-dat-05-schending-auteursrechten.md). Deze worden op dit moment niet expliciet genoemd en kunnen door toevoeging voor verheldering zorgen. - Meer informatie over generieke inkoopvoorwaarden die je kunt gebruiken, [lees je hier](../hulpmiddelen/inkoopvoorwaarden/index.html). + Meer informatie over [generieke inkoopvoorwaarden die je kunt gebruiken](../hulpmiddelen/inkoopvoorwaarden.md). Bron: [Contractvoorwaarden voor Algoritmen](https://www.amsterdam.nl/innovatie/digitalisering-technologie/algoritmen-ai/contractvoorwaarden-algoritmen/) From 30a294fda1002a42b06b319766286248e8cae879 Mon Sep 17 00:00:00 2001 From: ruthkoole Date: Thu, 19 Dec 2024 14:00:19 +0100 Subject: [PATCH 14/14] fix numbering and bug --- .../0-org-02-beleid-opstellen-inzet-algoritmes.md | 2 +- .../maatregelen/0-org-15-discriminatieprotocol.md | 2 +- ...wp-27-risico-analyse-informatiebeveiliging-leverancier.md | 5 ----- 3 files changed, 2 insertions(+), 7 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid-opstellen-inzet-algoritmes.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid-opstellen-inzet-algoritmes.md index d8fb99c1b2..e38de83b73 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid-opstellen-inzet-algoritmes.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid-opstellen-inzet-algoritmes.md @@ -1,6 +1,6 @@ --- title: Stel beleid op voor een verantwoorde inzet van algoritmes binnen de organisatie. -id: urn:nl:ak:mtr:org-04 +id: urn:nl:ak:mtr:org-02 toelichting: levenscyclus: - organisatieverantwoordelijkheden diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-15-discriminatieprotocol.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-15-discriminatieprotocol.md index 86984d50c8..acad09b839 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-15-discriminatieprotocol.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-15-discriminatieprotocol.md @@ -1,6 +1,6 @@ --- title: Stel een protocol vast voor de situatie dat er (een vermoeden van) discriminatie door een algoritme is geconstateerd en pas dit wanneer nodig toe. -id: urn:nl:ak:mtr:imp-10 +id: urn:nl:ak:mtr:org-15 toelichting: Stel een protocol op voor de situatie dat er een vermoeden bestaat van discriminatie of als er geconstateerd wordt dat er sprake is van bevooroordeeldheid of discriminatie door een algoritme en pas dit protocol toe. vereiste: - grw-02-non-discriminatie diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-27-risico-analyse-informatiebeveiliging-leverancier.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-27-risico-analyse-informatiebeveiliging-leverancier.md index a3caef66f6..0e7941f4d2 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-27-risico-analyse-informatiebeveiliging-leverancier.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-27-risico-analyse-informatiebeveiliging-leverancier.md @@ -37,14 +37,9 @@ Voer een risico-analyse met de aanbieder uit op het gebied van informatiebeveili - Bepaal of er, gezien de restrisico's, aanvullende beveiligingsmaatregelen (door de aanbieder of opdrachtgever) moeten worden getroffen om deze te beschermen. <<<<<<< HEAD -## Bijbehorende vereiste(n) - - -======= ## Bijbehorende vereiste(n) { data-search-exclude } ??? expander "Bekijk alle vereisten" ->>>>>>> main ## Risico