Dit zijn de user stories die zijn opgehaald tijdens de verschillende inventarisatiesessies met consortiumpartners en genodigden.
(Bekijk dit project op Github)
| ID | Story | Doelgroep | Bruikbaar | Opmerkingen | Prototype |
|---|---|---|---|---|---|
| AR001 | Als team, wil ik algoritmes direct open kunnen delen, zodat er snel vanuit de samenleving meegekeken en meegedacht kan worden. | team | Oranje | Direct betekend wanneer of de manier waarop? Story vraagt meerdere functionaliteiten; delen, meekijken en meedenken. Voor de bouw van register deze verdeling ook gebruiken? | Wanneer een team aan de slag gaat met het ontwikkelen of inzetten van een algoritmische toepassing, kan er een registratie gepubliceerd worden in het algoritmeregister. Door middel van de contactpersoon-informatie kan een geïnteresseerde dan contact opnemen voor vragen en opmerkingen. Mogelijke toevoegingen: + discussie-functionaliteit, + nieuwe registratie indicator, + filter op nieuwe registraties. |
| AR002 | Als eindverantwoordelijke, wil ik de mogelijke impact en implicaties van een algoritme begrijpen, zodat ik de samenhang met andere interventies blijf overzien. | eindverantwoordelijke | Oranje | Iedereen begrijpt dingen anders dus dit zou per persoon maatwerk kunnen betekenen. Definitie van implicaties en impact? Het omdraaien, ik wil de samenhang zien zodat ik de mogelijke impact en implicaties kan begrijpen? Definitie eindverantwoordelijke? | Door de velden 'impact' en 'risks' op te nemen in de standaard en (dus) de beheer-tool wordt de persoon die de registratie opneemt aangespoord dit in kaart te brengen. |
| AR003 | Als inkoper, wil inzage in risicovolle algoritmes en hun leveranciers, zodat ik teams kan adviseren tijdens het inkoopproces. | inkoper | Rood | Heeft inkoper nog specifieke informatie nodig die een "normale" burger niet nodig heeft? Wil de inkoper dat alle algoritmes die bestaan in het register komen, die het IP zijn van bedrijven? Juridisch wordt dit onmogelijk. Is dit specifiek als een algoritme ingekocht wordt? | Mogelijke toevoegingen: + veld 'leverancier' in standaard, + standaardisatie van veld 'risico', + filter op risico(profiel). |
| AR004 | Als eindverantwoordelijke, wil ik niet afhankelijk zijn van de uitkomsten/adviezen van een algoritme, zodat ik een brede afweging kan maken die juridisch overeind blijft | eindverantwoordelijke | Rood | Dit is geen functionaliteit. Dit is een doel of uitgangspunt bij het opstellen van de besluitprocessen. | Door het veld 'human_intervention' op te nemen in de standaard en (dus) de beheer-tool wordt hier aandacht op gevestigd. Dit zou zeker zo zijn als de registratie vooraf en tijdens de ontwikkeling en implementatie wordt gemaakt (in plaats van achteraf). |
| AR005 | Als uitvoerder, wil ik 'samenwerken' met het algoritme, zodat mijn prestatie in het veld beter wordt. | uitvoerder | Rood | Dit heeft betrekking op het algoritme zelf; niet een register of registratie ervan. | (Niet verwerkt in het prototype. Zie ook 'computer aided design'; zou passen in een handboek 'inzetten van algoritmes' oid.) |
| AR006 | Als directielid, wil ik in eenvoudig te begrijpen rapportage zien welke risico's we lopen, zodat ik kan bijsturen waar nodig. | directielid | Oranje | Opnemen van risico's die een algoritme heeft. Dus risico-analyse is nodig en deel van de meta-data standaard voor het register? | Door de velden 'impact' en 'risks' op te nemen in de standaard en (dus) de beheer-tool wordt de persoon die de registratie opneemt aangespoord dit in kaart te brengen. Mogelijke toevoegingen: + standaardisatie van veld 'risico', + overzicht van risico's |
| AR007 | Als ontwikkelaar/datascientist, wil ik onderscheid maken tussen algoritmes voor automatisering en voor advisering, zodat we alleen risico's in kaart brengen waar nodig. | ontwikkelaar/datascientist | Oranje | Waarom is dit nodig? Risico's moeten voor alle algoritmes in kaart gebracht worden. Wel goed om te kijken naar soorten algoritmes. | |
| AR008 | Als datascientist, wil ik dat de rest van de organisatie begrijp dat een algoritme niet 'de waarheid' levert, zodat ik onderdeel ben van een multidisciplinair gesprek (ipv leverancier van feiten). | datascientist, | Oranje | Deel van het proces ipv het register zelf. Belangrijk wel om dit gesprek breder te voeren in alle organisaties. Heeft te maken met verantwoording. | |
| AR009 | Als team, wil ik een duidelijk kader voor risico-analyse, zodat ik weet wanneer welke procedurele stappen gezet moeten worden. | team | Oranje | Processtap. Deze stap fascilliteren kan je eventueel in het register; hoe worden risico's opgenomen daarin? Gaan het ontwikkelproces informatie toevoegen volgens processtappen? | |
| AR010 | Als belangenorganisatie, wil ik kunnen zien hoe vaak een algoritme 'herijkt' wordt, zodat ik kan de betrouwbaarheid van het algoritme kan inschatten. | belangenorganisatie | Oranje | Herijken betekend niet meer betrouwbaarheid. Wel dat je kan zien wanneer een algoritme gewijzigd is. | |
| AR011 | Als raadslid, wil ik kunnen begrijpen welke inhoudelijke keuzes ten grondslag liggen aan het algoritme, zodat ik kan inschatten of er politieke afwegingen gemaakt moeten worden. | raadslid | Oranje | Definitie van inhoudelijke keuzes? En "inschatting maken" is ook subjectief. | |
| AR012 | Als datascientist, wil ik onnodige data en detailniveau in het algoritme vermijden, zodat ik mogelijke bias en beinvloeding in het proces voorkom. | datascientist | Rood | Dit is het ontwerp en bouwen van algoritme. Niet het opnemen van een algoritme in een register. Is er ambitie om vanuit het register eisen te stellen aan hoe een algoritme gemaakt wordt? | |
| AR013 | Als burger, wil ik begrijpen hoe (de uitkomst van) een algoritme samenhangt met besluiten, processen en data, zodat ik snel rondom een onderwerp alle relevante informatie kan vinden. | burger | Groen | Verder uitwerken hoe dan die samenhang zichtbaar gemaakt kan worden voor de burger. | |
| AR014 | Als beleidsadviseur, wil ik de vrijheid hebben op een brede manier belangen te wegen, zodat ik niet automatisch gebonden ben aan de uitkomsten van een algoritme. | beleidsadviseur | Rood | Is een besluitproces; niet een register en het onsluiten van informatie daarin. | |
| AR015 | Als raadslid, wil ik weten en snappen welke algoritmes worden gebruikt, zodat ik kan er vragen over kan stellen in het kader van mijn democratische functie | raadslid | Groen | ||
| AR016 | Als handhaver, wil ik begrijpen hoe een algoritme tot een aanbeveling of analyse komt, zodat ik zelf kan inschatten in hoeverre dit juist is | handhaver | Groen | ||
| AR017 | Als handhaver, wil ik weten welke data in het algoritme gebruikt wordt, zodat ik snap vanuit welke bronnen bepaalde aanbevelingen en analyses tot stand komen | handhaver | Groen | ||
| AR018 | Als burger, wil ik zien welke algoritmes (en data) er worden gebruikt bij besluiten, zodat ik kan controleren of dit volledig en correct is | burger | Groen | ||
| AR019 | Als burger, wil ik bij een interactie met de overheid geïnformeerd worden of er een algoritme onderdeel was van het proces, zodat ik kan inschatten of er mogelijk redenen zijn voor bezwaar. | burger | Oranje | Dit is een ander proces dan ontsluiten van informatie via een register. Dat proces zou wel gebruik kunnen maken van de data in het register. | |
| AR020 | Als burger, wil ik vooral resultaten zien en daarover in gesprek kunnen, zodat ik niet wordt lastig gevallen met algoritmes en data die zaken onnodig complex maken. | burger | Rood | Ander proces. Als je geen interesse hebt dan ga je het register ook niet opzoeken. Is meer een discussie item dan een user story. | |
| AR021 | Als raadslid wil ik weten, als een algoritme niet transparant mag zijn, waarom niet (wat de wettelijke grondslag is daarvan) | raadslid | Groen | Opnemen in register | |
| AR022 | Als burger wil ik weten in welke processen organisaties algoritmes inzetten | burger | Groen | Opnemen in register | |
| AR023 | Als raadslid/TKlid wil ik weten welk politiek besluit ten grondslag ligt aan het gebruik van t algoritme of beleid waar het onderdeel van is | raadslid/TKlid | Groen | Opnemen in register | |
| AR024 | Als burger wil ik alleen informatie die mij raakt. Maar ik als ik info tekort kom wil ik direct kunnen bellen/mailen naar de juiste persoon | burger | Oranje | Zijn twee stories. Het eerste heeft veel refinement nodig; zijn dit beperkingen op wat ontsloten wordt of betekend dit de burger mogelijkheden geven om informatie te filteren? Tweede is story voor contact kunnen opnemen. | |
| AR025 | Als interne medewerker wil ik weten waar mijn organisatie intern algoritmes op inzet zodat ik weet waar mij dit mogelijk raakt | interne medewerker | Oranje | Hoe wil je dit weten? Wat wil je weten? Wat is jouw raken, raakt het jouw werk of jou prive? Komt er dan een splitsing tussen interne en externe algoritmes die gedeeld worden? | |
| AR026 | (Als burger) Het maakt niet uit of een computer of een persoon een beslissing heeft gemaakt, zolang de beslissing maar uitlegbaar is. | burger | Rood | Deel van een besluitenproces? Moet per algoritme opgenomen welke besluiten ermee zijn genomen? Hoe is dan de scope; algoritmes of besluiten? | |
| AR027 | Als belastingebetaler wil ik dat alle algoritmes openbaar zijn, ook ingekochte, zodat ik ze zelf ook kan gebruiken. | belastingebetaler | Rood | Geen functionaliteit maar meer het proces. Als overheid algoritmes open-source maken. Dit heeft te maken met de aanbesteding van algoritmes en/of ze zelf ontwikkelen. | |
| AR028 | Als burger wil ik niet weten of een algoritme is gebruikt bij besluit, zodat ik niet zelf op zoek moet gaan naar informati maar uitleg krijg | burger | Rood | Ander proces, een besluitenproces. Als je als burger dan niets wil weten hoef je ook niet naar het register te gaan. | |
| AR029 | Als burger wil ik weten welke instanties gebruik maken van deze algoritmes zodat ik weet of andere bedrijven/overheden hun keuzes baseren... | burger | Oranje | Bepalen of dit mag als het algoritme is ingekocht. Kunnen we dan erbij vermelden wie het verder allemaal in gebruik heeft; ook als het private bedrijven zijn? Hier komt ook het IP van een algoritme bij kijken. | |
| AR030 | Als 'burger van een democratie' wil ik dat de overheid verantwoording aflegt, ook als niemand daar specifiek op zit te wachten | burger | Rood | Doelstelling. Openbaar maken middels register. Maar verder geen specifieke functionaliteit. | |
| AR031 | als ik als burger hulp wil krijgen van een derde over algoritmes, waar kan ik dan terecht? | burger | Rood | Algorime registerdoelstelling. Of wat wordt bedoeld met derde partij? | |
| AR032 | Als verantwoordelijke van het algoritme register wil ik per algoritme bepalen welke info open gemaakt kan worden, zodat het maatwerk wordt | verantwoordelijke | Groen | Bepalen wat minimaal verplicht openbaar gemaakt moet worden. Deel van de standaard die ontwikkeld wordt. Voorkomen dat teveel verschil zit per algoritme omdat dat raar staat naar burgers die informatie willen opzoeken en zien dat het inconsistent is. | |
| AR033 | Als ambtenaar wil ik zo min mogelijk administratieve last, zodat ik kan focussen op mijn hoofdtaken | ambtenaar | Oranje | Goed uitgangspunt. Het is vooral goed als een acceptatiecriteria voor andere stories. Dan moet dit specifiek gemaakt worden. | |
| AR034 | Als burger wil ik duidelijk onderscheid hebben tussen het gebruik van de data en de werking van het algoritme zodat ik inzichtelijk heb hoe de keuzes worden gemaakt en wat er met deze data gebeurt. | burger | Groen | ||
| AR035 | Als burger wil ik zelf de datasets en code in kunnen duiken, ook al snap ik het niet, zodat ik bewijs heb dat het geen mooiweerpraatje is | burger | Oranje | Als je het niet snapt dan is het voor jou niet bewezen. Wel toegangkelijk voor wie bewijs wil opzoeken. Wel te maken met vertrouwelijkheid en eigendom van data/code. | |
| AR036 | Als burger wil ik dat anderen (journalisten, belangenorgs) voor mij kunnen uitzoeken of me onrecht aangedaan wordt | burger | Rood | Geen functionaliteit maar principe of doelstelling. Wordt bereikt door het algehele register. | |
| AR037 | Als journalist wil ik direct contact op kunnen nemen met de mensen die er echt iets van af weten om door te kunnen vragen | journalist | Oranje | Refinement nodig. Gaat er specifiek voor journalisten extra informatie komen? Hoe moet dat werken? Of krijgen journalisten zelfde informatie als burgers via register en moeten ze zelf verder informatie ophalen via dat kanaal. | |
| AR038 | Als burger, wil ik in begrijpelijk taal uitgelegd krijgen wat een algoritme doet, zodat ik de potentiële impact op mijn eigen leven kan begrijpen. | burger | Oranje | Dit als acceptatie-criteria gebruiken bij stories. Kijken naar niveau's en standaarden die hiervoor zijn. Wet Digitoegangkelijk? | |
| AR039 | Als burger, wil ik kunnen zien welke algoritmes door de overheid worden gebruik voor de besturing van mijn stad, zodat ik de proportionaliteit ervan kan blijven overzien. | burger | Oranje | Definieer proportionaliteit? Vervangen door processen waarin algoritme gebruikt wordt? Overheid en stad; andere lagen. Dit scherp definieëren | |
| AR040 | Als burger, wil ik kunnen zien welke afdeling binnen de gemeente verantwoordelijk is voor het inzetten van een algoritme, zodat ik weet wie ik kan aanspreken. | burger | Groen | ||
| AR041 | Als burger, wil ik de personalia kunnen inzien van de eindverantwoordelijke voor een algoritme, zodat ik direct contact op kan nemen. | burger | Oranje | AVG?? Het idee ligt voor de hand maar de vraag is of dit mag. | |
| AR042 | Als burger, wil ik de keten van verantwoordelijkheid rondom een algoritme kunnen inzien, zodat ik kan zien wie er betrokken is bij de ontwikkeling en implementatie. | burger | Groen | ||
| AR043 | Als burger, wil ik zowel weten wie inhoudelijk als wie technisch verantwoordelijk is voor een algoritme, zodat ik contact op kan nemen met de juiste persoon. | burger | Oranje | AVG?? Het idee ligt voor de hand maar de vraag is of dit mag. | |
| AR044 | Als burger, wil ik weten wie het algoritme officieel gecontroleerd heeft (audit), zodat ik meer vertrouwen krijg in het gebruik. | burger | Groen | ||
| AR045 | Als burger, wil ik weten wie de leverancier is van een algoritme, zodat ik kan inschatten welke belangen mogelijk meespelen. | burger | Groen | ||
| AR046 | Als burger, wil ik een overzicht hebben van databronnen die gebruikt worden in het algoritme, zodat ik kan inschatten of er bronnen missen. | burger | Groen | ||
| AR047 | Als burger, wil ik toegang tot de data die gebruikt wordt in een algoritme, zodat ik volledigheid en actualiteit ervan kan nalopen. | burger | Oranje | Scope van register is niet ook de data zelf opnemen. Ook zal per databron verschillen of deze openbaar mag worden of niet? Er zullen vertrouwelijke tussen zitten ondanks WOB / Open Overheid | |
| AR048 | Als burger, wil ik weten wie de data heeft verzameld die gebruikt wordt in een algoritme, zodat ik snap wie/wat de bron is. | burger | Groen | Goed onderscheid om bron en eigenaar van data in te brengen in het register. | |
| AR049 | Als burger, wil ik zien of (en welke) persoonsgegevens worden verwerkt in een algoritme, zodat ik kan zien of er privacy problemen zich voor kunnen doen. | burger | Groen | ||
| AR050 | Als burger, wil ik (op hoofdlijnen) de architectuur van het model van het algoritme in kunnen zien, zodat ik kan inschatten hoe complex (en daarmee foutgevoelig) het model is. | burger | Oranje | Nadenken over security issues als mensen de architectuur kunnen zien en daarme evt zwakheden. Kijken naar wat waarde heeft om te ontsluiten en wat niet. Niet iedere burger is een ITer. | |
| AR051 | Als burger, wil ik een overzicht van de prestatie van het algoritme (bijv. foutmarge), zodat ik beter in kan schatten hoe en waarom het algoritme gebruikt wordt. | burger | Groen | ||
| AR052 | Als burger, wil ik de broncode van het algoritme kunnen bekijken, zodat ik de werking en kwaliteit eigenhandig kan controleren (en verbeteren). | burger | Oranje | Nakijken of dit mag als het algoritme ingekocht is en IP is van een bedrijf. Zou betekenen dat elk algoritme open-source beschikbaar moet zijn. | |
| AR053 | Als burger, wil ik per 'bijzonder persoonsgegeven' zien waarom het wordt gebruikt in het algoritme, zodat ik kan controleren of er niet onnodig veel persoonsgegevens worden gebruikt voor het beoogde doel. | burger | Oranje | Dit vraagt wel heel veel van de burger. Gaat die dit controleren, kan die dit controleren? Gaat de burger over het beoogde doel van een algoritme. Dit is allemaal interpretatie gevoelig. | |
| AR054 | Als burger, wil ik weten welke vorm van menselijk toezicht en controle er in het proces rondom het algoritme plaatsvindt, zodat ik zeker weet dat er ruimte is voor 'de menselijke maat'. | burger | Groen | ||
| AR055 | Als burger, wil ik weten in het kader van welke taak het algoritme wordt gebruikt, zodat ik snap wat de noodzaak ervan is. | burger | Groen | ||
| AR056 | Als burger, wil ik toegang tot de uitgevoerde DPIA gegevens, zodat ik kan controleren welke privacy afwegingen er zijn gemaakt. | burger | Oranje | Kijken of dit juridisch mag? Wordt dit dan een bijlage? | |
| AR057 | Als burger, wil ik kunnen begrijpen of een algoritme mogelijk risicovol is, zodat ik de volksvertegenwoordiging kan aanspreken dit te monitoren. | burger | Oranje | Is een doel, geen functionaliteit. "kunnen begrijpen" is per persoon verschillend. Refinen naar risico's kunnen inzien. En dan voor de risico's een standaard defineren in de acceptatie criteria. | |
| AR058 | Als burger wil ik van een algoritme kunnen inzien hoe ik bezwaar kan maken op de uitkomsten ervan. | burger | Groen |