Verboden AI-toepassingen

1. Manipulatieve technieken

Het is onder geen enkele omstandigheid toegestaan om door het gebruik van manipulatieve AI-technieken het gedrag van personen zodanig te verstoren dat hun vermogen om een zelfstandige keuze te maken drastisch wordt belemmerd. Dit is het geval wanneer personen keuzes maken die zij zonder de toepassing van AI niet zouden hebben gemaakt, met als gevolg dat hun gedrag onder invloed van de output van AI schade aan henzelf of aan anderen toebrengt, of een redelijke kans op schade veroorzaakt.

Voorbeelden van dergelijke manipulatieve technieken zijn het gebruik van bepaalde audio- en videostimuli die niet door personen kunnen worden waargenomen, maar toch invloed uitoefenen op hun gedrag. Bijvoorbeeld door een afbeelding minder dan 50 milliseconden weer te geven, wat het gedrag kan beïnvloeden maar meestal niet bewust wordt waargenomen. Maar ook minder ingrijpende technieken, waarbij personen zich bewust zijn van het gebruik hiervan maar desondanks geen vrije keuzes kunnen maken, vallen hieronder.

Niet elke techniek die het gedrag van personen beïnvloedt, kan worden aangemerkt als manipulatief in de zin van de wet. Zo is gespecificeerd dat huidige algemene reclamepraktijken hier niet onder vallen, hoewel men natuurlijk wel zou kunnen betogen dat juist bepaalde vormen van reclame, de vrije keuze van mensen kunnen beïnvloeden.

Om onder dit verbod te vallen, moet de mate van manipulatie aanzienlijk hoger zijn. Een voorbeeld hiervan is het gebruik van 'virtual reality' op een zodanige wijze dat een persoon geen onderscheid meer kan maken tussen de werkelijkheid en fictie.

2. Misbruik kwetsbaarheden

Naast algemene manipulatieve technieken kan een AI-systeem ook ontworpen zijn om specifieke personen, die zich in een kwetsbare positie bevinden, uit te buiten. Dat sommige personen kwetsbaarder zijn voor uitbuiting kan bijvoorbeeld voortkomen uit ouderdom, minderjarigheid, een bepaalde handicap, extreme armoede, of omdat ze behoren tot een bepaalde minderheid. Een AI-systeem dat misbruik maakt van een van deze karakteristieken om daardoor het gedrag van deze personen te verstoren op een wijze die ertoe leidt, of redelijkerwijs kan leiden, dat zij zichzelf of anderen schade toebrengen, is verboden.

Voorbeeld van dit verbod: Een AI-systeem dat gebruikt wordt om dementerende ouderen te benaderen met gepersonaliseerde aanbiedingen, waarbij misbruik wordt gemaakt van hun verminderde cognitieve vermogens om hen te beïnvloeden tot het nemen van beslissingen die zij anders niet zouden hebben genomen en die hen waarschijnlijk aanzienlijke financiële schade zullen berokkenen.

Dit verbod staat echter bepaalde medische toepassingen van AI niet in de weg, die juist ten goede zouden kunnen komen aan personen met bijvoorbeeld een psychische aandoening. Hierbij is het van belang dat het gebruik van AI altijd voldoet aan de toepasselijke medische normen en wetgeving, en dat de uitdrukkelijke toestemming van de patiënt dan wel zijn of haar wettelijke vertegenwoordiger is verkregen.

3. Sociale scores

Een AI-systeem dat personen een score toekent op basis van hun gedrag gedurende een bepaalde periode en hier consequenties aan verbindt, staat op gespannen voet met het grondrechten betreffende gelijke behandeling (non-discriminatie) en privacy. Dit komt doordat dergelijke systemen inherente vooringenomenheden kunnen bevatten ten opzichte van bepaalde groepen personen, wat kan leiden tot onrechtvaardige en nadelige behandeling van individuen of groepen. Om deze reden is een door AI-gestuurd sociaal kredietsysteem, zoals momenteel in bepaalde delen van China wordt toegepast, verboden. Dit betekent echter niet dat AI niet mag worden gebruikt om personen te beoordelen op basis van hun gedrag en hier consequenties aan te verbinden. Zo is de inzet van AI om de hoogte van uitkeringen te bepalen in beginsel wel toegestaan, hoewel dit ook verstrekkende gevolgen voor betrokken personen kan hebben en dus als “hoog-risico” wordt aangemerkt. Het verbod richt zich op het bestaan van een algemene score die een effect heeft op het handelen van personen in andere gebieden dan waarvoor de data oorspronkelijk verzameld is.

Voorbeeld van dit verbod: Door een overheidsorgaan gebruikt AI-systeem voor toekennen van een lening of voorrang geven op de gezondheidszorg, waarbij het systeem rekening houdt met factoren die niet relevant of gerechtvaardigd lijken. Dergelijke factoren kunnen het volgende betreffen: negatieve meningen over de overheid op sociale media, opleidingsniveau, gezinssamenstelling.

4. Profilering bij strafbare feiten

Wanneer een AI-systeem wordt gebruikt om de kans in te schatten dat een persoon een strafbaar feit zal begaan, kan dit in strijd zijn met het beginsel van onschuldpresumptie. Daarom is het verboden om AI-systemen in te zetten die, enkel op basis van persoonlijkheidskenmerken of -eigenschappen (zoals geboorteplaats, aantal kinderen of type auto) en profilering (het geautomatiseerd verzamelen en verwerken van gegevens over een persoon om een beeld van zijn gedrag te verkrijgen en te voorspellen), een analyse maken van het risico dat een persoon een strafbaar feit zal begaan.

Het is echter wel toegestaan om AI in te zetten bij de beoordeling van personen in het kader van een strafrechtelijk onderzoek wanneer er reeds op basis van objectieve en verifieerbare feiten, en door middel van een menselijke beoordeling, een redelijk vermoeden bestaat dat die persoon bij een strafbaar feit betrokken is.

Voorbeeld van dit verbod: Een handhavingsinstantie gebruikt een AI-systeem om crimineel gedrag te voorspellen voor misdrijven, waarbij rekening wordt gehouden met leeftijden, nationaliteiten, adressen, type voertuigen, de burgerlijke staat, enzovoort.

5. Databanken voor gezichtsherkenning

Het op grote schaal en ongericht doorzoeken van het internet en beelden van bewakingscamera’s om gezichtsafbeeldingen te verzamelen, vormt een schending van het recht op privacy van de betrokken personen. Wanneer dit gebeurt met het doel een databank van gezichtsafbeeldingen te creëren of uit te breiden, is het gebruik van een AI-systeem ten behoeve daarvan verboden.

Voorbeeld van dit verbod: Een AI-systeem die foto’s van personen ontvangt en op internet naar overeenkomsten zoekt, ofwel ‘reverse engineering van beeldzoekmachines’ uitvoert, waarbij de gevonden overeenkomsten in een database zouden verschijnen. Zie hiervoor de boete van 30,5 miljoen euro aan Clearview AI door de Nederlandse toezichthouder, de Autoriteit Persoonsgegevens.

6. Emotieherkenning

Gezien het feit dat personen op verschillende manieren emoties tonen, bestaat de mogelijkheid dat een AI-systeem dat emoties herkent een discriminerende werking heeft wanneer aan haar output consequenties worden gekoppeld. Om deze reden is de toepassing van een AI-emotieherkenningssysteem op de werkplek of in het onderwijs verboden, tenzij het systeem uitsluitend wordt ingezet voor medische of veiligheidsdoeleinden, bijvoorbeeld door een bedrijfsarts. Het herkennen van pijn en vermoeidheid valt echter niet onder emotieherkenning. Zo is een AI-systeem dat vermoeidheid bij een bestuurder van een vrachtwagen detecteert niet verboden.

Voorbeeld van dit verbod: Een callcenter gebruikt AI-technologie, waaronder webcams en spraakherkenningssystemen om emoties (zoals woede) van werknemers te monitoren, waarbij de resultaten ervan gedeeld worden met HR-verantwoordelijken en invloed kunnen hebben op de beoordeling en promotie van de werknemers.

7. Afleiden van gevoelige informatie

AI-systemen die op basis van biometrische gegevens (zoals lengte, oogkleur of manier van lopen) mensen indelen in groepen, met het doel bijzondere persoonsgegevens betreffende die personen te achterhalen, zijn verboden. Onder bijzondere persoonsgegevens worden verstaan: politieke opvattingen, lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, ras, seksleven of seksuele geaardheid.

Een uitzondering op dit verbod geldt wanneer een dergelijk systeem wordt ingezet op het gebied van rechtshandhaving, voor het filteren of labelen van rechtsgeldig verkregen persoonsgegevens.

Voorbeeld van dit verbod: Een AI-systeem dat personen op een socialemediaplatform categoriseert door de biometrische gegevens van hun foto’s te categoriseren op basis van hun veronderstelde politieke oriëntatie, waarna gerichte politieke boodschappen worden toegestuurd.

8. Real-time identificatie

Real-time biometrische identificatiesystemen op afstand maken gebruik van live camerabeelden van openbare ruimten om personen te herkennen op basis van hun persoonsgegevens. Met voldoende cameratoezicht zou het systeem zo de locatie van een persoon door een stad kunnen volgen. Het gebruik van deze systemen voor rechtshandhaving, bijvoorbeeld voor het volgen van een verdachte, is in beginsel verboden, tenzij aan een strikt aantal voorwaarden is voldaan.

Ten eerste mag het systeem enkel worden ingezet voor een van de volgende doeleinden:

• Het gericht zoeken naar slachtoffers van ontvoering, mensenhandel, seksuele uitbuiting of andere vermiste personen.
• Het voorkomen van een aanstaande dreiging voor het leven of de fysieke veiligheid van een persoon.
• Het voorkomen van een terroristische aanslag.
• Het lokaliseren van een persoon die verdacht wordt van een ernstig strafbaar feit, zoals terrorisme, mensenhandel, seksuele uitbuiting van kinderen en kinderpornografie, drugshandel, wapenhandel, moord, zware mishandeling, handel in menselijke organen, handel in nucleaire stoffen of ontvoering.

Wanneer een van de bovengenoemde situaties zich voordoet, is het gebruik van een real-time identificatiesysteem door de politie pas toegestaan als hiervoor een gerechtelijk bevel is gegeven, behalve in zeer spoedeisende situaties waarin de gerechtelijke toetsing achteraf dient te geschieden.

Voorbeeld van dit verbod: Een AI-systeem dat door banken wordt ingezet, op verzoek en onder instructie en toezicht van wetshandhavingsinstanties om maatregelen te nemen om bepaalde misdrijven in specifieke gevallen te bestrijden.

Uitzonderingen

Zoals eerder is vermeld, zijn de hiervoor genoemde verboden AI-systemen niet absoluut, in de zin dat er vier uitzonderingcategorieën zijn geformuleerd. Wanneer AI-systemen onder deze categorieën vallen, zijn de systemen onder strikte omstandigheden toch toegestaan. Zo worden AI-systemen uitgezonderd van het verbod die gebruikt worden voor:

· profilering bij strafbare feiten (punt 4) op voorwaarden dat de AI-systemen uitsluitend worden ingezet ter ondersteuning van een menselijke beoordeling van een persoons betrokkenheid bij een criminele activiteit, en slechts indien deze betrokkenheid objectief en verifieerbaar is, en rechtstreeks verband houdt met de betreffende criminele activiteit.

· emotieherkenning (punt 6) op voorwaarden dat de AI-systemen uitsluitend worden gebruikt voor medische of veiligheidsdoeleinden. Een nodige aanmerking is dat het herkennen van pijn en vermoeidheid niet onder emotieherkenning wordt geschaard, waardoor een AI-systeem dat de vermoeidheid detecteert bij een bestuurder van een vrachtwagen niet verboden is.

· afleiding van gevoelige informatie (punt 7) indien de AI-systemen worden ingezet op het gebied van rechtshandhaving, voor het filteren of labelen van rechtsgeldig verkregen persoonsgegevens.

· real-time identificatie (punt 8) indien in zeer spoedeisende situaties waarin gerechtelijke toetsing achteraf dient te geschieden. In de AI-verordening zijn de spoedeisende situatie uitdrukkelijk gespecificeerd, waaronder de voorkoming van terrorisme, en de zoektocht naar slachtoffers van ontvoering, mensenhandel of seksuele uitbuiting waarop de in de betrokken lidstaat een gevangenisstraf van minimaal vier jaar staat.

Relevant om te vermelden, is dat de AI-systemen die worden uitgezonderd van het verbod en daardoor in de handel mogen worden gebracht, worden gekwalificeerd als hoog risico AI-systemen. Aanbieders, distributeurs en andere betrokken actoren bij deze systemen dienen daarom te voldoen aan de verplichtingen die gelden voor hoog risico AI. Een uitgebreide uiteenzetting op deze verplichtingen is te vinden in de Kienhuis Legal-blog ‘Hoog risico AI-systemen en verplichtingen’.

Disclaimer

Dit document dient slechts ter informatie en er kunnen geen rechten aan worden ontleend. Voor verdere zelfstandige bestudering kunt u de andere informatiestukken over de AI-verordening van Kienhuis Legal raadplegen. Neem voor concrete vragen gerust contact op met: Roeland de Bruin.