Introductie AI-verordening

Definitie ‘AI-systeem’

Voordat kan worden vastgesteld binnen welke risicocategorie een systeem of model valt, is het belangrijk om te bezien of er sprake is van een AI-systeem zoals gedefinieerd in de verordening: “AI-systeem: een op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingen’’.

Het belangrijkste kenmerk van AI (systemen en modellen), dat deze technologie onderscheidt van traditionele software, is het vermogen van AI om bepaalde output, zoals voorspellingen, content, aanbevelingen of besluiten, met een bepaalde mate van zelfstandigheid (autonomie) af te leiden uit menselijke input, zonder dat deze output vooraf door een mens is gedefinieerd. Hiermee overstijgt het de traditionele dataverwerking doordat AI kan leren, redeneren of modelleren. Een voorbeeld is de mogelijkheid van AI om een afbeelding te creëren op basis van een tekstinstructie, waarbij de vorm van de instructie niet vooraf is vastgesteld. Hiermee wordt een AI-systeem geacht de tekst te begrijpen/te interpreteren en deze om te kunnen zetten in het gewenste resultaat.

Daarnaast is een belangrijk kenmerk van AI dat het over zelflerende capaciteiten beschikt, zowel vóór als na de marktintroductie. Dit kan bereikt worden door middel van machinaal leren, waarbij AI aan de hand van grote hoeveelheden data leert hoe bepaalde doelstellingen bereikt kunnen worden. Tot slot is het van belang dat AI zowel als zelfstandig product kan bestaan alsook als component van een ander product.

Relevante partijen

De AI-verordening onderscheidt een aantal actoren in de toeleveringsketen aan wie complianceverplichtingen worden opgelegd.

Aanbieder

Een aanbieder is een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem of een AI-model voor algemene doeleinden ontwikkelt of laat ontwikkelen. Ook indien een partij het AI-systeem niet zelf heeft ontworpen, maar het wel onder zijn eigen naam of merk in de handel brengt of (al dan niet tegen betaling) in gebruik stelt, wordt deze partij beschouwd als aanbieder in de zin van de verordening.

Gebruiksverantwoordelijke (hierna; gebruiker)

Een gebruiker is een natuurlijke persoon of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem onder eigen verantwoordelijkheid gebruikt, tenzij het AI-systeem wordt gebruikt in het kader van een persoonlijke niet-beroepsactiviteit.

Naast deze twee belangrijkste partijen beschrijft de AI-verordening ook mogelijke verplichtingen voor de volgende drie partijen:

Gemachtigden van aanbieders

Wanneer een aanbieder van buiten de EU zijn hoog risico AI-systeem op de EU-markt in de handel wil brengen, moet hij eerst een binnen de EU gevestigde partij aanwijzen als aanspreekpunt voor bepaalde verplichtingen. Deze partij wordt de gemachtigde genoemd.

Importeurs & distributeurs

Ook importeurs en distributeurs van AI-systemen vallen onder de verordening. Hun verplichtingen behelzen voornamelijk transparantievereisten, zodat zelfs bij een complexe toeleveringsketen duidelijk kan worden vastgesteld of aan de eisen van de verordening is voldaan.

Verschuiving van verantwoordelijkheid

Zonder dat een partij onder de bovengenoemde definities valt, kan deze toch te maken krijgen met de AI-verordening. Een partij wordt namelijk beschouwd als een aanbieder van een AI-systeem en onderworpen aan de verplichtingen van een aanbieder, wanneer hij een van de volgende handelingen verricht;

• De partij zet zijn naam of merk op een AI-systeem met een hoog risico dat reeds in de handel is gebracht of in gebruik is gesteld.
• De partij brengt een substantiële wijziging aan in een AI-systeem met een hoog risico dat reeds in de handel is gebracht of reeds in gebruik is gesteld op zodanige wijze dat het systeem een AI-systeem met een hoog risico blijft.
• De partij wijzigt het beoogde doel van een AI-systeem dat niet als een systeem met een hoog risico is geclassificeerd en reeds in de handel is gebracht of in gebruik is gesteld, op zodanige wijze dat het betrokken AI-systeem een AI-systeem met een hoog risico wordt.

Extraterritoriale werking

De verordening kan ook van toepassing zijn op AI-systemen die zich buiten de EU bevinden. Dit is het geval wanneer aanbieders en gebruikers van AI-systemen in een derde land zijn gevestigd of er zich bevinden, maar de output van het AI-systeem, in de Europese Unie wordt gebruikt, of als de door een AI-systeem of model “getroffen personen” zich in de EU bevinden.

De bedoeling is om te voorkomen dat aanbieders en gebruikers de verordening kunnen omzeilen door zich in een derde land te vestigen, terwijl zij data uit de EU als input ontvangen, deze verwerken en vervolgens de output weer naar de EU terugsturen.

Uitzonderingen op toepasselijkheid

De volgende AI-systemen vallen niet onder de reikwijdte van de AI-verordening, maar worden gereguleerd door specifieke AI-wetgeving:

1. AI-systemen waarvan de output uitsluitend wordt gebruikt voor defensie- of nationale veiligheid doeleinden.
2. AI-systemen waarvan de output uitsluitend wordt gebruikt voor wetenschappelijk onderzoek en wetenschappelijke ontwikkeling.
3. Bepaalde hoog risico AI-systemen waarvoor het wenselijker werd geacht de sectorspecifieke regulering aan te passen om het beoogde beschermingsniveau te bereiken. Het gaat om AI-systemen betreffende:

• Burgerluchtvaart
• Twee- of driewielige voertuigen en vierwielers
• Landbouw- en bosbouwvoertuigen
• Uitrusting van zeeschepen
• Spoorwegsystemen
• Motorvoertuigen en aanhangers daarvan

Verboden toepassingen

De volgende AI-systemen zijn verboden omdat deze de fundamentele rechten en vrijheden van burgers per definitie schenden:

• Een AI-systeem dat gebruik maakt van subliminale technieken waarmee doelbewust het gedrag van personen wezenlijk wordt verstoord, zonder dat deze personen zich bewust zijn van het gebruik van dergelijke technieken. Bijvoorbeeld door een afbeelding minder dan 50 milliseconden weer te geven, wat het gedrag kan beïnvloeden maar hetgeen meestal niet bewust wordt waargenomen.
• Een AI-systeem dat misbruik maakt van kwetsbaarheden van een persoon of groep personen, bijvoorbeeld vanwege hun leeftijd of handicap, met als doel hun gedrag te verstoren, of als dat misbruik kan leiden tot schade.
• Een AI-systeem dat een sociale score toekent aan personen gebaseerd op hun gedrag, waaruit nadelige gevolgen voortvloeien voor die personen.
• Een AI-systeem dat uitsluitend profilering ven persoonlijkheidskenmerken of -eigenschappen gebruikt om te voorspellen of het risico bestaat dat een persoon een strafbaar feit begaat.
• Een AI-systeem dat databanken voor gezichtsherkenning aanlegt of aanvult, door middel van ongerichte scraping van gezichtsafbeeldingen via internet of cameratoezichtsbeelden.
• Een AI-systeem dat emoties herkent van personen op hun werk of in het onderwijs, behalve wanneer dit gebeurt voor medische- of veiligheidsredenen.
• Een AI-systeem dat personen indeelt op basis van biometrische gegevens, om daarmee gevoelige informatie zoals ras en politieke opvattingen, levensbeschouwing, geloof, seksuele voorkeur/seksleven of vakbondslidmaatschap af te leiden. Biometrische gegevens zijn alle soorten data die af te leiden zijn van de fysieke kenmerken van een persoon, zoals gezichtsafbeeldingen of vingerafdrukken, maar ook de manier van lopen en typen. Er is een uitzondering gemaakt voor rechtshandhavingsdoeleinden
• Een AI-systeem dat personen op afstand en in real time in openbare ruimten identificeert op basis van biometrische gegevens met het oog op rechtshandhaving. Bijvoorbeeld een AI-systeem dat een verdachte van een strafbaar feit volgt via de live feed van bewakingscamera's. Ook hier zijn uitzonderingen: het gericht zoeken naar slachtoffers van mensenhandel, seksuele uitbuiting, ontvoering, vermiste personen, is toegestaan. Dat geldt ook voor het voorkomen van “specifieke, aanzienlijke en imminente dreiging voor het leven of de fysieke veiligheid van mensen” of een dreigende terroristische aanslag. Een laatste uitzondering geldt de opsporing van verdachten van misdrijven waarop een gevangenisstraf van minstens 4 jaar staat.

Zie voor een uitgebreidere toelichting op verboden AI-systemen de Kienhuis Legal-blog ‘Verboden AI-toepassingen’.

Hoog risico systemen

AI-systemen die een hoog risico vormen, vallen onder de zwaarste regulering onder de AI Act waardoor ze aan strenge eisen moeten voldoen voordat ze in de handel mogen worden gebracht of gebruikt. AI-systemen kunnen op twee manieren alshoog risico worden geclassificeerd. Ten eerste brengen AI-systemen een hoog risico mee indien ze bedoeld zijn voor specifieke toepassingen zoals opgenomen in Bijlage III van de verordening. De Europese Commissie houdt een lijst bij van deze soorten beoogd gebruik. Voorbeelden hiervan zijn de inzet van AI bij werving en selectie van personeel, of gebruik van AI bij het monitoren en evalueren van prestaties en gedrag van personeel. Deze categorieën zijn essentieel aangezien de uitkomst van deze systemen bepalend kan zijn voor iemands carrière. Verder omvatten de hoog risico toepassingen het beheer van kritieke infrastructuur, zoals systemen die fungeren als veiligheidscomponenten voor het beheer van wegverkeer of de levering van gas, water en elektriciteit. Bovendien in de onderwijssector vallen AI-systemen onder hoog risico indien deze invloed uitoefenen op de toelating van studenten tot een onderwijsinstelling, alsook op het beoordelen van schoolresultaten en het monitoren van leerlingen tijdens tentamens. De lijst is niet definitief, aangezien de Commissie de bevoegdheid heeft om soorten gebruik toe te voegen of te verwijderen.

Wanneer een AI-systeem valt onder het beoogde gebruik zoals vermeld in de bijlage, is het mogelijk dat een AI-systeem alsnog niet beschouwd wordt als hoog risico indien het AI-systeem geen significant risico op schade voor de gezondheid, veiligheid of grondrechten van personen inhoudt, onder andere omdat de uitkomst van besluitvorming niet wezenlijk wordt beïnvloed. Hiervan is sprake, als er aan éen van de volgende vier voorwaarden is voldaan: 1) het AI-systeem is bedoeld om een beperkte procedurele taak uit te voeren, 2) of bedoeld is om het resultaat van een eerder afgeronde menselijke activiteit te verbeteren, 3) of bedoeld is om afwijkingen van eerdere besluitvormingspatronen op te sporen maar niet bedoeld is om de eerder afgeronde beoordeling zonder menselijke toetsing te vervangen of beïnvloeden, 4) of het AI-systeem is bedoeld om een voorbereidende taak uit te voeren voor een beoordeling die relevant is voor gevallen zoals genoemd in de bijlage.

Het is aan de aanbieder van het systeem om dit te beargumenteren en deze argumentatie voor te leggen aan de relevante autoriteiten.

De tweede manier waarop AI-systemen als hoog risico wordt aangemerkt, is wanneer er aan de twee volgende eisen is voldaan:

• Het AI-systeem is bedoeld om gebruikt te worden als veiligheidscomponent van een product, of het AI-systeem is als zodanig een product, dat valt onder EU-wetgeving opgenomen in bijlage I bij de verordening. Hieronder vallen producten zoals speelgoed, liften en medische apparaten(zie voor een volledige opsomming de ‘Hoog risico AI-systemen en verplichtingen’ blog van Kienhuis Legal).
• Onder de toepasselijke EU-wetgeving moet het veiligheidscomponent van het product, of het AI-systeem als het product zelf, een conformiteitsbeoordeling door een derde partij ondergaan. Dit is doorgaans vereist wanneer de relevante markttoezichtautoriteit het product als een risico beschouwt voor de gezondheid of veiligheid van personen.

Verder is bijlage I, met de verschillende producten, in twee stukken opgedeeld. Het tweede deel somt weliswaar producten op waarbij AI-systemen als hoog risico worden aangemerkt, maar deze vallen niet onder de AI-verordening; zij worden gereguleerd door sectorspecifieke wetgeving, zoals eerder benoemd onder ‘uitzonderingen op toepasselijkheid’. Hieronder vallen bijvoorbeeld AI-systemen op het gebied van de interoperabiliteit van de spoorwegsystemen, beveiliging van de burgerluchtvaart, markttoezicht op landbouw- en bosbouwvoertuigen.

Maatregelen hoog risico

Wanneer een AI-systeem als hoog risico wordt aangemerkt, moet de aanbieder van het systeem voldoen aan een uitgebreid aantal vereisten. Hieronder volgt slechts een beknopte uiteenzetting van deze maatregelen. Voor een vollediger overzicht kunt u ‘Hoog risico AI-systemen en verplichtingen’ van Kienhuis Legal raadplegen. Ten eerste zijn aanbieders verplicht zorg te dragen voor het feit dat hun systeem voldoet aan de standaard vereisten omtrent AI zoals deze zijn neergelegd in afdeling 2 van hoofdstuk 3 van de verordening. De belangrijkste van deze vereisten zijn;

• Het voortdurend evalueren van het systeem om mogelijke risico’s te identificeren en minimaliseren.
• Het gebruiken van correcte en actuele datasets voor het trainen van de AI om vooringenomenheid te voorkomen.
• Het zorgvuldig bijhouden van log-bestanden, zodat in geval van een incident de oorzaak kan worden achterhaald.
• Het transparant opzetten van het systeem. Transparantie wordt onder meer bereikt door het bijhouden van technische documentatie waarin de beperkingen van het systeem worden beschreven en door de verplichting de output van het systeem op een begrijpelijke manier te presenteren.
• Het nemen van adequate beveiligingsmaatregelen, bijvoorbeeld om het systeem te beschermen tegen hacking.

Om aan te tonen dat het systeem voldoet aan deze verplichtingen, moeten aanbieders een conformiteitsbeoordeling (laten) uitvoeren en deze, samen met het AI-systeem zelf, registreren in de daarvoor bestemde EU-databank. Dit zorgt voor een EU-breed overzicht van alle hoog risico AI-systemen. Ook nadat het AI-systeem op de markt is gebracht, dienen aanbieders de prestaties van het systeem te blijven monitoren om afwijkend gedrag en mogelijke ernstige incidenten te voorkomen. Gebruiksverantwoordelijken van AI-systemen hebben ook enkele verplichtingen onder de AI-verordening. Zo moeten zij de instructies van de aanbieder aanhouden bij het gebruik van een hoog risico AI-systeem, zorg dragen voor toereikend menselijk toezicht, en AI-geletterdheid van personeel waarborgen. Dit omvat de plicht om logs voor ten minste zes maanden te bewaren en om risico’s of ernstige incidenten te melden aan de betreffende aanbieder en toezichthouder. Daarenboven moeten zij mensen informeren in welk geval het AI-systeem wordt gebruikt. Overheidsorganen en bepaalde private dienstverleners, moeten bovendien een beoordeling van de gevolgen voor de grondrechten (FRIA) uitvoeren, en het gebruik van deze hoog risico systemen registeren in de EU-databank.

Zie voor een uitgebreidere toelichting op hoog risico systemen, en de daarop van toepassing zijnde verplichtingen, de Kienhuis Legal blog ‘Hoog risico AI-systemen en verplichtingen’.  

Beperkt risico

Naast hoog risico AI-systemen zijn er ook systemen die weliswaar een specifiek risico met zich meebrengen, maar waarbij dit risico niet zodanig is dat het de strenge regelgeving vereist die van toepassing is op hoog risicosystemen. Daarom is er een apart regime ingesteld voor systemen met beperkt risico, waarbij wordt volstaan met verplichtingen van transparantie richting de gebruiker.

Zo is een aanbieder van een AI-systeem dat direct met personen communiceert verplicht deze personen duidelijk te informeren over het feit dat zij met een AI-systeem communiceren. Daarnaast roept het ook transparantieverplichtingen in het leven voor aanbieders van tekst- of media genererende systemen, gebruikers van emotie herkennings- of biometrische categoriseringssystemen, en gebruikers van systemen die 'deepfakes' creëren.

General-purpose AI

Naast 'normale' AI bestaan er ook AI-modellen voor algemene doeleinden, beter bekend onder de Engelse benaming general-purpose AI (hierna: GPAI). Terwijl AI-systemen vaak worden ontworpen met een specifiek doel voor ogen, zoals het identificeren van natuurlijke personen op foto's of het voorspellen van het weer, kan de toepassing van GPAI zeer divers zijn. Zo kan eenzelfde GPAI-model bijvoorbeeld worden gebruikt om tekst vertalen, tekeningen te maken of programmacode te schrijven. Daarnaast kan GPAI leren van menselijke input en soms zelfs nieuwe vaardigheden ontwikkelen die de ontwerpers niet hadden voorzien.

Aan de basis van elk GPAI-systeem ligt een AI-model, de algoritmische kern waarop de rest van het systeem is gebouwd. Omdat GPAI zoveel verschillende toepassingen heeft, worden GPAI-modellen ook gebruikt als basis voor ‘reguliere’ AI-systemen. Daarom zijn de verplichtingen met betrekking tot GPAI, in tegenstelling tot normale AI-systemen, gericht op GPAI-modellen en niet noodzakelijkerwijs op de GPAI-systemen.

Onder de verordening wordt GPAI ingedeeld in twee categorieën. Ten eerste is er de standaard GPAI, waarvoor vooral transparantieverplichtingen gelden, zoals een beschrijving van de manier waarop het model is getraind. Daarnaast bestaat er een verplichting voor aanbieders van GPAI om informatie en documentatie up-to-date te houden, om ervoor te zorgen dat aanbieders die het GPAI-model in hun eigen AI-systeem willen integreren, voldoende kennis hebben over het model om aan de overige verplichtingen van de verordening te voldoen. Daarnaast onderscheidt de AI-verordening GPAI met systeemrisico.

GPAI met systeemrisico

Voor GPAI met systeemrisico gelden aanvullende verplichtingen. Van een model met systeemrisico is sprake wanneer het beschikt over capaciteiten met een grote impact. Een GPAI-model wordt in ieder geval geacht een grote impact te hebben wanneer voor de training van het model meer dan 10^25 'floating point operations' aan berekeningen is gebruikt.

De Europese Commissie kan ambtshalve GPAI-modellen aanmerken als modellen met systeemrisico wanneer deze voldoen aan de bovengenoemde kwalificatie van grote impact of wanneer deze een daarmee vergelijkbare impact hebben. Deze vergelijkbare impact wordt door de Commissie beoordeeld aan de hand van nader beschreven criteria, zoals de omvang van de gebruikte datasets of het aantal eindgebruikers. Daarnaast zijn aanbieders van GPAI-modellen verplicht de Commissie op de hoogte te stellen zodra hun model capaciteiten met een grote impact ontwikkelt. Ze kunnen daarbij verzoeken om vrijstelling van de verplichtingen die gelden voor GPAI-modellen met systeemrisico, op grond van de specifieke kenmerken van hun model, waardoor het ondanks het bestaan van grote impact capaciteiten geen systeemrisico zou vormen.

Wanneer een GPAI-systeem onder de systeemrisico-categorie valt, moet de aanbieder van een dergelijk systeem ook een uitgebreide modelevaluatie uitvoeren volgens gestandaardiseerde protocollen, met als doel het identificeren van systeemrisico’s en kwetsbaarheden. Vervolgens dient de aanbieder een plan op te stellen waarin wordt uiteengezet hoe deze risico’s zullen worden geminimaliseerd. Daarnaast moet de aanbieder zorgen voor een adequaat niveau van cyberbeveiliging. Indien zich een incident voordoet, moet dit onverwijld worden gemeld aan de relevante autoriteiten. De EU heeft in juli 2025 de praktijkcode voor GPAI-modellen uitgevaardigd. De praktijkcode is een instrument waarmee de aanbieders van GPAI-modellen – op vrijwillige basis – hun modellen zoveel mogelijk in overeenstemming kunnen brengen met de regels.  De praktijkcode bestaat uit 3 hoofdstukken die ingaan op transparantie, auteursrecht en veiligheid en beveiliging.

Handhaving

De AI-verordening voorziet in een (bestuursrechtelijk) handhavingssysteem voor de naleving van de verplichtingen. De bevoegde autoriteiten kunnen diverse maatregelen nemen, en hebben onder meer de bevoegdheid om boetes op te leggen aan partijen die niet aan de verordening voldoen. Deze boetes zijn ingedeeld in vier verschillende categorieën. De hoogste categorie is gereserveerd voor partijen die verboden AI desondanks ontwikkelen of exploiteren. De maximale boete bedraagt in zulke gevallen € 35.000.000,= of 7% van de wereldwijde jaarlijkse omzet van de betreffende organisatie. Handelen in strijd met de verplichtingen die gelden voor hoog- of beperkt-risico AI kan leiden tot boetes van € 15.000.000,= of 3% van de jaaromzet.  De “laagste” boete bedraagt maximaal € 7.500.000,= of 1% van de wereldwijde jaarlijkse omzet. Deze kan worden opgelegd wanneer een organisatie onjuiste, onvolledige of misleidende informatie verstrekt aan een bevoegde toezichthouder, of een partij die verantwoordelijk is voor de conformiteitsbeoordeling. Naast deze drie categorieën is er een aparte boetemaat voor overtredingen van de regels met betrekking tot GPAI, waarbij de boete maximaal € 15.000.000,= of 3% van de wereldwijde jaarlijkse omzet kan bedragen.

De genoemde bedragen betreffen allemaal maxima, en vormen niet noodzakelijkerwijs de uiteindelijke boete. Bij het vaststellen van de hoogte van de boete dienen de autoriteiten rekening te houden met alle omstandigheden van het geval, zoals de aard, ernst en duur van de overtreding, maar ook de financiële situatie van de inbreuk makende partij.

Naast deze publiekrechtelijke handhaving wil de EU het in de toekomst ook beter mogelijk maken voor private partijen om schade, veroorzaakt door een AI-systeem, te verhalen op de aanbieder of gebruiker ervan. Om dit te bereiken is de productaansprakelijkheidsrichtlijn aangepast, zodat AI-systemen ook onder haar werking vallen. Daarnaast is het begrip ‘gebrek’ in de richtlijn verruimd, zodat een gebrek ook kan ontstaan nadat het product al op de markt is gebracht, bijvoorbeeld door een nieuwe functionaliteit van een zelflerende AI. Raadpleeg voor verdere informatie de blogs van Roeland de Bruin op Kienhuis Legal betreffende deze wet- en regelgeving.

Disclaimer

Let op dat dit slechts een algemene samenvatting is van de verordening en dat de enige uitzonderingen op de hoofdregels hierin zijn weggelaten. Voor verdere bestudering kunt u de andere informatiestukken over de AI-verordening van Kienhuis Legal raadplegen. Neem voor concrete vragen gerust contact op met: Roeland de Bruin.