AI-technologie in de gezondheidszorg

Kwalificatie: AI-systeem of AI-model

Om ervoor te zorgen dat AI-technologieën binnen zorginstellingen voldoen aan de AI-Verordening, dient eerst vast te worden gesteld of de technologieën kwalificeren als een AI-systeem of als een AI-model.

We zullen eerst uiteenzetten aan welke vereisten moet worden voldaan voor de AI-model-kwalificatie. De AI-Verordening omschrijft een (algemeen) AI-model als AI-technologie die (1) is getraind met een grote hoeveelheid gegevens met behulp van zelfcontrole op grote schaal, (2) een aanzienlijk algemeen karakter vertoont, (3) in staat is om een breed scala aan verschillende taken competent uit te voeren, en (4) kan worden geïntegreerd in een verscheidenheid aan downstreamsystemen of -toepassingen. Uitgesloten van deze definitie zijn AI-modellen die worden gebruikt voor onderzoek, ontwikkeling of prototyping, voordat ze op de markt worden gebracht. Zie onze blog “AI-Systemen in onderzoek en ontwikkeling”. 

Een AI-systeem daarentegen omvat, in grote lijnen, een machine gebaseerde technologie (1) die is ontworpen om met verschillende niveaus van autonomie te werken, dat wil zeggen zonder menselijke tussenkomst, (2) die na implementatie aanpassingsvermogen kan vertonen, en (3) die uit de input die zij ontvangt, afleidt hoe zij output moet genereren, zoals voorspellingen, inhoud, aanbevelingen of beslissingen[RB1]. Over het algemeen zijn AI-systemen alleen in staat om te presteren voor een specifiek doel waarvoor ze zijn getraind, terwijl AI-modellen effectief worden gebruikt voor een breed scala aan taken.

Om de kwalificatie te illustreren, zullen we verschillende AI-technologieën in de gezondheidszorg onderzoeken. Laten we de volgende twee voorbeelden nemen: (1) technologie die AI-gestuurde kankerdetectie in (gescand en gedigitaliseerd) lichaamsweefsel biedt, waarbij AI de nauwkeurigheid kan verbeteren en (vroegtijdige) detectie van kwaadaardige tumoren mogelijk maakt, en (2) AI-technologie om gesprekken tussen artsen en hun patiënten te transcriberen en samen te vatten, bijvoorbeeld over medische achtergronden, beoogde behandelingen, klachten en procedures.

Het eerste voorbeeld, dat betrekking heeft op AI-technologie voor kankerdetectie, betreft een AI-systeem. Het betreffende AI-systeem is namelijk gespecialiseerd in het ondersteunen van een specifiek diagnostisch proces, waarbij het de nauwkeurigheid verhoogt en vroegere detectie mogelijk maakt. De aanbieders hebben het ontworpen om zijn medische functie met een hoge mate van precisie uit te voeren. Deze AI-technologie zou derhalve niet voldoen aan de criteria van AI-modellen, aangezien zij geen significante algemeenheid vertoont, niet in staat is om een breed scala aan verschillende taken competent uit te voeren en hoogstwaarschijnlijk niet kan worden geïntegreerd in een verscheidenheid aan downstreamsystemen of -toepassingen. Bovendien genereert het systeem, nadat de aanbieder het betreffende AI-systeem heeft getraind, waarschijnlijk zijn output zonder enige menselijke tussenkomst. Hierdoor kwalificeert deze AI-technologie als een AI-systeem in de zin van de AI-Verordening.  

Laten we eens kijken naar het tweede voorbeeld van op AI gebaseerde medische technologie, namelijk die wordt gebruikt om gesprekken tussen artsen en patiënten te transcriberen en samen te vatten. Deze AI-tool heeft dezelfde kenmerken op het gebied van autonomie en outputgeneratie als de AI-aangedreven technologie voor kankerdetectie; hij transcribeert en genereert teksten zonder dat menselijke tussenkomst nodig is.

De kwalificatie van AI-tools hangt echter ook af van de manier waarop en de mate waarin de technologie door de ontwikkelaars kan worden gebruikt. Hoewel ook algemeneAI-technologie zou kunnen worden ingezet voor medische doeleinden, moet er rekening worden gehouden als technologieën daar specifiek voor zijn getraind; dan is het een AI-systeem. Aanwijzingen dat tools specifiek zijn ontwikkeld voor gebruik in de medische sector zijn functies zoals het automatisch integreren van gegenereerde samenvattingen in patiëntendossiers, of het toevoegen van gestandaardiseerde medische codes in de samenvattingen aan het gesprek tussen arts en patiënt op basis van de relevante klachten en aandoeningen die door het AI-systeem zijn geïdentificeerd. Als een AI-tool dergelijke factoren vertoont, is deze waarschijnlijk niet geschikt om te worden geïntegreerd in een verscheidenheid aan downstreamsystemen of -toepassingen. Hierdoor zou deze tool, net zoals het eerste voorbeeld, gekwalificeerd moeten worden als een AI-systeem.

Kwalificatie: risico

In de tweede stap wordt bepaald in welke risicocategorie de betreffende AI-technologie valt. Zowel het eerste als tweede hierboven genoemde voorbeeld vallen niet onder de verboden categorie van AI-systemen die een onaanvaardbaar risico vormen. Voor een uitgebreide lijst van verboden AI-systemen, zie onze blog “Verboden AI-toepassingen”.

De AI-systemen lijken te kwalificeren als hoog-risico systemen. Over het algemeen krijgen AI-systemen een hoog-risico stempel als i) het door de Europese Commissie is opgenomen in een van de negen gespecificeerde gebieden, met mogelijkheid tot uitbreiding, ii) als het wordt gebruikt als veiligheidscomponent in gereguleerde producten, of als iii) het zelf een product is dat al onderworpen is aan bepaalde productveiligheidseisen op grond van bestaande EU-wetgeving. Zie voor meer informatie onze blog “Hoog risico AI-systemen en verplichtingen”.

De EU-wetgeving, op grond waarvan AI-systemen onderworpen zijn aan productveiligheidseisen, omvat de verordening betreffende medische hulpmiddelen (Verordening (EU) 2017/745). Deze verordening is van toepassing op medische hulpmiddelen, waaronder instrumenten, apparaten, software, implantaten of andere artikelen die bedoeld zijn voor gebruik bij de diagnose, preventie, monitoring, behandeling of verlichting van ziekten of aandoeningen. Software die een medische functie vervult, zoals diagnostische ondersteuning of therapieplanning, valt in principe ook onder de MD-verordening.

Gezien het voorgaande wordt het door AI aangestuurde systeem voor kankerdetectie duidelijk beschouwd als een medisch hulpmiddel in de zin van deze verordening en kwalificeert het daarom als een AI-systeem met een hoog risico in de zin van de AI-Verordening. De kwalificatie is misschien niet net zo duidelijk ten aanzien van AI-systemen in het tweede voorbeeld, namelijk die worden gebruikt om gesprekken tussen artsen en patiënten te transcriberen en samen te vatten.

Software die alleen algemene of administratieve functies vervult, zoals het uitvoeren van eenvoudige zoekopdrachten (bijvoorbeeld bibliotheekfuncties die bestanden op basis van metagegevens ophalen), wordt niet als een medisch hulpmiddel beschouwd. Taken zoals het verzenden van e-mails, web- of spraakberichten, het uitvoeren van gegevensanalyse, tekstverwerking en back-ups worden op zichzelf ook niet beschouwd als software met een medisch doel.

Software die medische informatie verwerkt, analyseert, creëert of wijzigt, kan echter nog steeds onder de MD-verordening vallen, op voorwaarde dat deze taken met een medisch doel worden uitgevoerd. Een voorbeeld van dergelijke software is software die de weergave van gegevens wijzigt voor medische doeleinden, zoals het zoeken naar afwijkingen in medische beelden ter ondersteuning van een diagnose of het lokaal verbeteren van contrasten in een beeld ter ondersteuning van de besluitvorming. Gezien het bovenstaande zou het AI-systeem voor transcriptie en samenvatten ook onder het toepassingsgebied van de MR-verordening vallen, en daarmee worden beschouwd als een AI- systeem met een hoog risico.

In de praktijk brengen AI-systemen met een hoog risico nalevingsverplichtingen met zich mee voor zowel de aanbieders als de gebruiksverantwoordelijke, al ligt het grootste deel daarvan bij de aanbieders. Aanbieders zijn verantwoordelijk voor het ontwerpen van het systeem zodat het vanaf het begin aan de voorschriften voldoet. Dit omvat:

• het opzetten van risicobeheerprocessen;
• zorgen voor goed gegevensbeheer en een lage vertekening;
• het opstellen van technische documentatie en logboeken;
• het inbouwen van functies voor menselijk toezicht;
• het waarborgen van transparantie van de mogelijkheden en fouten van het systeem voor gebruikers;
• voldoen aan normen voor nauwkeurigheid en cyberbeveiliging;
• een kwaliteitsmanagementsysteem hanteren;
• het ondergaan van conformiteitsbeoordelingen;
• het systeem registreren; en
• uitvoeren van monitoring na het in de handel brengen en incidentrapportage.

Gebruiksverantwoordelijken hebben beperktere, operationele taken. Zij moeten:

• het systeem volgens de instructies gebruiken;
• ervoor zorgen dat er daadwerkelijk menselijk toezicht wordt uitgeoefend;
• de prestaties monitoren;
• logboeken bijhouden waar relevant;
• ernstige incidenten melden; en
• voer in sommige contexten in de publieke sector grondrechteneffectbeoordelingen (impact assessment) uit met betrekking tot de grondrechten.

Zie onze blog “Hoog risico AI-systemen en verplichtingen” voor meer informatie over dit onderwerp. Neem voor meer vragen contact op met onze advocaten van het AI-team van Kienhuis Legal.