Kunstmatige intelligentie (“AI”) is bezig aan een snelle opmars, ook in de zorg. Deze ontwikkelingen bieden kansen om de kwaliteit en efficiency van de zorg te verbeteren, maar vragen ook om nieuwe kennis en vaardigheden van zorgpersoneel. Het is van belang dat zorgpersoneel begrijpt hoe AI-systemen werken en welke mogelijkheden en risico’s eraan verbonden zijn. Dit is niet alleen essentieel voor het praktische gebruik van AI-systemen, maar zelfs wettelijk verplicht doordat zorgpersoneel een toereikend niveau van ‘AI-geletterdheid’ moet hebben op grond van de Europese AI-verordening (“AI-Act”). Wat houdt dit precies in en wat betekent deze verplichting voor zorgaanbieders?
Juridisch kader
Wat is AI-geletterdheid?
AI-geletterdheid betekent dat personeel de mogelijkheden en risico’s van AI moet begrijpen, mogelijke gevolgen van het gebruik van AI-systemen moet kunnen inschatten en passende maatregelen moet kunnen nemen. Het omvat zowel kennis van technische aspecten bij de ontwikkeling en toepassing van AI-systemen, als inzicht in sociale, ethische en praktische vraagstukken. Ook houdt het in dat gebruikers de uitkomsten van AI-systemen kritisch kunnen beoordelen en op een juiste manier kunnen interpreteren. AI-geletterdheid is een van de verplichtingen die voortvloeit uit de AI-Act
Wat moet er geregeld worden voor AI-geletterdheid?
De AI-Act stelt (in artikel 4) als voorwaarde dat zowel aanbieders als gebruikers van AI-systemen ‘zoveel als mogelijk’ maatregelen moeten nemen om te zorgen voor een toereikend niveau van AI-geletterdheid bij hun personeel en andere personen die namens hen AI-systemen exploiteren of gebruiken. Daarbij moet rekening worden gehouden met de technische kennis, ervaring, opleiding, de context waarin het AI-systeem wordt gebruikt en de personen of groepen waarop het AI-systeem betrekking heeft. In de Memorie van Toelichting bij het wetsvoorstel Uitvoeringswet AI-verordening wordt toegelicht dat het gebruik van de formulering ‘zoveel als mogelijk’ erop wijst dat deze verplichting moet worden gezien als een inspanningsverplichting. Dit biedt ruimte voor een proportionele benadering die rekening houdt met de specifieke omstandigheden van de organisatie.
Waarvoor geldt AI-geletterdheid?
Een belangrijk uitgangspunt is dat de verplichting – in tegenstelling tot veel andere verplichtingen uit de AI-Act – geldt voor alle AI-systemen die binnen een zorgorganisatie worden gebruikt en zich dus niet beperkt tot hoog-risicosystemen, zoals bijvoorbeeld AI-systemen die medische afwijkingen signaleren op basis van röntgenfoto’s of MRI-scans. Ook bij het gebruik van AI-systemen met een beperkt risico, geldt de verplichting tot AI-geletterdheid. Denk aan administratieve toepassingen, chatbots of digitale assistenten voor patiënten.
Invulling van AI-geletterdheid in de praktijk
De AI-Act schrijft niet voor welke concrete opleiding of training nodig is om te zorgen voor het vereiste niveau van AI-geletterdheid . De invulling hiervan hangt zoals gezegd af van specifieke omstandigheden binnen een zorgorganisatie; een zorgverlener die een AI-systeem gebruikt ter ondersteuning van diagnostiek zal bijvoorbeeld andere kennis nodig hebben dan een medewerker die AI inzet voor administratieve doeleinden. Gelet op het ontbreken van een duidelijk vastgestelde norm, lijkt ook hier de nodige vrijheid te bestaan voor organisaties om daar zelf invulling aan te geven.
Nadere uitkering en gedragscodes voor AI-geletterdheid
De Europese wetgever erkent dat de praktische invulling van de verplichting nog verdere uitwerking behoeft. In dit kader worden lidstaten opgeroepen om gedragscodes te ontwikkelen. Hoewel dergelijke gedragscodes op dit moment nog ontbreken, heeft de Autoriteit Persoonsgegevens (“AP”) al wel het document ‘Aan de slag met AI-geletterdheid’ gepubliceerd, waarin organisaties worden aangemoedigd AI-geletterdheid stapsgewijs op te bouwen aan de hand van een meerjarig actieplan. Hoewel dit document geen juridisch bindende normen bevat, is het document – zo verwachten wij – de komende jaren zeker relevant omdat de AP in het wetsvoorstel Uitvoeringswet AI-verordening wordt aangewezen als de toezichthouder op de naleving van de verplichting tot AI-geletterdheid. Het document biedt daarmee een belangrijke indicatie van de wijze waarop de AP – als toezichthouder – verwacht dat aanbieders en gebruikers invulling geven aan deze verplichting.
Gevolgen van het niet-naleven van de verplichting tot AI-geletterdheid
In het wetsvoorstel Uitvoeringswet AI-verordening krijgen toezichtautoriteiten, waaronder de AP, de bevoegdheid om een bestuurlijke boete op te leggen bij overtreding van de AI-Act. Gezien het open karakter van de verplichting tot AI-geletterdheid en het feit dat dit een inspanningsverplichting betreft, ligt het opleggen van een bestuurlijke boete bij niet-naleving daarvan echter niet voor de hand, zo volgt uit de Memorie van Toelichting bij het wetsvoorstel.
De verwachting is daarom dat de handhaving zich in eerste instantie zal richten op het nader invullen en concretiseren van deze open norm, wanneer blijkt dat de mate van AI-geletterdheid binnen een organisatie onvoldoende is. Er kan vervolgens een termijn worden geboden om alsnog aan de geconcretiseerde verplichtingen te voldoen. Anderzijds kan niet uitgesloten worden dat de AI-geletterdheid van het personeel wel een rol kan gaan spelen bij de beoordeling van een datalek als gevolg van het gebruik van een AI-toepassing.
Rol AI-geletterdheid in de toekomst
Het is belangrijk dat zorgaanbieders zich bewust zijn van de verplichting om de AI-geletterdheid van hun zorgpersoneel te waarborgen indien zij gebruik maken van AI-systemen in of rondom de zorgverlening. Hoewel nog niet duidelijk is hoe deze open norm precies ingekleurd zal worden, verwachten wij dat AI-geletterdheid de komende jaren een steeds belangrijkere rol zal spelen. In welke mate dit tot concrete verplichtingen voor zorgaanbieders en zorgpersoneel leidt, zal de verdere ontwikkeling van regelgeving en toezicht moeten uitwijzen. We zullen u hiervan op de hoogte houden.
Opleiding AI in de zorg
Wilt u meer weten over dit onderwerp of andere onderwerpen die verband houden met AI in de zorg, meld u dan aan voor onze bijeenkomst ‘AI in de zorg’ op 23 september a.s. Tijdens deze cursusdag gaan wij praktisch aan de slag met de vragen waar u als zorgaanbieder mee te maken krijgt of kunt krijgen bij het gebruik van AI. Aanmelden kan op deze pagina.
