In onze hedendaagse maatschappij ontstijgt het aantal bewakingscamera's het aantal patrouillerende politieagenten. Naarmate het gebruik van kunstmatige intelligentie (AI) op bewakingscamera's toeneemt, wordt de rol ervan in de openbare veiligheid steeds belangrijker. Technologieën in computer vision, die computers in staat stellen om visuele gegevens te interpreteren, bieden aanzienlijke mogelijkheden voor het bestrijden van criminaliteit en het garanderen van openbare veiligheid. Dergelijke technologieën worden gezien als een tweesnijdend zwaard, het heeft zowel de belofte van verbeterde veiligheid en levenskwaliteit, maar ook de mogelijkheid tot een dystopische maatschappij van massasurveillance. Oddity's missie is het gebruik van computer vision als een kracht voor het goede, met als doel de publieke veiligheid te verhogen zonder privacy daarvoor op te moeten offeren. Er zijn hierbij twee belangrijke aspecten waar rekening mee gehouden moet worden om een juist gebruik van AI bij publieke surveillance te garanderen:
- Privacy In de context van deze blogpost verwijst privacy naar het recht van een individu om zijn persoonlijke leven en persoonlijke informatie uit de openbaarheid te houden en de stroom van zijn persoonlijke gegevens te controleren. Als het gaat om AI bij bewakingscamera's, gaat privacy over de bescherming van individuen tegen voortdurende bewaking of het gebruik van hun gegevens zonder toestemming, wat kan leiden tot indringende profilering of persoonlijke blootstelling.
- Bias Vooroordelen in AI-systemen treden op wanneer algoritmes beslissingen nemen die bepaalde groepen mensen systematisch bevoordelen of discrimineren. Bij surveillance kunnen veroordelen tot uiting komen als de AI personen onnauwkeurig identificeert of tot doelwit maakt op basis van hun etniciteit, geslacht of andere kenmerken, wat leidt tot oneerlijke behandeling en mogelijk bestaande maatschappelijke ongelijkheden vergroot.
Belangrijk bij vooroordelen is het "black box" principe en het belang van verklaarbare AI. De black box verwijst naar een situatie waarin het besluitvormingsproces van een AI-systeem verborgen is en niet (gemakkelijk) te begrijpen voor mensen. Dit kan leiden tot problemen bij het begrijpen, vertrouwen en valideren van de beslissingen van de AI. Als we de interne werking van een AI-systeem niet kunnen controleren, zal het moeilijk zijn om uit te sluiten dat een AI-systeem geen ongewenste vooroordelen heeft. Het begrijpen van privacy en vooroordelen is niet alleen een technologische uitdaging, maar ook een maatschappelijke noodzaak. Bij het ontwikkelen van computervisie systemen moeten we zeer voorzichtig te werk gaan en ervoor zorgen dat ze zo zijn ontworpen dat misbruik zoveel mogelijk wordt beperkt.
In deze blogpost verkennen we de standpunten van de Europese Unie en de Nederlandse overheid met betrekking tot privacy en bias en AI. Daarna geven we een overzicht van hoe Oddity.ai aansluit bij deze regelgeving en standaarden. We gaan in op onze proactieve maatregelen en het interne beleid dat we hebben geïmplementeerd om ervoor te zorgen dat onze AI-systemen de privacy waarborgen en vooroordelen beperken, waardoor onze toewijding aan ethische AI-ontwikkeling wordt versterkt.
De Europese Unie: Een evenwicht vinden tussen innovatie en individuele rechten
Er waart een spook door Europa — het spook van ongereguleerde AI. Het standpunt van de Europese Unie (EU) is duidelijk: de kracht van AI moet zorgvuldig worden ingezet met een evenwicht tussen innovatie en het handhaven van privacy en persoonlijke vrijheden. De EU heeft het voortouw genomen bij het reguleren van AI, met name met het voorstel van de AI-wet in 2021. Het overkoepelende concept van deze wet is om AI-systemen in te delen in vier risicogroepen:
- Onaanvaardbaar risico: AI-systemen in deze categorie worden beschouwd als een duidelijke bedreiging voor de veiligheid, het dagelijks leven en de rechten van individuen. Deze systemen worden verboden. Een voorbeeld is een sociaal scoresysteem.
- Hoog risico: Grof samengevat omvat deze categorie toepassingen die een impact kunnen hebben op de rechten die je als individu hebt, maar ook toepassingen in de gezondheidszorg. Deze systemen moeten aan strenge regelgeving voldoen voordat ze kunnen worden ingezet. Bijvoorbeeld een AI-toepassing in robot-geassisteerde chirurgie.
- Beperkt risico: AI-toepassingen die interactie hebben met individuen, zoals chatbots, vallen in deze categorie. Ze vereisen specifieke transparantieverplichtingen om gebruikers te informeren dat ze interactie hebben met een AI-systeem.
- Minimaal of geen risico: Deze groep bestaat uit AI-systemen die een minimaal of geen risico vormen, zoals AI in videogames of spamfilters. Deze toepassingen zijn onderworpen aan minimale regelgeving.
Het Comité voor Gegevensbescherming van de EU en de Europese toezichthouder voor gegevensbescherming hebben hun bezorgdheid geuit over het gebruik van AI in openbare ruimten. Ze benadrukken dat het belangrijk is om ervoor te zorgen dat deze systemen niet leiden tot massasurveillance, wat in strijd is met de beginselen van noodzakelijkheid en proportionaliteit in wetten voor gegevensbescherming zoals de General Data Protection Regulation (GDPR). De GDPR gaat vooral over privacy. De voorgestelde regelgeving vraagt echter ook om robuust menselijk toezicht op AI systemen om discriminerende uitkomsten te voorkomen en de bezorgdheid over vooroordelen weg te nemen.
Het Nederlandse perspectief: Een voorzichtige benadering van AI
In de nasleep van spraakmakende incidenten zoals de “toeslagenaffaire” en het gebruik van AI-ondersteunde fraudedetectie in het socialezekerheidsstelsel, zijn de Nederlandse overheid en haar burgers extra waakzaam en sceptisch geworden over het gebruik van AI. Deze gebeurtenissen hebben het gesprek over AI aangewakkerd tot een kritisch onderzoek, vooral als het gaat over surveillance en sociaal bestuur. Nederland hanteert mede hierdoor een gematigde houding in het gebruik van AI. Het is aan de Autoriteit Persoonsgegevens (AP) om de privacy te waarborgen. Recentelijk zijn zij ook verantwoordelijk geworden voor het controleren van AI algoritmes op, bijvoorbeeld, mogelijke vooroordelen. Het AP waarschuwt tegen de steeds verdere oprukking van surveillance technologie. In lijn met de eerder besproken AI-wet van de Europese Commissie, pleiten ook Nederlandse autoriteiten voor een strikte regelgevende aanpak.
De overheid is voorstander van strikte uitzonderingen voor het gebruik van invasieve AI technologie in openbare ruimten, waaruit nogmaals duidelijk blijkt dat privacy in openbare ruimten een zwaarwegend goed is. Bijzonder opmerkelijk is het Nederlandse standpunt over biometrische identificatie: In 2021 gaf de AP een formele waarschuwing af aan een supermarktketen die gezichtsherkenning wilde gaan gebruiken. In het oordeel van de AP stond dat gezichtsherkenning in Nederland in principe verboden is, met slechts twee uitzonderingen. De eerste uitzondering staat gebruik alleen toe als gebruikers daar expliciet toestemming voor geven. De tweede maakt het mogelijk dat de technologie gebruikt kan worden als beveiligingsmiddel in gebieden van vitaal publiek belang, waarbij een kerncentrale als voorbeeld wordt genoemd. In tegenstelling tot de mening van de supermarktketen voldeed de use-case aan geen van beide criteria. Dit incident onderstreept de toewijding aan privacy en illustreert de hoge lat die wordt gelegd voor het gebruik van potentieel invasieve technologieën.
In de nasleep van de eerder genoemde “toeslagenaffaire” werd de Impact Assessment Mens & Algoritme (IAMA) ontwikkeld. Het ontstaan van de IAMA was een direct antwoord op een verzoek van de overheid, met als doel om toekomstig misbruik van algoritmen te voorkomen. De IAMA is ontwikkeld door de Utrecht Data School in samenwerking met rechtsgeleerden en biedt een kader om de inzet van algoritmen te onderzoeken, waarbij technologische innovatie in balans wordt gebracht met fundamentele mensenrechten. Het dient als handleiding en beschrijft een besluitvormingsproces in drie fasen:
- Voorbereiding: Organisaties moeten hun bedoelingen met de inzet van algoritmen verduidelijken en anticiperen op mogelijke gevolgen.
- Technisch onderzoek: Het benadrukt het 'garbage in, garbage out' principe en onderstreept het belang van hoogwaardige data en nauwkeurige algoritme verwerking om onjuiste of ongewenste resultaten tegen te gaan.
- Outputmanagement: De IAMA benadrukt het belang van menselijke interventiemogelijkheden en zorgt ervoor dat beslissingen genomen door algoritmen kunnen worden teruggedraaid, om zo de menselijke autonomie te waarborgen.
Deze aanpak staat in schril contrast met de eerdere status quo. Amnesty International heeft de Nederlandse overheid namelijk eerder nog veroordeeld voor haar lakse regelgeving en verhulde inzet van algoritmes. De IAMA is ook vertaald en beschikbaar gemaakt voor internationaal gebruik onder de, niet zo pakkende, naam “Fundamental Rights and Algorithm Impact Assessment“ (FRAIA).
Beleidsdiscussies in Nederland benadrukken ook de behoefte aan transparante AI-systemen. De Nederlandse politiek benadrukt de noodzaak om af te stappen van het 'black box'-principe rond AI-besluitvorming. Er wordt actief naar gestreefd om ervoor te zorgen dat deze systemen vrij zijn van vooroordelen, een initiatief dat niet alleen draait om het voldoen aan ethische normen, maar ook om het ontwikkelen van publiek vertrouwen.
Oddity: Onze benadering van privacy en bias
Bij Oddity.ai lopen we voorop in de ontwikkeling van geavanceerde computer vision technologie en zijn we tegelijkertijd zeer toegewijd aan de ethische ontwikkeling en toepassing ervan. Deze toewijding wordt steeds relevanter gezien het groeiende aantal wetten en regels in de Europese Unie en Nederland. In dit gedeelte van de blog gaan we dieper in op de manier waarop Oddity.ai's activiteiten en visie in lijn zijn met de regelgevende kaders van de EU en de Nederlandse overheid. Ook bespreken we hoe onze fundamentele ontwerpprincipes deze kaders zowel aanvullen als verbeteren.
De ontwikkeling van ons eerste algoritme begon met een uitgebreide samenwerking met verschillende belanghebbenden in de sector. Hierbij hadden wij regelmatig contact met klanten, gemeentelijke autoriteiten, industriële- en academische experts. Door dit contact konden we de zorgen en uitdagingen met betrekking tot privacy en vooroordelen in AI-surveillance technologie uitgebreid in kaart brengen. Dit proces van voortdurende dialoog en leren hielp ons geleidelijk een strategische aanpak te ontwikkelen om deze kritieke punten aan te pakken. Dit heeft geleid tot onze vier fundamentele ontwerpprincipes. De ontwerpprincipes zijn niet opgesteld als een (juridische) checklist, maar weerspiegelen de visie van ons bedrijf op het gebruik van deze technologie.
Oddity.ai's vier basis ontwerpprincipes:
- Privacy-by-design: In lijn met de GDPR zijn onze algoritmen zo ontworpen dat privacy centraal staat. Om de zorgen rond onnodige gegevensverzameling en het potentieel voor invasieve profilering weg te nemen, zorgen we ervoor dat er geen enkele vorm van persoonlijke identificatie plaatsvindt of mogelijk is.
- Human-in-the-loop: In overeenstemming met zowel de EU- als de Nederlandse richtlijnen die menselijk toezicht op AI-systemen vereisen, zet onze aanpak de mens centraal. Onze technologie ondersteunt, maar vervangt niet de kritische besluitvormingsprocessen van bewakings- en beveiligingspersoneel en zorgt ervoor dat AI het menselijk oordeel ondersteunt in plaats van vervangt.
- Action-based alerts: Ons algoritme waarschuwt alleen een medewerker wanneer een persoon wordt waargenomen die een van de door ons herkende acties uitvoert, bijvoorbeeld geweld. Dit komt overeen met de oproep van de EU voor proportionaliteit en noodzakelijkheid in surveillance praktijken. Onze triggers zijn gebaseerd op de acties die door een persoon worden uitgevoerd, niet op profilering of preventieve herkenning op basis van (uiterlijke) kenmerken .
- Transparency and Traceability: Het openen van de ‘black box' voor begrijpelijke AI-beslissingen, het waarborgen van ethische data verwerving en het handhaven van transparantie in ons gegevensgebruik en -verwerking, met inachtneming van privacy- en regelgeving normen.
De Nederlandse nadruk op transparantie en het vermijden van 'black box' AI wordt weerspiegeld in ons streven naar open en verklaarbare AI-processen. We maken gebruik van Gradient-weighted Class Activation Mapping (Grad-CAM)-technologie om visuele uitleg te geven over de beslissingen van ons algoritme. Dit hulpmiddel markeert de gebieden in een afbeelding of video die de classificatie-beslissing van het algoritme hebben beïnvloed. Met dit hulpmiddel kunnen we de beslissingen van ons algoritme inspecteren en bevestigen dat ze genomen zijn op basis van gewenste criteria. Omgekeerd kunnen we er ook achter komen of een algoritme een beslissing heeft genomen op basis van ongewenste vooroordelen, zodat we dit kunnen corrigeren. Wanneer ons algoritme een waarschuwing verstuurt, zorgen we ervoor dat de logica van die waarschuwingen te begrijpen en te rechtvaardigen is.
Gezien het standpunt van de AP over biometrische identificatie en de richtlijnen van de EU, vermijden we bewust elke vorm van biometrische gegevensanalyse, of elke vorm van identificatie in het algemeen, wat onze toewijding aan privacybescherming verder versterkt. Door deze ontwerpprincipes te integreren in onze producten en processen, voldoet Oddity.ai niet alleen aan de huidige wet- en regelgeving, maar positioneert het zich ook om zich moeiteloos aan te passen aan toekomstige wetgeving.
Samenvattend, nu we aan het begin van een AI-ontwikkeling staan, geloven wij bij Oddity.ai echt in de transformerende en revolutionaire kracht van AI. We zien een toekomst voor ons waarin AI de huidige beveiligingsstandaarden en de levenskwaliteit van talloze mensen over de hele wereld aanzienlijk verbetert. Toch zijn we ons ervan bewust dat de toekomst die wij voor ogen hebben afhankelijk is van de inzet om AI op een ethische manier toe te passen. Onze missie is daarom niet alleen om te innoveren, maar ook om dit met een geweten te doen, zodat de vooruitgang die wij graag willen zien zorgen voor een betere toekomst voor iedereen.
