Artikel 5 Förbjudna AI-användningsområden

Samtidigt kan AI, beroende på omständigheterna kring den specifika tillämpningen, användningen och den tekniska utvecklingsnivån, ge upphov till risker och skada allmänna intressen och grundläggande rättigheter som skyddas av unionsrätten. Dessa skador kan vara materiella eller immateriella, inbegripet fysiska, psykologiska, samhälleliga eller ekonomiska skador.

Begreppet biometrisk kategorisering, som det hänvisas till i denna förordning, bör definieras som att fysiska personer hänförs till särskilda kategorier på grundval av deras biometriska uppgifter. Sådana särskilda kategorier kan avse aspekter som kön, ålder, hårfärg, ögonfärg, tatueringar, beteende- eller personlighetsdrag, språk, religion, tillhörighet till nationell minoritet, sexuell läggning eller politisk åskådning. Detta omfattar inte system för biometrisk kategorisering som har en ren extrafunktion som är oupplösligt kopplad till en annan kommersiell tjänst, vilket innebär att funktionen av objektiva tekniska skäl inte kan användas utan den huvudsakliga tjänsten, och integreringen av denna funktion är inte ett sätt att kringgå tillämpligheten av reglerna i denna förordning. Filter som kategoriserar ansikts- eller kroppsegenskaper som används på marknadsplatser online kan till exempel utgöra en sådan extrafunktion, eftersom de kan användas endast i förhållande till den huvudsakliga tjänsten, som är att sälja en produkt genom att göra det möjligt för konsumenten att i förväg se produkten på sig själv och hjälpa konsumenten att fatta ett köpbeslut. Filter som används på sociala nätverkstjänster online och som kategoriserar ansikts- eller kroppsfunktioner för att göra det möjligt för användare att lägga till eller ändra bilder eller videor kan också betraktas som extrafunktioner, eftersom ett sådant filter inte kan användas utan den huvudsakliga tjänsten hos de sociala nätverkstjänsterna som utgörs av delning av innehåll online.

Begreppet system för biometrisk fjärridentifiering, som det hänvisas till i denna förordning, bör definieras utifrån funktion, som ett AI-system avsett för identifiering av fysiska personer utan deras aktiva medverkan, vanligtvis på distans, genom jämförelse mellan en persons biometriska uppgifter och biometriska uppgifter i en referensdatabas, oavsett den specifika teknik, process eller typ av biometriska uppgifter som används. Sådana system för biometrisk fjärridentifiering används vanligtvis för att samtidigt uppfatta flera personer eller deras beteende för att avsevärt underlätta identifieringen av fysiska personer utan deras aktiva medverkan. Detta utesluter AI-system som är avsedda att användas för biometrisk verifiering, vilket inbegriper autentisering, vars enda syfte är att bekräfta att en specifik fysisk person är den person som denne utger sig för att vara, och system som används för att bekräfta identiteten på en fysisk person med det enda syftet att få åtkomst till en tjänst, låsa upp en enhet eller ha säker tillgång till lokaler. Detta uteslutande motiveras av att sådana system sannolikt har mindre inverkan på fysiska personers grundläggande rättigheter än de system för biometrisk fjärridentifiering som kan användas för behandling av biometriska uppgifter om ett stort antal personer utan deras aktiva medverkan. När det gäller system i realtid sker insamlingen av biometriska uppgifter, jämförelsen och identifieringen omedelbart, näst intill omedelbart eller under alla omständigheter utan betydande dröjsmål. I detta avseende bör det inte finnas något utrymme för att kringgå denna förordnings regler om användning i realtid av de berörda AI-systemen genom att medge mindre fördröjningar. Realtidssystem involverar direktupptagningar eller näst intill direktupptagningar av material, såsom videoupptagningar, genererade med kamera eller annan utrustning med liknande funktion. Efterhandssystem baseras däremot på redan insamlade biometriska uppgifter och jämförelsen och identifieringen sker med en betydande fördröjning. Detta involverar sådant material som bilder eller videoupptagningar som genereras genom övervakningskameror (CCTV) eller privat utrustning och som har genererats före användningen av systemet avseende de berörda fysiska personerna.

Vid sidan av de många nyttiga användningsområdena för AI kan den också missbrukas och tillhandahålla nya och kraftfulla verktyg för manipulation, utnyttjande och social kontroll. Sådana användningsområden är särskilt skadliga och kränkande och bör förbjudas eftersom de strider mot unionens värden och respekten för människans värdighet, frihet, jämlikhet, demokrati och rättsstatens principer samt grundläggande rättigheter som fastställs i stadgan, inbegripet rätten till icke-diskriminering, dataskydd och personlig integritet samt barnets rättigheter.

AI-baserad manipulativ teknik kan användas för att övertyga personer att ägna sig åt oönskat beteende, eller för att vilseleda dem genom att driva dem till beslut på ett sätt som undergräver och försämrar deras autonomi, beslutsfattande och fria val. Utsläppandet på marknaden, ibruktagandet eller användningen av vissa AI-system med målet eller följden att det mänskliga beteendet väsentligt påverkas och som sannolikt kan medföra betydande skador, i synnerhet med tillräckligt betydande negativa konsekvenser för den fysiska eller psykiska hälsan eller ekonomiska intressen, är särskilt farliga och bör därför förbjudas. Sådana AI-system utnyttjar subliminala komponenter såsom ljud-, bild- och videostimuli som människor inte kan uppfatta, eftersom dessa stimuli ligger utanför människans uppfattningsförmåga, eller annan manipulativ eller vilseledande teknik som undergräver eller försämrar människors autonomi, beslutsfattande eller fria val på sätt där människor inte är medvetna om denna teknik, eller om de är medvetna om den, fortfarande kan vilseledas eller inte kan kontrollera eller stå emot den. Detta kan underlättas av till exempel maskin–hjärna-gränssnitt eller virtuell verklighet eftersom det möjliggör en högre grad av kontroll av vilka stimuli som personer utsätts för, i den mån som de väsentligt kan påverka deras beteende på ett betydande skadligt sätt. Dessutom kan AI-system också på annat sätt utnyttja sårbarheterna hos en person eller en viss grupp av personer på grund av ålder, funktionsnedsättning i den mening som avses i Europaparlamentets och rådets direktiv (EU) 2019/882(¹⁶)Europaparlamentets och rådets direktiv (EU) 2019/882 av den 17 april 2019 om tillgänglighetskrav för produkter och tjänster (EUT L 151, 7.6.2019, s. 70). eller en specifik social eller ekonomisk situation som sannolikt kommer att göra dessa personer mer sårbara för utnyttjande, såsom personer som lever i extrem fattigdom, etniska minoriteter eller religiösa minoriteter. Sådana AI-system kan släppas ut på marknaden, tas i bruk eller användas med målet eller verkan att väsentligt påverka en persons beteende och på ett sätt som orsakar eller med rimlig sannolikhet kommer att orsaka betydande skada för den personen eller en annan person eller grupper av personer, inbegripet skador som kan ackumuleras över tid, och bör därför förbjudas. Det är kanske inte möjligt att anta att det finns en avsikt att påverka beteendet, om påverkan beror på faktorer utanför AI-systemet som ligger utanför leverantörens eller tillhandahållarens kontroll, dvs. faktorer som kanske inte är rimligen förutsebara och därför inte kan begränsas av leverantören eller tillhandahållaren av AI-systemet. I alla händelser är det inte nödvändigt att leverantören eller tillhandahållaren har för avsikt att orsaka den betydande skadan, förutsatt att sådan skada beror på de manipulativa eller utnyttjande AI-baserade användningsområdena. Förbuden mot sådana AI-användningsområden kompletterar bestämmelserna i Europaparlamentets och rådets direktiv 2005/29/EG(¹⁷)Europaparlamentets och rådets direktiv 2005/29/EG av den 11 maj 2005 om otillbörliga affärsmetoder som tillämpas av näringsidkare gentemot konsumenter på den inre marknaden och om ändring av rådets direktiv 84/450/EEG och Europaparlamentets och rådets direktiv 97/7/EG, 98/27/EG och 2002/65/EG samt Europaparlamentets och rådets förordning (EG) nr 2006/2004 (direktiv om otillbörliga affärsmetoder) (EUT L 149, 11.6.2005, s. 22)., särskilt att otillbörliga affärsmetoder som leder till ekonomisk eller finansiell skada för konsumenter är förbjudna under alla omständigheter, oavsett om de har införts genom AI-system eller på annat sätt. Förbuden mot manipulativa och utnyttjande användningsområden i denna förordning bör inte påverka lagliga användningsområden i samband med medicinsk behandling, såsom psykologisk behandling av en psykisk sjukdom eller fysisk rehabilitering, när denna användning sker i enlighet med tillämplig lag och tillämpliga medicinska normer, till exempel de enskilda personernas eller deras ombuds uttryckliga samtycke. Dessutom bör vanliga och legitima affärsmetoder, till exempel på reklamområdet, som är förenliga med tillämplig rätt inte i sig anses utgöra skadliga manipulativa AI-baserade metoder.

System för biometrisk kategorisering som baseras på fysiska personers biometriska uppgifter, såsom en enskild persons ansikte eller fingeravtryck, för att härleda eller dra slutsatser om en persons politiska åsikter, medlemskap i fackförening, religiösa eller filosofiska övertygelse, ras, sexualliv eller sexuella läggning bör förbjudas. Detta förbud omfattar inte laglig märkning, filtrering eller kategorisering av biometriska dataset som förvärvats i enlighet med unionsrätten eller nationell rätt på grundval av biometriska uppgifter, såsom sortering av bilder enligt hår- eller ögonfärg, som till exempel kan användas inom brottsbekämpning.

AI-system som tillhandahåller offentliga eller privata aktörers sociala poängsättning av fysiska personer kan medföra diskriminering och uteslutning av vissa grupper. De kan strida mot rätten till värdighet och icke-diskriminering och värdena jämlikhet och rättvisa. Sådana AI-system utvärderar eller klassificerar fysiska personer eller grupper av sådana på grundval av flera datapunkter relaterade till deras sociala beteende i olika sammanhang eller kända, uttydda eller förutsedda personliga egenskaper eller personlighetsegenskaper under vissa tidsperioder. Den sociala poängsättning som erhålls från sådana AI-system kan leda till negativ eller ogynnsam behandling av fysiska personer eller hela grupper av fysiska personer i sociala sammanhang som saknar koppling till det sammanhang där berörda data ursprungligen genererades eller samlades in, eller till en negativ behandling som är oproportionerlig eller omotiverad i förhållande till hur allvarligt deras sociala beteende är. AI-system som medför sådana oacceptabla poängsättningsmetoder och som leder till sådana negativa eller ogynnsamma resultat bör därför förbjudas. Detta förbud bör inte påverka lagliga metoder för bedömning av fysiska personer som utförs för ett specifikt ändamål i enlighet med unionsrätten och nationell rätt.

Användningen av system för biometrisk fjärridentifiering i realtid av fysiska personer på allmänt tillgängliga platser för brottsbekämpande ändamål inkräktar särskilt på de berörda personernas rättigheter och friheter, i och med att denna användning kan påverka privatlivet för en stor del av befolkningen, kan skapa en känsla av konstant övervakning och indirekt avskräcka från utövande av mötesfrihet och andra grundläggande rättigheter. Tekniska brister i AI-system som är avsedda för biometrisk fjärridentifiering av fysiska personer kan leda till biaser i resultat och medföra diskriminerande effekter. Sådana eventuella biaser i resultat och diskriminerande effekter är särskilt relevanta när det gäller ålder, etnicitet, ras, kön eller funktionsnedsättning. De omedelbara effekterna och de begränsade möjligheterna till ytterligare kontroll eller korrigering när det gäller användningen av sådana system som fungerar i realtid innebär ökade risker för rättigheterna och friheterna för berörda personer i samband med, eller som påverkas av, brottsbekämpande verksamhet.

Användningen av sådana system för brottsbekämpning bör därför vara förbjuden, utom i de snävt definierade situationer som anges i den uttömmande förteckningen, i de fall då användningen är strikt nödvändig för att uppnå ett väsentligt allmänintresse vars betydelse är större än riskerna. Dessa situationer inbegriper sökandet efter vissa brottsoffer, inklusive försvunna personer, vissa hot mot fysiska personers liv eller fysiska säkerhet eller hot om en terroristattack, och lokalisering eller identifiering av gärningsmän till eller misstänkta för brott som förtecknas i en bilaga till denna förordning, om dessa brott i den berörda medlemsstaten kan leda till fängelse eller annan frihetsberövande åtgärd under en längsta tidsperiod på minst fyra år och i enlighet med fastställda brottsrekvisit för dessa brott i den medlemsstatens nationella rätt. En sådan tröskel för påföljden fängelse eller annan frihetsberövande åtgärd i enlighet med nationell rätt bidrar till att säkerställa att brottet är allvarligt nog för att potentiellt motivera användningen av system för biometrisk fjärridentifiering i realtid. Vidare grundas förteckningen över brott i en bilaga till denna förordning på de 32 brott som förtecknas i rådets rambeslut 2002/584/RIF(¹⁸)Rådets rambeslut 2002/584/RIF av den 13 juni 2002 om en europeisk arresteringsorder och överlämnande mellan medlemsstaterna (EGT L 190, 18.7.2002, s. 1)., med beaktande av att vissa av dessa brott i praktiken sannolikt kommer att vara mer relevanta än andra, i och med att det kommer att variera mycket hur nödvändig och proportionell användningen av biometrisk fjärridentifiering i realtid kan förutses vara för det praktiska arbetet med lokalisering eller identifiering av gärningsmän eller misstänkta när det gäller brott som anges i förteckningen, och med beaktande av de sannolika skillnaderna vad gäller allvarlighetsgrad, sannolikhet och omfattning på skadan eller de möjliga negativa konsekvenserna. Ett överhängande hot mot en persons liv eller fysiska säkerhet kan också vara följden av en allvarlig driftsstörning vid kritisk infrastruktur enligt definitionen i artikel 2.4 i Europaparlamentets och rådets direktiv (EU) 2022/2557(¹⁹)Europaparlamentets och rådets direktiv (EU) 2022/2557 av den 14 december 2022 om kritiska entiteters motståndskraft och om upphävande av rådets direktiv 2008/114/EG (EUT L 333, 27.12.2022, s. 164)., om en driftsstörning vid eller förstörelse av sådan kritisk infrastruktur skulle leda till en omedelbar fara för en persons liv eller fysiska säkerhet, inbegripet genom allvarlig skada på tillhandahållandet av basförnödenheter till befolkningen eller på utövandet av statens kärnfunktion. Dessutom bör denna förordning bevara möjligheten för brottsbekämpande myndigheter, gränskontrollmyndigheter, immigrations- eller asylmyndigheter att utföra identitetskontroller i närvaro av den berörda personen i enlighet med villkoren i unionsrätten och nationell rätt för sådana kontroller. I synnerhet bör brottsbekämpande myndigheter, gränskontrollmyndigheter, migrationsmyndigheter eller asylmyndigheter kunna använda informationssystem, i enlighet med unionsrätten eller nationell rätt, för att identifiera personer som under en identitetskontroll antingen vägrar att identifieras eller inte kan ange eller bevisa sin identitet, utan att det enligt denna förordning krävs förhandstillstånd. Detta kan till exempel röra sig om en person som är inblandad i ett brott, är ovillig eller på grund av en olycka eller ett medicinskt tillstånd är oförmögen att uppge sin identitet för brottsbekämpande myndigheter.

För att säkerställa att dessa system används på ett ansvarsfullt och proportionellt sätt är det också viktigt att fastställa att hänsyn bör tas till vissa faktorer i var och en av de snävt definierade situationerna i den uttömmande förteckningen, i synnerhet vad gäller arten av den situation som ger upphov till begäran och användningens konsekvenser för alla berörda personers rättigheter och friheter samt de skyddsåtgärder och villkor som föreskrivs i samband med användningen. Användningen av system för biometrisk fjärridentifiering i realtid på allmänt tillgänglig plats för brottsbekämpande ändamål bör utnyttjas endast för att bekräfta identiteten på den individ som särskilt avses och bör begränsas till vad som är strikt nödvändigt vad gäller tidsperiod samt det geografiska tillämpningsområdet och de personer som omfattas, med särskild hänsyn till bevis eller indikationer vad gäller hoten, offren eller gärningsmännen. Användningen av systemet för biometrisk fjärridentifiering i realtid på allmänt tillgänglig plats bör tillåtas endast om den relevanta brottsbekämpande myndigheten har slutfört en konsekvensbedömning avseende grundläggande rättigheter och, om inte annat föreskrivs i denna förordning, har registrerat systemet i den databas som föreskrivs i denna förordning. Referensdatabasen över personer bör vara ändamålsenlig för varje användningsfall i var och en av de situationer som anges ovan.

Varje användning av system för biometrisk fjärridentifiering i realtid på allmänt tillgängliga platser för brottsbekämpande ändamål bör vara föremål för ett uttryckligt och specifikt tillstånd som lämnas av en rättslig myndighet eller en oberoende administrativ myndighet i en medlemsstat vars beslut är bindande. Dessa tillstånd bör i princip erhållas innan AI-systemet används för att identifiera en eller flera personer. Undantag från denna regel bör tillåtas av hänsyn till vederbörligen motiverade brådskande situationer, dvs. situationer då behovet av att använda de ifrågavarande systemen är sådant att det i praktiken är objektivt omöjligt att erhålla ett tillstånd innan användningen av AI-systemet inleds. I sådana brådskande situationer bör användningen av AI-systemet begränsas till det absoluta minimum som är nödvändigt och bör omfattas av lämpliga skyddsmekanismer och villkor som fastställs i nationell rätt och som specificeras av den berörda brottsbekämpande myndigheten i samband med varje enskilt fall av brådskande användning. Dessutom bör den brottsbekämpande myndigheten i sådana situationer begära ett sådant tillstånd samtidigt som den anger skälen till att den inte har kunnat begära det tidigare, utan oskäligt dröjsmål och senast inom 24 timmar. Om ett sådant tillstånd nekas bör användningen av system för biometrisk identifiering i realtid som är kopplade till det tillståndet stoppas med omedelbar verkan och alla uppgifter som rör sådan användning bör förstöras och raderas. Sådana data omfattar indata som erhållits direkt av ett AI-system i samband med användningen av ett sådant system samt resultat och utdata från den användning som är kopplad till det tillståndet. Det bör inte omfatta indata som lagligen förvärvats i enlighet med annan unionsrätt eller nationell rätt. Under inga omständigheter bör beslut som har negativa rättsliga följder för en person fattas enbart på grundval av utdata från systemet för biometrisk fjärridentifiering.

För att kunna utföra sina uppgifter i enlighet med kraven i denna förordning och i nationella regler bör den berörda marknadskontrollmyndigheten och den nationella dataskyddsmyndigheten underrättas om varje användning av systemet för biometrisk identifiering i realtid. Marknadskontrollmyndigheterna och de nationella dataskyddsmyndigheter som har underrättats bör lämna in en årlig rapport till kommissionen om användningen av system för biometrisk identifiering i realtid.

Det är också lämpligt att, inom den uttömmande ram som fastställs genom denna förordning, föreskriva att en sådan användning på en medlemsstats territorium i enlighet med denna förordning endast bör vara möjlig i de fall och i den utsträckning som den berörda medlemsstaten har beslutat att uttryckligen föreskriva möjligheten att tillåta sådan användning i sina närmare bestämmelser i nationell rätt. Enligt denna förordning behåller alltså medlemsstaterna sin frihet att inte alls föreskriva någon sådan möjlighet eller att endast föreskriva en sådan möjlighet med avseende på några av de syften som kan motivera användning som tillåten enligt denna förordning. Sådana nationella bestämmelser bör anmälas till kommissionen senast 30 dagar efter det att de har antagits.

Användningen av system för biometrisk fjärridentifiering i realtid av fysiska personer på allmänt tillgängliga platser för brottsbekämpande ändamål involverar med nödvändighet behandling av biometriska uppgifter. Reglerna i denna förordning som med vissa undantag förbjuder sådan användning, och som baseras på artikel 16 i EUF-fördraget, bör tillämpas som lex specialis med avseende på de regler om behandling av biometriska uppgifter som anges i artikel 10 i direktiv (EU) 2016/680, och reglerar därmed sådan användning och behandling av berörda biometriska uppgifter på ett uttömmande sätt. Därför bör sådan användning och behandling vara möjlig endast i den utsträckning som den är förenlig med den ram som fastställs i denna förordning, utan att de behöriga myndigheterna har något utrymme, då de agerar för brottsbekämpande ändamål, att utanför den ramen använda sådana system och behandla sådana data i samband med detta av de skäl som förtecknas i artikel 10 i direktiv (EU) 2016/680. I det sammanhanget är denna förordning inte avsedd att tillhandahålla en rättslig grund för behandling av personuppgifter enligt artikel 8 i direktiv (EU) 2016/680. Användningen av system för biometrisk fjärridentifiering i realtid på allmänt tillgänglig plats för andra ändamål än brottsbekämpning, inbegripet av behöriga myndigheter, bör inte omfattas av den särskilda ram för sådan användning för brottsbekämpande ändamål som fastställs i denna förordning. Sådan användning för andra ändamål än brottsbekämpning bör därför inte omfattas av kravet på tillstånd enligt denna förordning och de tillämpliga närmare bestämmelser i nationell rätt som kan ge verkan åt det tillståndet.

Användning av biometriska uppgifter och andra personuppgifter i samband med användningen av AI-system för biometrisk identifiering som inte sker i samband med användning av system för biometrisk fjärridentifiering i realtid på allmänt tillgänglig plats för brottsbekämpande ändamål som regleras av denna förordning bör även fortsättningsvis uppfylla alla krav som följer av artikel 10 i direktiv (EU) 2016/680. För andra ändamål än brottsbekämpning förbjuds enligt artikel 9.1 i förordning (EU) 2016/679 och artikel 10.1 i förordning (EU) 2018/1725 behandling av biometriska uppgifter med förbehåll för begränsade undantag enligt de artiklarna. Med tillämpning av artikel 9.1 i förordning (EU) 2016/679 har användningen av biometrisk fjärridentifiering för andra ändamål än brottsbekämpning redan förbjudits av nationella dataskyddsmyndigheter.

I enlighet med artikel 6a i protokoll nr 21 om Förenade kungarikets och Irlands ställning med avseende på området med frihet, säkerhet och rättvisa, fogat till EU-fördraget och EUF-fördraget, är Irland inte bundet av reglerna i artikel 5.1 första stycket g i den mån den är tillämplig på system för biometrisk kategorisering inom polissamarbete och straffrättsligt samarbete, artikel 5.1 första stycket d i den mån den är tillämplig på användning av AI-system som omfattas av den bestämmelsen, artikel 5.1 första stycket h samt artiklarna 5.2–5.6 och 26.10 i denna förordning som antagits på grundval av artikel 16 i EUF-fördraget och som avser medlemsstaternas behandling av personuppgifter när de bedriver verksamhet som omfattas av avdelning V kapitel 4 eller 5 i tredje delen av EUF-fördraget i det fall då Irland inte är bundet av bestämmelserna om formerna för straffrättsligt samarbete eller polissamarbete inom ramen för vilka de bestämmelser måste iakttas som fastställs på grundval av artikel 16 i EUF-fördraget.

I enlighet med artiklarna 2 och 2a i protokoll nr 22 om Danmarks ställning, fogat till EU-fördraget och EUF-fördraget, är Danmark inte bundet av reglerna i artikel 5.1 första stycket g i den mån den är tillämplig på användning av system för biometrisk kategorisering inom polissamarbete och straffrättsligt samarbete, artikel 5.1 första stycket d i den mån den är tillämplig på användning av AI-system som omfattas av den bestämmelsen, artikel 5.1 första stycket h samt artiklarna 5.2–5.6 och 26.10 i denna förordning som antagits på grundval av artikel 16 i EUF-fördraget, eller tillämpningen av dessa, som avser medlemsstaternas behandling av personuppgifter när dessa utövar verksamhet som omfattas av tillämpningsområdet för avdelning V kapitel 4 eller 5 i tredje delen av EUF-fördraget.

I enlighet med presumtionen för oskuld bör fysiska personer i unionen alltid bedömas utifrån sitt faktiska beteende. Fysiska personer bör aldrig bedömas på grundval av genom AI förutsett beteende enbart grundat på deras profilering, personlighetsdrag eller egenskaper, såsom nationalitet, födelseort, bostadsort, antal barn, skuldsättning eller typ av bil, utan rimlig misstanke om att personen är inblandad i en brottslig verksamhet på grundval av objektiva, kontrollerbara fakta och utan mänsklig bedömning av detta. Därför bör riskbedömningar som genomförs med avseende på fysiska personer för att bedöma sannolikheten för att de begår brott eller för att förutsäga förekomsten av ett faktiskt eller potentiellt brott enbart på grundval av deras profilering eller en bedömning av deras personlighetsdrag och egenskaper förbjudas. I vilket fall som helst avser eller berör förbudet inte riskanalyser som inte baseras på profilering av enskilda personer eller på enskilda personers personlighetsdrag och egenskaper, såsom AI-system som använder riskanalyser för att bedöma sannolikheten för ekonomiska bedrägerier från företags sida på grundval av misstänkta transaktioner eller riskanalysverktyg för förutsägelser om sannolikheten för tullmyndigheters lokalisering av narkotika eller olagliga varor, till exempel på grundval av kända smugglingsvägar.

Utsläppande på marknaden, ibruktagande för detta specifika ändamål eller användningen av AI-system som skapar eller utvidgar databaser för ansiktsigenkänning genom oriktad skrapning av ansiktsbilder från internet eller övervakningskameror bör förbjudas, eftersom metoden ökar känslan av att det förekommer massövervakning och kan leda till grova kränkningar av grundläggande rättigheter, inbegripet rätten till integritet.

Det råder allvarlig oro över den vetenskapliga grunden för AI-system som syftar till att identifiera eller uttyda känslor, särskilt som uttryck för känslor varierar avsevärt mellan olika kulturer och situationer och till och med hos en och samma individ. Några av de största bristerna i sådana system är begränsad tillförlitlighet, brist på specificitet och begränsad generaliserbarhet. AI-system som identifierar eller uttyder fysiska personers känslor eller avsikter på grundval av deras biometriska uppgifter kan därför leda till diskriminerande resultat och kan inkräkta på de berörda personernas rättigheter och friheter. Med tanke på maktobalansen i fråga om arbete eller utbildning, i kombination med dessa systems inkräktande karaktär, kan sådana system leda till skadlig eller ogynnsam behandling av vissa fysiska personer eller hela grupper av fysiska personer. Därför bör utsläppande på marknaden, ibruktagande eller användning av AI-system som är avsedda att användas för att upptäcka känslomässiga förhållanden hos enskilda personer i situationer som rör arbetsplats och utbildning förbjudas. Förbudet bör inte omfatta AI-system som släpps ut på marknaden uteslutande av medicinska skäl eller säkerhetsskäl, såsom system som är avsedda för terapeutisk användning.

Metoder som är förbjudna enligt unionsrätten, inbegripet dataskyddslagstiftning, lagstiftning om icke-diskriminering, konsumentskyddslagstiftning och konkurrensrätt, bör inte påverkas av denna förordning.