Artikel 6 Klassificeringsregler för AI-system med hög risk

AI-system med hög risk bör endast släppas ut på unionsmarknaden eller tas i bruk om de uppfyller vissa obligatoriska krav. Dessa krav bör säkerställa att AI-system med hög risk vilka finns tillgängliga i unionen eller vars utdata på annat sätt används i unionen inte utgör någon oacceptabel risk för viktiga allmänna intressen för unionen som erkänns och skyddas av unionsrätten. Baserat på den nya lagstiftningsramen, som klargörs i kommissionens meddelande 2022 års blåbok om genomförandet av EU:s produktbestämmelser(²⁰), är den allmänna regeln att mer än en rättsakt inom unionens harmoniseringslagstiftning, exempelvis Europaparlamentets och rådets förordningar (EU) 2017/745(²¹) och (EU) 2017/746(²²) eller Europaparlamentets och rådets direktiv 2006/42/EG(²³), kan äga tillämpning med avseende på en produkt, eftersom tillhandahållandet eller ibruktagandet endast kan ske när produkten överensstämmer med all tillämplig unionsharmoniseringslagstiftning. För att säkerställa samstämmighet och undvika onödig administrativ börda eller onödiga kostnader bör leverantörer av en produkt som innehåller ett eller flera AI-system med hög risk som omfattas av kraven i den här förordningen och i unionens harmoniseringslagstiftning som förtecknas i en bilaga till den här förordningen ha flexibilitet när det gäller operativa beslut om hur det ska säkerställas att en produkt som innehåller ett eller flera AI-system uppfyller alla tillämpliga krav i unionens harmoniseringslagstiftning på ett optimalt sätt. AI-system som identifieras som AI-system med hög risk bör begränsas till sådana som har en betydande skadlig inverkan på hälsa, säkerhet och grundläggande rättigheter för personer i unionen och denna avgränsning bör minimera de potentiella begränsningarna av den internationella handeln.

AI-system kan ha negativa effekter för människors hälsa och säkerhet, i synnerhet när sådana system fungerar som säkerhetskomponenter i produkter. I enlighet med syftena för unionens harmoniseringslagstiftning, som är att främja den fria rörligheten för produkter på den inre marknaden och säkerställa att endast säkra produkter som uppfyller kraven släpps ut på marknaden, är det viktigt att de säkerhetsrisker som kan genereras av produkten som helhet på grund av dess digitala komponenter, inklusive AI-system, förhindras och begränsas. Robotar som blir allt mer autonoma, oavsett om det är i samband med tillverkning eller personlig assistans och vård, bör också kunna arbeta säkert och utföra sina funktioner i komplexa miljöer. Inom vårdsektorn, där liv och hälsa i särskilt hög grad kan påverkas, bör de allt mer sofistikerade diagnossystemen och systemen som stöder mänskliga beslut vara tillförlitliga och noggranna.

Omfattningen av de negativa effekter som AI-systemet har på de grundläggande rättigheter som skyddas av stadgan har särskilt stor betydelse när ett AI-system klassificeras som AI-system med hög risk. Dessa rättigheter innefattar rätten till människans värdighet, respekt för privatlivet och familjelivet, skydd av personuppgifter, yttrandefrihet och informationsfrihet, mötesfrihet och organisationsfrihet, rätten till icke-diskriminering, rätten till utbildning, konsumentskydd, arbetstagares rättigheter, rättigheter för personer med funktionsnedsättning, jämställdhet, immateriella rättigheter, rätten till ett effektivt rättsmedel och till en opartisk domstol, rätten till försvar och presumtionen för oskuld och rätten till god förvaltning. Vid sidan av dessa rättigheter är det viktigt att lyfta fram den omständigheten att barn har särskilda rättigheter i enlighet med artikel 24 i stadgan och Förenta nationernas konvention om barnets rättigheter, som vidareutvecklas i allmän kommentar nr 25 till FN:s barnkonvention vad gäller den digitala miljön, som båda kräver att barns utsatthet beaktas och att de ges ett sådant skydd och sådan omsorg som krävs för deras välbefinnande. Även den grundläggande rättigheten till en hög nivå av miljöskydd, som också ingår i stadgan och genomförs i unionspolitik, bör beaktas vid bedömningen av allvarlighetsgraden i den skada som ett AI-system kan orsaka, inbegripet vad gäller människors hälsa och säkerhet.

När det gäller AI-system som är säkerhetskomponenter i produkter, eller som i sig själva utgör produkter, vilka omfattas av viss unionsharmoniseringslagstiftning som förtecknas i en bilaga till denna förordning, är det lämpligt att klassificera dessa som AI-system med hög risk enligt denna förordning om den berörda produkten genomgår förfarandet för bedömning av överensstämmelse hos ett tredjepartsorgan för bedömning av överensstämmelse enligt relevant unionsharmoniseringslagstiftning. Det handlar närmare bestämt om sådana produkter som maskiner, leksaker, hissar, utrustning och skyddssystem avsedda för användning i potentiellt explosionsfarliga omgivningar, radioutrustning, tryckutrustning, utrustning för fritidsfartyg, linbaneanläggningar, anordningar för förbränning av gasformiga bränslen, medicintekniska produkter, medicintekniska produkter för in vitro-diagnostik, fordon och luftfart.

En klassificering av ett AI-system som AI-system med hög risk enligt denna förordning bör inte nödvändigtvis innebära att den produkt vars säkerhetskomponent utgörs av AI-systemet, eller AI-systemet i sig självt som produkt, anses utgöra ett system med hög risk enligt de kriterier som fastställs i den relevanta unionsharmoniseringslagstiftning som är tillämplig på produkten. Detta gäller i synnerhet för förordningarna (EU) 2017/745 och (EU) 2017/746, i vilka tredjepartsbedömning av överensstämmelse föreskrivs för produkter med medelhög risk och hög risk.

När det gäller fristående AI-system, det vill säga andra AI-system med hög risk än sådana som utgör säkerhetskomponenter i produkter, eller som i sig själva utgör produkter, är det lämpligt att klassificera dem som AI-system med hög risk om de mot bakgrund av sitt avsedda ändamål utgör en hög risk för skada på personers hälsa och säkerhet eller grundläggande rättigheter, med beaktande både den möjliga skadans allvarlighetsgrad och sannolikheten för att den ska uppstå, och de används på ett antal specifikt fördefinierade områden som anges i denna förordning. Identifieringen av sådana system baseras på samma metoder och kriterier som även är avsedda att användas för framtida ändringar av förteckningen över AI-system med hög risk som kommissionen bör ges befogenhet att anta genom delegerade akter, för att ta hänsyn till den snabba tekniska utvecklingen samt potentiella förändringar i användningen av AI-system.

Det är också viktigt att klargöra att det kan finnas särskilda fall där AI-system som det hänvisas till inom fördefinierade områden som anges i denna förordning inte leder till en betydande risk för skada för de rättsliga intressen som skyddas inom dessa områden, eftersom de inte väsentligt påverkar beslutsfattandet eller inte skadar dessa intressen väsentligt. Vid tillämpningen av denna förordning bör ett AI-system som inte väsentligt påverkar resultatet av beslutsfattande förstås som ett AI-system som inte påverkar innehållet, och därmed resultatet, av beslutsfattande, oavsett om det är mänskligt eller automatiserat. Ett AI-system som inte väsentligt påverkar resultatet av beslutsfattande kan omfatta situationer där ett eller flera av nedanstående villkor är uppfyllda. Det första sådana villkoret bör vara att AI-systemet är avsett att utföra en snäv processuell uppgift, såsom ett AI-system som omvandlar ostrukturerade data till strukturerade data, ett AI-system som klassificerar inkommande handlingar i kategorier eller ett AI-system som används för att upptäcka dubbletter bland ett stort antal applikationer. Dessa uppgifter är av så snäv och begränsad art att de endast medför begränsade risker som inte ökar genom användning av ett AI-system i ett sammanhang som förtecknas som användning med hög risk i en bilaga till denna förordning. Det andra villkoret bör vara att den uppgift som utförs av AI-systemet är avsedd att förbättra resultatet av tidigare slutförd mänsklig verksamhet som kan vara relevant för den användning med hög risk som förtecknas i en bilaga till denna förordning. Med tanke på dessa egenskaper tillhandahåller AI-systemet endast ett extra skikt till mänsklig verksamhet och innebär följaktligen lägre risk. Detta villkor skulle till exempel tillämpas på AI-system som är avsedda att förbättra det språk som används i tidigare utarbetade dokument, till exempel när det gäller yrkesmässig ton eller akademisk språkstil eller genom att anpassa texten till ett visst varumärkesbudskap. Det tredje villkoret bör vara att AI-systemet är avsett att upptäcka beslutsmönster eller avvikelser från tidigare beslutsmönster. Risken skulle minska eftersom användningen av AI-systemet följer en tidigare slutförd mänsklig bedömning som den inte avser ersätta eller påverka utan ordentlig mänsklig granskning. Sådana AI-system omfattar till exempel system som, med tanke på en viss lärares betygsättningsmönster, kan användas för att i efterhand kontrollera om läraren har avvikit från betygsättningsmönstret för att på så sätt uppmärksamma potentiella inkonsekvenser eller avvikelser. Det fjärde villkoret bör vara att AI-systemet är avsett att utföra en uppgift som endast är förberedande för en bedömning som är relevant för de AI-system som förtecknas i en bilaga till denna förordning, så att den möjliga effekten av systemets utdata blir mycket låg när det gäller att utgöra en risk för den bedömning som ska följa. Detta villkor omfattar bland annat smarta lösningar för ärendehandläggning som omfattar olika funktioner såsom indexering, sökning, text- och talbehandling eller länkning av data till andra datakällor, eller AI-system som används för översättning av ursprungliga dokument. Under alla omständigheter bör AI-system som används i användningsfall med hög risk som förtecknas i en bilaga till denna förordning anses utgöra en betydande risk för skada på hälsa, säkerhet eller grundläggande rättigheter om AI-systemet innebär profilering i den mening som avses i artikel 4.4 i förordning (EU) 2016/679 eller artikel 3.4 i direktiv (EU) 2016/680 eller artikel 3.5 i förordning (EU) 2018/1725. För att säkerställa spårbarhet och transparens bör en leverantör som anser att ett AI-system inte är ett AI-system med hög risk på grundval av de villkor som avses ovan upprätta dokumentation om bedömningen innan systemet släpps ut på marknaden eller tas i bruk och bör på begäran tillhandahålla den dokumentationen till de nationella behöriga myndigheterna. En sådan leverantör bör vara skyldig att registrera AI-systemet i den EU-databas som inrättas enligt den här förordningen. I syfte att ge ytterligare vägledning för det praktiska genomförandet av de villkor enligt vilka AI-system som förtecknas i en bilaga till denna förordning undantagsvis inte är förenade med hög risk bör kommissionen, efter samråd med styrelsen, tillhandahålla riktlinjer som specificerar detta praktiska genomförande, kompletterat med en omfattande förteckning över praktiska exempel på fall av användning av AI-system som medför hög risk och fall av användning som inte medför hög risk.

Eftersom biometriska uppgifter utgör en särskild kategori av personuppgifter är det lämpligt att klassificera flera kritiska användningsfall av biometriska system som användningsfall med hög risk, i den mån användningen av dem är tillåten enligt relevant unionsrätt och nationell rätt. Tekniska brister i AI-system som är avsedda för biometrisk fjärridentifiering av fysiska personer kan leda till biaser i resultat och medföra diskriminerande effekter. Risken för sådana biaser i resultat och diskriminerande effekter är särskilt relevant när det gäller ålder, etnicitet, ras, kön eller funktionsnedsättning. System för biometrisk fjärridentifiering bör därför klassificeras som system med hög risk med tanke på de risker de medför. En sådan klassificering utesluter AI-system som är avsedda att användas för biometrisk verifiering, inbegripet autentisering, vars enda syfte är att bekräfta att en specifik fysisk person är den som vederbörande utger sig för att vara och för att bekräfta identiteten på en fysisk person med det enda syftet att få åtkomst till en tjänst, låsa upp en enhet eller ha säker tillgång till lokaler. Dessutom bör AI-system som är avsedda att användas för biometrisk kategorisering enligt känsliga attribut eller egenskaper som skyddas enligt artikel 9.1 i förordning (EU) 2016/679 på grundval av biometriska uppgifter, i den mån dessa inte är förbjudna enligt den här förordningen, och system för känsloigenkänning som inte är förbjudna enligt den här förordningen, klassificeras som AI-system med hög risk. Biometriska system som är avsedda att användas enbart för att möjliggöra cybersäkerhet och åtgärder för skydd av personuppgifter bör inte betraktas som AI-system med hög risk.

När det gäller förvaltning och drift av kritisk infrastruktur är det lämpligt att som AI-system med hög risk klassificera AI-system avsedda att användas som säkerhetskomponenter i förvaltningen och driften av kritisk digital infrastruktur enligt förteckningen i punkt 8 i bilagan till direktiv (EU) 2022/2557, vägtrafik och tillhandahållandet av vatten, gas, uppvärmning och el, eftersom funktionsavbrott eller funktionsstörning i sådana system kan medföra risk för personers liv och hälsa i stor skala och leda till märkbara störningar av det normala bedrivandet av social och ekonomisk verksamhet. Säkerhetskomponenter i kritisk infrastruktur, inbegripet kritisk digital infrastruktur, är system som används för att direkt skydda kritisk infrastrukturs fysiska integritet eller människors hälsa och säkerhet och egendom, men som inte är nödvändiga för att systemet ska fungera. Funktionsavbrott eller funktionsstörning i sådana komponenter kan direkt leda till risker för den kritiska infrastrukturens fysiska integritet och därmed till risker för människors hälsa och säkerhet och egendom. Komponenter som är avsedda att användas enbart för cybersäkerhetsändamål bör inte betraktas som säkerhetskomponenter. Exempel på säkerhetskomponenter i sådan kritisk infrastruktur kan omfatta system för övervakning av vattentryck eller styrsystem för brandlarm vid centrum för molntjänster.

Införandet av AI-system inom utbildning är viktigt för att främja digital utbildning av hög kvalitet och göra det möjligt för alla studerande och lärare att förvärva och dela de digitala färdigheter och kompetenser som krävs, inbegripet mediekunnighet, och kritiskt tänkande, för att aktivt delta i ekonomin, samhället och i demokratiska processer. AI-system som används för yrkesutbildning eller annan utbildning, i synnerhet när det gäller fastställandet av personers tillgång till eller antagning till institutioner för yrkesutbildning eller annan utbildning eller program på alla nivåer, för utvärdering av personers läranderesultat, för bedömning av en persons lämpliga utbildningsnivå och för väsentlig påverkan av den utbildningsnivå som personer kommer att få eller kommer kunna få tillgång till, eller för övervakning och upptäckt av förbjudet beteende bland studerande under provtillfällen, bör klassificeras som AI-system med hög risk eftersom de kan avgöra en persons utbildningsväg och yrkeskarriär och därmed påverka en persons försörjningsmöjligheter. När sådana system utformas och används på otillbörligt sätt kan de vara särskilt inkräktande och kan innebära en kränkning av rätten till utbildning liksom rätten att inte utsättas för diskriminering eller för en fortsättning på historiska diskrimineringsmönster mot till exempel kvinnor, vissa åldersgrupper, personer med funktionsnedsättning eller personer av vissa etniska ursprung eller av viss sexuell läggning.

AI-system som används för anställning, arbetsledning och tillgång till egenföretagande, i synnerhet när det gäller rekrytering eller urval av personer, för beslutsfattande som påverkar villkoren för arbetsrelaterad befordran, eller uppsägning av arbetsrelaterade avtalsförhållanden, för fördelning av uppgifter på grundval av individuellt beteende eller personlighetsdrag och egenskaper och för övervakning eller utvärdering av personer i arbetsrelaterade avtalsförhållanden, bör också klassificeras som AI-system med hög risk, eftersom dessa system märkbart kan påverka framtida karriärutsikter och försörjning för dessa personer samt arbetstagares rättigheter. Relevanta arbetsrelaterade avtalsförhållanden bör på ett meningsfullt sätt innefatta arbetstagare och personer som tillhandahåller tjänster via plattformar enligt kommissionens arbetsprogram för 2021. Under hela rekryteringsförfarandet och vid utvärdering, befordran eller bibehållande av personer i arbetsrelaterade avtalsförhållanden, kan sådana system reproducera historiska mönster av diskriminering, exempelvis mot kvinnor, vissa åldersgrupper, personer med funktionsnedsättning eller mot personer på grund av ras, etniskt ursprung eller sexuell läggning. AI-system som används för att övervaka sådana personers prestation och beteende kan också undergräva deras grundläggande rätt till dataskydd och personlig integritet.

Ett annat område där användningen av AI-system förtjänar särskild vaksamhet är när det gäller tillgång till och åtnjutande av vissa väsentliga privata och offentliga tjänster och förmåner som är nödvändiga för att människor fullt ut ska kunna delta i samhället eller förbättra sin levnadsstandard. I synnerhet är fysiska personer som ansöker om eller får viktiga offentliga bidragsförmåner och tjänster från offentliga myndigheter, nämligen hälso- och sjukvårdstjänster, sociala trygghetsförmåner, sociala tjänster som tillhandahåller skydd i fall som moderskap, sjukdom, arbetsolyckor, vårdbehov eller ålderdom och arbetslöshet samt socialbidrag och bostadsbidrag, vanligtvis beroende av dessa förmåner och tjänster och befinner sig i en utsatt situation i förhållande till de ansvariga myndigheterna. Om AI-system används för att avgöra om sådana förmåner och tjänster ska beviljas, vägras, minskas, upphävas eller återkallas av myndigheterna, inbegripet huruvida mottagarna är legitimt berättigade till sådana förmåner eller tjänster, kan dessa system ha en betydande inverkan på personers försörjning och kan inkräkta på deras grundläggande rättigheter, såsom rätten till socialt skydd, icke-diskriminering, mänsklig värdighet eller ett effektivt rättsmedel och bör där klassificeras som AI-system med hög risk. Denna förordning bör dock inte hämma utvecklingen och användningen av innovativa metoder inom offentlig förvaltning, som kan gagnas av en bredare användning av säkra AI-system som uppfyller kraven, förutsatt att dessa system inte medför hög risk för juridiska och fysiska personer. Dessutom bör AI-system som används för att utvärdera fysiska personers kreditbetyg eller kreditvärdighet klassificeras som AI-system med hög risk, eftersom de avgör de berörda personernas tillgång till ekonomiska resurser eller väsentliga tjänster som bostad, el och telekommunikationstjänster. AI-system som används för dessa ändamål kan medföra diskriminering av personer eller grupper och kan reproducera sådana historiska diskrimineringsmönster som det som baseras på rasmässigt eller etniskt ursprung, kön, funktionsnedsättning, ålder eller sexuell läggning, eller skapa nya former av diskriminerande effekter. AI-system som föreskrivs i unionsrätten i syfte att upptäcka bedrägerier i samband med tillhandahållande av finansiella tjänster och för tillsynsändamål för att beräkna kreditinstituts och försäkringsföretags kapitalkrav bör dock inte betraktas som AI-system med hög risk enligt denna förordning. Vidare kan AI-system som är avsedda att användas för riskbedömning och prissättning när det gäller fysiska personer av sjuk- och livförsäkring också ha en betydande inverkan på människors försörjningsmöjligheter och kan, om de inte utformas, utvecklas och används på rätt sätt, inkräkta på deras grundläggande rättigheter och leda till allvarliga konsekvenser för människors liv och hälsa, inbegripet ekonomisk utestängning och diskriminering. Slutligen bör även AI-system som används för att utvärdera och klassificera nödsamtal från fysiska personer eller för att sända ut eller fastställa prioriteringsordning för utsändning av larmtjänster, inbegripet av polis, brandkår och sjukvård, samt av patientsorteringssystem för akutsjukvård klassificeras som AI-system med hög risk, eftersom dessa system fattar beslut i situationer som är mycket kritiska för personers liv, hälsa och egendom.

Med tanke på brottsbekämpande myndigheters roll och ansvar kännetecknas deras åtgärder, när de omfattar vissa typer av användning av AI-system, av en betydande grad av maktobalans och kan leda till övervakning, gripande eller frihetsberövande av en fysisk person, liksom annan negativ inverkan på grundläggande rättigheter som garanteras i stadgan. AI-system kan – i synnerhet om de inte tränats med data av hög kvalitet, inte uppfyller lämpliga krav i fråga om prestanda, riktighet eller robusthet, eller inte har utformats och testats tillräckligt innan de släpps ut på marknaden eller på annat sätt tas i bruk – peka ut människor på ett diskriminerande eller på ett annat oriktigt eller orättvist sätt. Dessutom kan utövandet av viktiga processuella grundläggande rättigheter, såsom rätten till ett effektivt rättsmedel och till en opartisk domstol samt rätten till försvar och presumtionen för oskuld, hämmas, i synnerhet i de fall då AI-systemen inte är tillräckligt transparenta, förklarade och dokumenterade. Det är därför lämpligt att, i den mån deras användning är tillåten enligt relevant unionsrätt och nationell rätt, som AI-system med hög risk klassificera ett antal AI-system som är avsedda att användas i brottsbekämpningssammanhang där det är särskilt viktigt med riktighet, tillförlitlighet och transparens för att undvika negativa effekter, upprätthålla allmänhetens förtroende och säkerställa ansvarsskyldighet och effektiv rättslig prövning. Mot bakgrund av åtgärdernas art och relaterade risker bör dessa AI-system med hög risk i synnerhet inbegripa AI-system avsedda att användas av brottsbekämpande myndigheter eller för deras räkning, eller av unionens institutioner, organ eller byråer till stöd för brottsbekämpande myndigheter vid bedömning av risken för att en fysisk person ska falla offer för brott, som lögndetektorer och liknande verktyg, för utvärdering av bevisens tillförlitlighet i samband med utredning eller lagföring av brott, och, i den mån det inte är förbjudet enligt denna förordning, för bedömning av risken för att en fysisk person begår brott eller återfaller i brott inte enbart på grundval av profilering av fysiska personer eller en bedömning av personlighetsdrag och egenskaper eller tidigare brottsligt beteende hos fysiska personer eller grupper, för profilering i samband med upptäckt, utredning eller lagföring av brott. AI-system som är specifikt avsedda att användas av skattemyndigheter och tullmyndigheter för administrativa förfaranden samt av finansunderrättelseenheter som utför administrativa uppgifter för analys av information enligt unionsrätt på området penningtvätt bör inte klassificeras som AI-system med hög risk som används av brottsbekämpande myndigheter i syfte att förebygga, förhindra, upptäcka, utreda eller lagföra brott. Användningen av AI-verktyg av brottsbekämpande myndigheter och andra relevanta myndigheter bör inte bli en faktor som bidrar till ojämlikhet, sociala klyftor eller utestängning. Den inverkan som användningen av AI-verktyg har på misstänktas rätt till försvar bör inte ignoreras, särskilt svårigheten att få meningsfull information om hur dessa system fungerar och den därav följande svårigheten att överklaga resultaten i domstol, särskilt för fysiska personer som är under utredning.

AI-system som används i samband med migration, asyl och gränskontrollförvaltning påverkar människor som ofta är i en särskilt utsatt situation och som är beroende av resultatet av de behöriga offentliga myndigheternas åtgärder. Det är därmed särskilt viktigt att de AI-system som används i dessa sammanhang är tillförlitliga, icke-diskriminerande och transparenta, för att garantera iakttagandet av de påverkade personernas grundläggande rättigheter, särskilt deras rätt till fri rörlighet, icke-diskriminering, skydd av privatliv och personuppgifter, internationellt skydd och god förvaltning. I den mån deras användning är tillåten enligt relevant unionsrätt och nationell rätt är det därför lämpligt att som AI-system med hög risk klassificera AI-system som är avsedda att användas som lögndetektorer eller liknande verktyg av behöriga offentliga myndigheter eller för deras räkning, eller av unionens institutioner, organ eller byråer som anförtrotts uppgifter på områdena migration, asyl och gränskontrollförvaltning, för bedömning av vissa risker som fysiska personer som reser in till en medlemsstats territorium eller som ansöker om visering eller asyl medför, för att bistå behöriga offentliga myndigheter i granskningen, inbegripet den relaterade bedömningen av bevisens tillförlitlighet, av ansökningar om asyl, visering och uppehållstillstånd och därmed förbundna klagomål med avseende på syftet att fastställa om den ansökande fysiska personen uppfyller kraven för denna status, i syfte att upptäcka, känna igen eller identifiera fysiska personer i samband med migration, asyl och gränskontrollförvaltning, med undantag för kontroll av resehandlingar. AI-system på området migration, asyl och gränskontrollförvaltning vilka omfattas av denna förordning bör uppfylla de relevanta förfarandemässiga krav som fastställs i Europaparlamentets och rådets förordning (EG) nr 810/2009(³²), Europaparlamentets och rådets direktiv 2013/32/EU(³³) och annan relevant unionsrätt. AI-system som används i samband med migration, asyl och gränskontrollförvaltning bör under inga omständigheter användas av medlemsstater eller unionens institutioner, organeller byråer som ett medel för att kringgå sina internationella skyldigheter enligt FN-konventionen om flyktingars rättsliga ställning, som undertecknades i Genève den 28 juli 1951 i dess ändrade lydelse genom protokollet av den 31 januari 1967. De bör inte heller användas för att på något sätt bryta mot principen om non-refoulement eller neka säkra och effektiva lagliga vägar in på unionens territorium, inbegripet rätten till internationellt skydd.

Vissa AI-system som är avsedda för rättsskipning och demokratiska processer bör klassificeras som AI-system med hög risk, mot bakgrund av deras potentiellt betydande inverkan på demokrati, rättsstatens principer, individuella friheter och rätten till ett effektivt rättsmedel och till en opartisk domstol. För att motverka riskerna för potentiella biaser, felaktigheter och bristande insyn är det i synnerhet lämpligt att som AI-system med hög risk klassificera sådana AI-system som är avsedda att användas av en rättslig myndighet eller på dess vägnar för att hjälpa de rättsliga myndigheterna att efterforska och tolka fakta och lagstiftning och att tillämpa denna lagstiftning på en konkret uppsättning fakta. AI-system som är avsedda att användas av organ för alternativ tvistlösning för dessa ändamål bör också anses vara förenade med hög risk när resultaten av förfarandena för alternativ tvistlösning har rättsverkan för parterna. Användningen av AI-verktyg kan stödja domarnas beslutanderätt eller rättsväsendets oberoende men bör inte ersätta det: det slutliga beslutsfattandet måste förbli en människodriven verksamhet. Klassificeringen av AI-system som AI-system med hög risk bör dock inte omfatta AI-system som är avsedda för rent administrativa stödfunktioner som inte påverkar den faktiska rättskipningen i enskilda fall, exempelvis anonymisering eller pseudonymisering av rättsliga beslut, handlingar eller data, kommunikation mellan anställda, administrativa uppgifter.

Utan att det påverkar de regler som föreskrivs i Europaparlamentets och rådets förordning (EU) 2024/900(³⁴) och för att hantera riskerna för otillbörlig extern inblandning i rösträtten enligt artikel 39 i stadgan och negativa följder för demokrati och rättsstatens principer bör AI-system som är avsedda att användas för att påverka resultatet av ett val eller en folkomröstning eller fysiska personers röstbeteende vid val eller folkomröstningar klassificeras som AI-system med hög risk, med undantag för AI-system vars utdata fysiska personer inte är direkt exponerade för, såsom verktyg som används för att organisera, optimera och strukturera politiska kampanjer ur administrativ och logistisk synvinkel.

Det faktum att ett AI-system klassificerats som ett AI-system med hög risk enligt denna förordning bör inte tolkas som att användningen av det systemet är laglig enligt andra unionsrättsliga akter eller enligt nationell rätt som är förenlig med unionsrätten, exempelvis vad gäller skydd av personuppgifter, användning av lögndetektorer och liknande verktyg eller andra system för att läsa av fysiska personers känslomässiga tillstånd. All sådan användning bör även fortsättningsvis endast ske i enlighet med de tillämpliga krav som följer av stadgan eller av tillämpliga rättsakter i unionens sekundärrätt och nationell rätt. Denna förordning bör inte tolkas som att den omfattar en rättslig grund för behandling av personuppgifter, inbegripet särskilda kategorier av personuppgifter, i förekommande fall, såvida inte annat uttryckligen föreskrivs i denna förordning.