Art. 14 Mänsklig kontroll | AI act regulation | AI act

1. AI-system med hög risk ska utformas och utvecklas på ett sådant sätt, inbegripet med lämpliga verktyg för människa–maskin-gränssnitt, att fysiska personer på ett effektivt sätt kan utöva kontroll över dem när de används.
1. Mänsklig kontroll ska syfta till att förebygga eller minimera de risker för hälsa, säkerhet eller grundläggande rättigheter som kan uppstå när ett AI-system med hög risk används i enlighet med sitt avsedda ändamål eller under förhållanden där det kan förekomma rimligen förutsebar felaktig användning, särskilt när sådana risker kvarstår trots tillämpningen av andra krav i detta avsnitt.
1. Tillsynsåtgärderna ska stå i proportion till riskerna, graden av autonomi och användningssammanhang för AI-systemet med hög risk, och ska säkerställas genom en eller båda av följande typer av åtgärder:
  1. Åtgärder som leverantören har fastställt och, när det är tekniskt möjligt, byggt in i AI-systemet med hög risk innan det släpps ut på marknaden eller tas i bruk.
  2. Åtgärder som leverantörer har fastställt innan AI-systemet med hög risk släpps ut på marknaden eller tas i bruk och som är lämpliga att genomföras av tillhandahållaren.
1. Vid genomförandet av punkterna 1, 2 och 3 ska AI-systemet med hög risk tillhandahållas tillhandahållaren på ett sådant sätt att fysiska personer som fått i uppdrag att utöva mänsklig kontroll ges möjlighet, enligt vad som är lämpligt och proportionellt, att
  1. korrekt förstå den relevanta kapaciteten och begränsningarna hos AI-systemet med hög risk och på vederbörligt sätt kunna övervaka dess drift, bland annat i syfte att upptäcka och ta itu med avvikelser, funktionsstörningar och oväntad prestanda,
  2. förbli medvetna om den möjliga tendensen att automatiskt eller i alltför hög grad lita på de utdata som produceras av ett AI-system med hög risk (automation bias), särskilt när det gäller AI-system med hög risk som används för att tillhandahålla information eller rekommendationer för beslut som ska fattas av fysiska personer,
  3. korrekt kunna tolka utdata från AI-systemet med hög risk, med beaktande av till exempel tillgängliga tolkningsverktyg och tolkningsmetoder,
  4. i vissa situationer besluta att inte använda AI-systemet med hög risk eller på annat sätt bortse från, åsidosätta eller reversera de resultat som AI-systemet med hög risk genererar,
  5. ingripa i driften av AI-systemet med hög risk eller stoppa systemet med en stoppknapp eller ett liknande förfarande som gör det möjligt för systemet att stoppas i ett säkert läge.
1. För AI-system med hög risk som avses i punkt 1 a i bilaga III ska de åtgärder som avses i punkt 3 i denna artikel dessutom vara sådana att de säkerställer att ingen åtgärd och inget beslut vidtas respektive fattas av tillhandahållaren på grundval av den identifiering som systemet resulterar i, såvida inte denna identifiering har kontrollerats och bekräftats separat av minst två fysiska personer med nödvändig kompetens, utbildning och auktoritet.
2. Kravet på en separat kontroll av minst två fysiska personer är inte tillämpligt på AI-system med hög risk som används inom områdena brottsbekämpning, migration, gränskontroll eller asyl, om en tillämpning av detta krav enligt unionsrätten eller nationell rätt skulle betraktas som oproportionell.

AI-system med hög risk bör utformas och utvecklas på ett sådant sätt att fysiska personer kan övervaka deras funktionssätt, säkerställa att de används som avsett och att deras effekter hanteras under systemets livscykel. För det ändamålet bör lämpliga åtgärder för mänsklig kontroll identifieras av leverantören av systemet innan detta släpps ut på marknaden eller tas i bruk. Sådana åtgärder bör i synnerhet, när så är lämpligt, garantera att systemet är föremål för inbyggda operativa begränsningar som inte kan åsidosättas av systemet självt och som lyder den mänskliga operatören, och att de fysiska personer som anförtros uppgiften att utöva mänsklig kontroll har den kompetens, utbildning och auktoritet som de behöver för att utföra sina uppgifter. Det är också viktigt, beroende på vad som är lämpligt, att säkerställa att AI-system med hög risk innehåller mekanismer för att vägleda och informera den fysiska person som anförtros uppgiften att utöva mänsklig kontroll när det gäller att fatta välgrundade beslut om, när och hur ett ingripande ska ske för att undvika negativa konsekvenser eller risker eller stoppa systemet om det inte fungerar som avsett. Med tanke på de betydande konsekvenserna för personer vid vissa biometriska identifieringssystems felaktiga träffar är det lämpligt att föreskriva ett förstärkt krav på mänsklig kontroll för dessa system så att tillhandahållaren inte kan vidta åtgärder eller fatta beslut på grundval av den identifiering som systemet ger upphov till såvida inte detta har verifierats och bekräftats separat av minst två fysiska personer. Dessa personer kan komma från en eller flera enheter och inbegripa den person som driver eller använder systemet. Detta krav bör inte medföra onödiga bördor eller förseningar och det kan vara tillräckligt att de olika personernas separata kontroller automatiskt registreras i de loggar som genereras av systemet. Med tanke på särdragen inom brottsbekämpning, migration, gränskontroll och asyl bör detta krav inte tillämpas i fall där tillämpningen av detta krav enligt unionsrätten eller nationell rätt betraktas som oproportionerlig.

Artikel 14 Mänsklig kontroll

Relevant recitals