Performance of independent audits

De revisionsuttalanden som avses i artikel 37.4 g i förordning (EU) 2022/2065 bör utfärdas av revisionsföretag med rimlig tillförlitlighetsnivå. För att uppnå en rimlig tillförlitlighetsnivå bör revisionsföretaget ha en hög, men inte absolut, konfidensgrad om att det inte förekommer några felaktigheter, såsom utelämnanden, missvisande uppgifter eller fel, som inte upptäcktes vid revisionen. För att säkerställa den tillförlitlighetsnivån bör revisionsföretaget bland annat hämta in tillräcklig bevisning och använda lämpliga revisionsmetoder vid bedömningen.

Enligt artikel 37.1 i förordning (EU) 2022/2065 bör oberoende revisioner utföras åtminstone årligen, i samband med den årliga omgång riskbedömningar som avses i artikel 34 i den förordningen. Det kan dock i vissa fall vara nödvändigt att utföra revisioner oftare. Revisionerna bör ske så att det säkerställs en fortlöpande övervakning av att de leverantörer som revisionen avser efterlever förordning (EU) 2022/2065 och relevanta uppförandekoder och krisprotokoll. Den leverantör som är föremål för revision bör säkerställa att den tidsperiod för vilken revisionen bedömer uppfyllandet av de skyldigheter och åtaganden som revisionen avser kompletterar den tidsperiod som omfattas av den föregående revisionen av leverantörens uppfyllande av dessa skyldigheter och åtaganden, och att den inleds senast då den tidsperiod som omfattas av den föregående revisionen avslutas. I och med att en slutförd revision omfattar både den bedömning som gjorts av revisionsföretaget och upprättandet av en revisionsrapport, bör de leverantörer som är föremål för revision säkerställa att tidsåtgången för revisionen gör att revisioner kan slutföras minst en gång per år och att revisionsrapporterna utan onödigt dröjsmål lämnas in till kommissionen och samordnaren för digitala tjänster, i enlighet med artikel 42.4 i förordning (EU) 2022/2065.

Leverantörer som är föremål för revision bör under inga omständigheter lägga sig i utförandet av revisionen och dess slutsatser, utan de ska uppfylla sina skyldigheter enligt artikel 37 i förordning (EU) 2022/2065 bland annat genom att enas om avtalsvillkor med revisionsföretaget och, före valet av revisionsföretag, kontrollera att företaget uppfyller de villkor som avses i artikel 37.3 i förordning (EU) 2022/2065.

Den leverantör som är föremål för revision bör till exempel bedöma de avtal som tidigare har tecknats med revisionsföretaget eller avtal som tecknats mellan revisionsföretaget och juridiska personer som har anknytning till den leverantör som är föremål för revision. Den leverantör som är föremål för revision bör även lägga till klausuler i avtal med revisionsföretag för att säkerställa att de villkoren i artikel 37.3 i förordning (EU) 2022/2065 uppfylls. Om revisionsföretaget består av flera enheter bör den leverantör som är föremål för revision kontrollera att alla dessa enheter uppfyller dessa villkor, inbegripet, i förekommande fall, eventuella underleverantörer som revisionsföretaget har anlitat i syfte att på något sätt bistå vid revisionen. Var och en av de enheter som utför revisionen ska individuellt uppfylla kraven på oberoende och avsaknad av intressekonflikter, men kraven på kompetens, sakkunskap och tekniska resurser ska uppfyllas tillsammans av dessa enheter, vilket innebär att olika enheter kan utföra olika delar av revisionen och bidra med den kapacitet, kompetens och sakkunskap som behövs för utförandet av revisionen. Revisionsrapporten ska innehålla uppgifter om varje enhets ansvarsområde för respektive del av revisionen.

I enlighet med artikel 37.3 a i i förordning (EU) 2022/2065 ska den leverantör som är föremål för revision särskilt bemöda sig om att undvika att revisionsföretaget tillhandahåller andra tjänster än revision till den leverantör som revisionen avser vid kontrollen av huruvida ett revisionsföretag uppfyller kraven på oberoende och avsaknad av intressekonflikter. Den leverantör som är föremål för revision bör till exempel bedöma huruvida några tjänster har tillhandahållits, såsom tjänster som rör något system, någon programvara eller någon process som har anknytning till ärenden som är relevanta för den skyldighet eller det åtagande som revisionen avser, till exempel konsulttjänster för bedömning av prestanda, styrning eller programvara, utbildningstjänster, utveckling eller underhåll av system eller underleverans av innehållsmoderering. Dessa tjänster inbegriper även tjänster som tillhandahållits den leverantör som är föremål för revision i form av rådgivning om eller utveckling av interna kontroller, eller intern bedömning av leverantörens efterlevnad av förordning (EU) 2022/2065 eller uppförandekoder och krisprotokoll, även när detta är begränsat till punktvisa tester, till exempel tredjepartstester av prestanda hos system för innehållsmoderering. Detta bör inte utesluta revisionsföretag som har utfört lagstadgad revision.

Med tanke på komplexiteten och särarten hos granskningar av efterlevnaden av förordning (EU) 2022/2065 är det avgörande att revisionsföretaget har sakkunskap inom ämnet, för att revisionerna ska kunna utföras med rimlig tillförlitlighetsnivå och för att revisionsföretaget ska kunna använda det yrkesmässiga omdöme och den professionella skepsis som krävs för att veta, till exempel, vilka uppgifter som behövs för att kunna utföra revisionsförfarandet eller ifrågasätta motsägelsefulla uppgifter. Den leverantör som är föremål för revision bör därför kontrollera att revisionsföretaget innehar denna sakkunskap, inbegripet inom riskhantering, när det gäller både revisionsrisker och innehållet i förordning (EU) 2022/2065 och i synnerhet de systemrisker för samhället som avses i artikel 34 i den förordningen. Den leverantör som är föremål för revision bör även kontrollera revisionsföretagets tekniska kompetens och kapacitet med avseende på den specifika tjänst som revisionen avser, inbegripet sakkunskap om dess innehåll, till exempel när det gäller funktion och effekter hos algoritmiska system såsom rekommendationssystem och andra sociotekniska system som drivs av leverantören. Revisionsföretaget bör ha möjlighet att anlita underleverantörer eller på annat vis erhålla och tillämpa den sakkunskap och kapacitet som krävs, och den leverantör som revisionen avser bör kontrollera och säkerställa att revisionsföretaget kan erhålla denna sakkunskap och kapacitet i tid för att kunna utföra revisionen.

Vid kontrollen av om revisionsföretaget uppfyller villkoren i artikel 37.3 i förordning (EU) 2022/2065 bör den leverantör som revisionen avser bedöma alla relevanta bevis, inbegripet, i tillämpliga fall, intyg, redovisningar och revisionsrapporter som utfärdats av revisionsföretaget. Lämplig sakkunskap kan styrkas exempelvis genom praktisk erfarenhet av riskbedömning och riskhantering samt genom akademiska studier, vetenskapliga publikationer och erfarenhet av relevanta revisioner. Revisionsrapporterna ska innehålla alla relevanta styrkande handlingar som visar att revisionsföretaget uppfyller de nödvändiga villkoren.

Enligt artikel 37.2 i förordning (EU) 2022/2065 ska den leverantör som är föremål för revision tillhandahålla revisionsföretaget det samarbete och bistånd som krävs för att revisionerna ska kunna utföras på ett ändamålsenligt, effektivt och snabbt sätt samt undvika att på något vis lägga sig i revisionsföretagets oberoende beslut. Den leverantör som revisionen avser bör till exempel inte tvinga, vägleda eller på annat sätt påverka revisionsföretaget med någon form av avtalsmässiga eller andra begränsningar eller incitament vad gäller dess val och utförande av revisionsförfaranden eller metoder, insamling och behandling av uppgifter och revisionsbevis, analys, tester, revisionsuttalande eller utarbetande av revisionsslutsatser.

För att säkerställa det samarbete och bistånd som krävs under revisionen bör den leverantör som revisionen avser se till att revisionsföretaget har tillgång till alla uppgifter som krävs för utförandet av revisionen. Den leverantör som revisionen avser bör så tidigt som möjligt, och i vart fall innan revisionsföretaget påbörjar revisionsförfarandena, översända alla handlingar och intyg som krävs. Enligt artikel 41.3 d och e i förordning (EU) 2022/2065, till exempel, ska funktionen för regelefterlevnad hos den leverantör som är föremål för revision övervaka efterlevnaden av alla de skyldigheter och åtaganden som omfattas av revisionen, vilket bör utmynna i inrättandet av interna kontroller. Revisionsföretaget bör därför ges tillgång till all information som rör sådana kontroller och all annan information som beskriver strategin för att säkerställa regelefterlevnad hos den leverantör som revisionen avser. Den leverantör som revisionen avser bör i synnerhet tillhandahålla revisionsföretaget de riktmärken som leverantören använder för att säkerställa efterlevnaden av förordning (EU) 2022/2065, så att revisionsföretaget kan basera revisionskriterierna på denna information.. Revisionsföretaget bör också ges tillgång till eventuella analyser som leverantören som revisionen avser har gjort av inneboende risker och kontrollrisker. Den berörda leverantören bör tillhandahålla revisionsföretaget information som underlättar förståelsen av den granskade tjänsten, dess styrelseformer, olika arbetsgruppers respektive ansvarsområden samt beslutsstrukturer, inbegripet dess funktion för regelefterlevnad, liksom presentationer av dess it-system, data- och registerstrukturer och samspelet mellan olika algoritmiska system av betydelse för revisionen.

Revisionsföretaget ska när som helst under utförandet av revisionen kunna begära eventuella ytterligare uppgifter som krävs. Tillgång till dessa uppgifter ska ges utan onödigt dröjsmål på ett sätt som inte på något vis hindrar utförandet av revisionen. Detta bör innefatta tillgång till uppgifter, inklusive personuppgifter, som samlats in från olika källor, såsom dokument, algoritmiska system, databaser eller intervjuer, enligt vad som är tillämpligt. Den leverantör som är föremål för revision bör även ge revisionsföretaget tillgång till förfaranden och processer samt it-system, såsom algoritmiska system och informationssystem, inbegripet testmiljöer. För att revisionsföretaget ska kunna granska dessa system på ett meningsfullt sätt bör den leverantör som revisionen avser tillhandahålla alla tillgängliga resurser som krävs för att hjälpa revisionsföretaget att komma åt och bedöma systemen, till exempel genom att ställa leverantörens behöriga personal till förfogande för att svara på frågor eller köra testmiljöer och förklara deras funktion, eller underlätta övrig tillgång som behövs till personal och lokaler, till exempel byggnader. Tillgång till förfaranden och processer kan till exempel innebära tillgång till beskrivningar eller handlingar som rör den interna beslutsprocessen för den leverantör som revisionen avser. Tillgång till relevanta uppgifter kan även kräva andra åtgärder från den leverantör som revisionen avser för att den ska uppfylla sin skyldighet till samarbete och bistånd. Intervjuer med personalen kan till exempel kräva att den leverantör som revisionen avser tillhandahåller säkra lokaler. När det är nödvändigt för utförandet av revisionen bör de leverantörer som är föremål för revision uppfylla sin samarbets- och biståndsskyldighet gentemot revisionsföretaget genom att bland annat underlätta tillgången till relevanta data om deras verksamhet som innehas av deras utomstående underleverantörer. Detta kan vara fallet exempelvis när det gäller resultatet av åtgärder för innehållsmoderering, utbildningsmaterial eller riktlinjer som används av utomstående underleverantörer som modererar innehåll, eller försäljare och tjänsteleverantörer för it-lösningar, inbegripet exempelvis algoritmer och tillämpningar som används i rekommendationssystem eller system för annonsering som används av den leverantör som revisionen avser.

För att underlätta meningsfull insyn i resultaten av revisionen och möjliggöra ett heltäckande och jämförbart format för de revisionsrapporter som avses i artikel 37.4 i förordning (EU) 2022/2065 och de rapporter om genomförandet av revisionen som avses i artikel 37.6 i den förordningen bör det i denna förordning fastställas mallar för dessa rapporter och ett krav på ett antal bilagor till var och en av rapporterna. De mallar som fastställs i denna förordning kräver omfattande rapportering, men de bör inte påverka de krav på offentliggörande av rapporter som fastställs i artikel 42.4 och 42.5 i förordning (EU) 2022/2065.

För att säkerställa att revisionsföretaget erhåller det bistånd som krävs av den leverantör som revisionen avser, utan inblandning i revisionen, och att revisionsföretaget uppfyller alla villkor för utarbetandet av revisionen och levererar revisionsrapporten i tid och med den kvalitet som krävs för att uppnå en rimlig tillförlitlighetsnivå bör vissa regler fastställas för att ange förfarandena för utarbetandet av revisionen. De skyldigheter och ansvar som åligger den leverantör som revisionen avser och revisionsföretaget, inbegripet alla underleverantörer eller partnerorganisationer och den personal som ansvarar för utförandet av revisionen, bör fastställas i ett skriftligt avtal, däribland genom avtalsvillkor. Det skriftliga avtalet bör även innehålla uppgifter om de skyldigheter och åtaganden som revisionen avser, fördelningen av resurser samt reglerna för interaktion och kontaktpunkter mellan revisionsföretaget och den leverantör som revisionen avser. Alla styrkande handlingar och avtal bör bifogas revisionsrapporten, även om handlingarna är i form av en skrivelse om åtagande av revision eller andra avtalsvillkor.

För att möjliggöra en heltäckande översikt och underlätta ansvarsskyldigheten för de leverantörer som är föremål för revision bör revisionsrapporten innehålla en slutsats avseende revisionsföretagets bedömning av om den leverantör som är föremål för revision har uppfyllt de skyldigheter eller åtaganden som revisionen avser. Varje revisionsslutsats ska bygga på en rimlig tillförlitlighetsnivå och vara antingen ”positiv”, ”positiv med anmärkningar” eller ”negativ” för att kunna ligga till grund för revisionsuttalandet. Slutsatsen ”positivt med anmärkningar” bör inte avse bedömningen av själva efterlevnaden. Sådana anmärkningar kan till exempel avse leverantörens tillhandahållande av uppgifter på revisionsföretagets begäran eller förbättringar av det underhåll eller de kontroller som utförs av den leverantör som revisionen avser, eller avse ytterligare begränsningsplaner och förbättringar som den berörda leverantören avser att göra. Om revisionsföretaget finner att den leverantör som revisionen avser uppfyller en skyldighet eller ett åtagande som granskats, i enlighet med de riktmärken som rapporterats av den leverantör som revisionen avser, men anser det nödvändigt att ta med anmärkningar som rör dessa riktmärken, bör revisionsslutsatsen vara ”positiv med anmärkningar”, eftersom sådana anmärkningar kan vara till nytta för att informera leverantören om eventuella ändringar av dessa riktmärken, baserat på revisionsföretagets kunnande och sakkunskaper samt information från externa källor. Exempelvis skulle anmärkningarna kunna beakta vägledning från kommissionen, inbegripet genom kommissionens riktlinjer enligt artikel 35.3 i förordning (EU) 2022/2065 och eventuella andra relevanta riktlinjer som utfärdats av kommissionen med avseende på tillämpningen av den förordningen, rapporter från den europeiska nämnd för digitala tjänster som avses i artikel 35.2 i den förordningen, verkställighetsåtgärder, beslut som kommissionen fattat i enlighet med den förordningen, relevant rättspraxis – i synnerhet från Europeiska unionens domstol, offentliga samråd eller andra relevanta officiella källor.

Om en revisionsslutsats är negativ men endast gäller under en begränsad tidsperiod och revisionsföretaget anser att den leverantör som revisionen avser har uppfyllt skyldigheten eller åtagandet för återstoden av den tidsperiod som revisionen omfattar bör detta återspeglas i revisionsrapporten för varje relevant skyldighet eller åtagande, för att möjliggöra offentlig granskning och rättslig tillsyn. Rapporten bör innefatta revisionsföretagets iakttagelser om all information om befintliga eller planerade begränsningsplaner för att åtgärda bristfällig efterlevnad som den leverantör som revisionen avser har gjort tillgänglig för det.

Mot bakgrund av den olikartade karaktären hos de rättsliga skyldigheter som fastställs i kapitel III i förordning (EU) 2022/2065, och de frivilliga åtaganden som gjorts inom ramen för de uppförandekoder och krisprotokoll som avses i artiklarna 45, 46 och 48 i den förordningen, bör revisionsföretaget utfärda revisionsuttalanden om efterlevnaden av det kapitlet och av varje kod och protokoll.

För att revisionen ska kunna utföras med rimlig tillförlitlighetsnivå, och lämpliga revisionsförfaranden ska kunna utarbetas enligt metoder som i högsta möjliga grad minimerar revisionsrisken, bör en viktig del av metoden för utförandet av revisionen vara bedömningen av revisionsrisken, dvs. risken för att revisionsföretaget utfärdar ett olämpligt revisionsuttalande eller en olämplig revisionsslutsats. Därför bör revisionsföretaget bedöma revisionsrisken alldeles i början av revisionen, innan en exakt metod tas fram och revisionsförfarandena utförs. Analysen av revisionsrisker behövs för att revisionsföretaget ska kunna välja de exakta metoderna för revisionen och fastställa hur omfattande revisionsförfarandena måste vara för att uppnå en rimlig tillförlitlighetsnivå i revisionsuttalandet. Revisionsföretaget bör utföra en analys av revisionsrisker inför bedömningen av varje skyldighet eller åtagande som revisionen avser, med beaktande av inneboende risker, kontrollrisker och upptäcktsrisker.

För att kunna utvärdera revisionsriskerna korrekt bör analysen av revisionsrisker ta hänsyn till den granskade tjänstens särdrag, i synnerhet dess riskprofil, samt revisionens omfattning och komplexitet. Det är till exempel sannolikt att onlineplattformar som tillåter att distansavtal ingås mellan kunder har andra inneboende risker än videodelningsplattformar eller sökmotorer. Dessutom bör det sociala och ekonomiska sammanhang där tjänsten i fråga tillhandahålls beaktas, till exempel i fråga om typiska användargrupper, såsom minderåriga, eller vanligt beteende, såsom en hög förekomst av icke-autentisk användning och samordnade beteenden vid desinformationskampanjer. Det sociala och ekonomiska sammanhanget som beaktas bör även omfatta sannolikheten och, oberoende av detta, allvarlighetsgraden vad gäller exponering för krissituationer och oförutsedda händelser, enligt vad som avses i förordning (EU) 2022/2065.

För att säkerställa att analysen av revisionsrisker motsvarar utvecklingen av de risker som tjänsten omfattas av, bör analysen av revisionsrisker även bygga på uppgifter från tidigare revisioner som leverantören har varit föremål för, i tillämpliga fall, och på uppgifter från sådana källor som revisionsrapporter som avser andra leverantörer med liknande riskprofil. För att säkerställa att analysen av revisionsrisker helt och hållet bygger på de senaste beläggen för risker i sammanhang som liknar de där den leverantör som revisionen avser verkar, och som enligt officiella källor har direkt relevans för tillämpningen av förordning (EU) 2022/2065, bör analysen även bygga på uppgifter från rapporter som utfärdats av den europeiska nämnden för digitala tjänster eller riktlinjer från kommissionen, i tillämpliga fall. Andra uppgifter kan även inbegripa uppgifter från revisionsrapporter som offentliggjorts i enlighet med artikel 42.4 i förordning (EU) 2022/2065 av andra leverantörer av mycket stora onlineplattformar eller mycket stora onlinesökmotorer.

Revisionsföretaget bör, utan påverkan från den leverantör som revisionen avser, ta fram de revisionsmetoder som ska användas för att bedöma uppfyllandet av de skyldigheter och åtaganden som revisionen avser. Revisionskriterierna bör baseras på uppgifter som lämnats in av den leverantör som revisionen avser vad gäller riktmärken som denna leverantör använder för att övervaka efterlevnaden. Metoden får även ta hänsyn till annan information som tillhandahålls av den leverantör som revisionen avser, exempelvis analysen av inneboende risker, om denna leverantör har gjort en sådan analys, till exempel genom åtgärder som tagits fram av den regelefterlevnadsansvariga eller ledningsorganet, i enlighet med artikel 41 i förordning (EU) 2022/2065, eller andra åtgärder som ingår i funktionen för den tjänst för bedömningar av systemrisker som avses i artikel 34 i den förordningen.

För att säkerställa att revisionsmetoderna är ändamålsenliga för att uppnå en rimlig tillförlitlighetsnivå för revisionsuttalandena bör valet av metod för revisionsförfarandena göras med hänsyn till särdragen hos den skyldighet eller det åtagande som revisionen avser, och metoderna bör exempelvis anpassas efter skyldighetens art som en skyldighet avseende medel eller en skyldighet avseende resultat som leverantören måste uppnå för att uppfylla skyldigheten. Till exempel skulle revisionsförfarandena för att bedöma uppfyllandet av transparensrapporteringsskyldigheten enligt artikel 15 i förordning (EU) 2022/2065 kunna ge revisionsföretaget möjligheten att fastställa huruvida rapporterna offentliggjordes i enlighet med de tidsgränser och format som föreskrivs i den förordningen, samt huruvida de var fullständiga och rapporterade data var korrekta, representativa och uppdelade på lämpligt sätt, exempelvis per kategori olagligt innehåll som lett till åtgärder.

Valet av metod bör även bero på om bedömningen av uppfyllande kräver att revisionsföretaget tolkar kontextuell information. Valet av metoder bör även anpassas efter de inneboende risker som är kopplade till de aktiviteter som utförs vid tillhandahållandet av tjänsten och det sammanhang i vilket tjänsten tillhandahålls, till exempel om tjänsten innebär försäljning av varor som kan vara olagliga eller om tjänsten främst används av minderåriga. Metoder för att bedöma uppfyllandet av skyldigheten att införa lämpliga och proportionella åtgärder för att säkerställa en hög nivå av integritet, säkerhet och trygghet för minderåriga enligt artikel 28.1 i förordning (EU) 2022/2065 bör till exempel ge revisionsföretaget möjligheten att erhålla en tillräcklig förståelse för hur den tjänst som revisionen avser används av minderåriga, för de risker för deras integritet, säkerhet och trygghet som den kan innebära, samt för innebörden av en lämplig och proportionell åtgärd i det specifika sammanhanget för den tjänst som revisionen avser och minderårigas användning av den. Därför bör revisionsföretagen dela in bedömningen i lämpliga steg. De bör bedöma revisionsriskerna i enlighet med riskprofilen för den leverantör som revisionen avser, i synnerhet huruvida denna leverantör är tillgänglig för eller huvudsakligen används av minderåriga. De bör exempelvis bedöma om leverantören har infört verktyg för ålderssäkring, om dessa är effektiva och hur den leverantör som revisionen avser bedömer och övervakar verktygens effektivitet. De bör bedöma om den leverantör som revisionen avser har infört lämpliga åtgärder för att upptäcka fientlig användning av deras tjänst och beteendemönster som syftar till att skada eller sannolikt kommer att skada minderåriga.

Valet av metod bör även anpassas efter de kontrollrisker som är kopplade till de efterlevnadsåtgärder som införts av den leverantör som revisionen avser, samt efter upptäcktsrisken, det vill säga risken för att inte upptäcka felaktigheter i de uppgifter som leverantören tillhandahåller revisionsföretaget. Till exempel, om en skyldighet som är föremål för revision kan innebära granskning av ett algoritmiskt system som bygger på personlig anpassning efter enskilda användare av den tjänst som revisionen avser och på återkommande uppdateringar av det algoritmiska systemet, såsom rapporteringsskyldigheten avseende rekommendationssystem enligt artikel 27 i förordning (EU) 2022/2065, bör valet av metod göra det möjligt för revisionsföretaget att utforma lämpliga tester för att minimera upptäcktsriskerna. På samma sätt gäller att om revisionsföretaget strävar efter att bedöma om alla relevanta risker begränsats vid utformningen, funktionen och användningen av tillämpningar baserade på storskaliga språkmodeller, såsom chattfunktioner eller rekommendationssystem som införts av den leverantör som revisionen avser, bör revisionsföretaget först bedöma hur ändamålsenliga de kontroller som leverantören infört är. Valet av tester bör göras med beaktande av hur robusta dessa interna kontroller är. I synnerhet, men inte enbart, i de fall där de interna kontrollerna är svaga, ofullständiga eller otillräckliga för att bedöma huruvida reglerna har uppfyllts med beaktande av användarna av den tjänst som revisionen avser bör revisionsförfarandena bygga på en kombination av metoder. Metoderna skulle till exempel kunna omfatta materiella analytiska förfaranden, såsom analys av interaktionerna mellan alla algoritmiska system som är relevanta för rekommendationssystemen och tillhörande regler för beslutsfattande och processer för att fastställa de huvudsakliga parametrarna för dessa rekommendationssystem, samt observationer av digitala arkiv och loggar. Metoderna skulle även kunna inbegripa tester av systemet, till exempel tester i simulerade miljöer.

För att säkerställa att metoden är relevant och anpassas efter nya uppgifter som framkommer under utförandet av revisionen bör valet av metoder vägledas av revisionsföretagets yrkesmässiga bedömning och vid behov justeras efter nya resultat, i synnerhet om revisionsföretaget hyser rimliga tvivel beträffande de uppgifter som lämnats av den leverantör som är föremål för revision. Revisionsföretagets professionella skepsis bör bygga på dess sakkunskap och på andra informationskällor som har särskild relevans för tillämpningen av förordning (EU) 2022/2065, till exempel rapporter från den europeiska nämnden för digitala tjänster, vägledning från kommissionen, revisionsrapporter som utfärdats enligt de uppförandekoder eller krisprotokoll som avses i artiklarna 45, 46 och 48 i den förordningen eller uppgifter som framkommer under utförandet av revisionen, även när det gäller händelser, i synnerhet krissituationer, som kräver ytterligare åtgärder av den leverantör som revisionen avser för att säkerställa uppfyllandet av vissa skyldigheter eller åtaganden som är föremål för revision.

För att säkerställa att tillräckliga revisionsbevis samlas in under revisionen bör revisionsföretag bedöma både de interna kontroller som införts av den leverantör som revisionen avser och utföra substansgranskningsåtgärder för att bedöma leverantörens efterlevnad. I vissa fall bör revisionsföretaget även utföra tester.

Med tanke på komplexiteten hos de algoritmiska system som används av leverantörer av onlineplattformar, och deras viktiga roll när det gäller att uppfylla flera av de skyldigheter som fastställs i förordning (EU) 2022/2065, bör särskild uppmärksamhet ägnas valet av nödvändiga och lämpliga metoder för revision av algoritmiska system. Detta gäller både när de algoritmiska systemen är en del av de kontroller som införts av den leverantör som är föremål för revision och när dessa system i sig är föremål för de skyldigheter eller åtaganden som revisionen avser, såsom när det gäller rekommendationssystem, exempelvis i enlighet med artiklarna 27, 34, 35 och 38 i förordning (EU) 2022/2065, system för annonsering, exempelvis i enlighet med artiklarna 26, 28, 34, 35 och 39 i den förordningen, system för innehållsmoderering, exempelvis i enlighet med artiklarna 14, 15, 34 och 35 i den förordningen, eller något annat algoritmiskt system som bidrar till de risker som avses i artikel 34 i den förordningen.

En kombination av materiella analytiska förfaranden bör även användas, som bygger på bland annat observationer av leverantörens processer och aktiviteter när det gäller utformning, utveckling, drift, testning och övervakning av algoritmiska system, eller observationer av digitala arkiv och loggar som producerats av systemen, enligt vad som är lämpligt. Metoderna bör anpassas efter de särskilda egenskaperna hos algoritmiska system, bland annat styrningen av dem, interaktionen mellan olika algoritmiska system och tillhörande datahanteringssystem, samt tekniken bakom dessa algoritmiska system, såsom generativa modeller eller andra klassificerare eller urvals- eller sökalgoritmer.

Revisionsmetoderna för algoritmiska system bör även omfatta tester, till exempel för att samla in uppgifter som den leverantör som revisionen avser inte tidigare har dokumenterat eller för att oberoende återskapa och bedöma resultatet av exempelvis noggrannhetsindikatorer, tester i sandlådor eller simulerade miljöer eller tester i produktionssystem, bland annat genom dataskrapning eller kontradiktorisk testning.

Eftersom revisionsbevis av hög kvalitet är en förutsättning för att ett revisionsföretag ska kunna formulera ett revisionsuttalande med rimlig tillförlitlighetsnivå bör de uppgifter som revisionsföretaget beslutar att använda som revisionsbevis vara lämpliga och tillräckliga för att minska revisionsriskerna. Revisionsbevisen bör även vara tillförlitliga enligt revisionsföretagets yrkesmässiga bedömning och skepsis och, när så är lämpligt, mot bakgrund av alternativa informationskällor. Yrkesmässig bedömning och skepsis bör inbegripa en kritisk bedömning av revisionsbevis och möjliga felaktigheter. Dessa kvalitetsnormer bör tillämpas på alla revisionsbevis oavsett om de lämnats in av den leverantör som revisionen avser eller samlats in från andra källor.

En mängd informationskällor bör beaktas av revisionsföretaget, såsom bland annat intervjuer med leverantörens personal eller underentreprenörer, inbegripet regelefterlevnadsansvariga, ingenjörer, dataanalytiker, programvaruarkitekter eller medlemmar i arbetsgrupper för internrevision. Det kan även handla om teknisk dokumentation om utformningen, implementeringen, testningen och övervakningen av ett relevant system, bland annat när det gäller datakvalitet och dataförvaltning samt uppdateringar och versioner av systemet, och andra dokument om leverantörens styrnings- och beslutsprocesser, bland annat när det gäller prioriteringar, resurser, fördelning av uppgifter och ansvarsområden eller den relevanta personalens sakkunskap.

För att säkerställa effektivitet och proportionalitet vid utförandet av revisionen bör revisionsföretaget tillåtas att ta stickprov på ett urval av data och uppgifter, med vederbörlig hänsyn till att ett representativt urval bör uppnås, för att revisionsföretaget ska kunna utarbeta ett revisionsuttalande med rimlig tillförlitlighetsnivå. För att säkerställa transparens och reproducerbarhet för revisionsförfarandena bör revisionsföretaget i revisionsrapporten motivera valet av urvalsstorlek och metod för att samla in urvalet. Exempelvis bör urvalsstorleken och metoden väljas med hänsyn till vad som krävs för att uppnå syftet med revisionen beträffande just den skyldighet eller det åtagande som revisionen avser och för att minimera risken för att slutsatsen av revisionen av det specifika urvalet skiljer sig från vad slutsatsen skulle vara om revisionsförfarandet omfattade det fullständiga underlaget. Storleken på och metoden för urvalet bör väljas med hänsyn till revisionens fullständiga omfattning samt till interna eller externa ändringar av den tjänst som revisionen avser under tidsperioden. De särskilda egenskaperna hos de algoritmiska systemen bör också beaktas, bland annat när det gäller personlig anpassning genom profilering. Som en del av detta bör revisionsföretaget exempelvis ta stickprov från de olika grupper eller avgränsningar som kan uppstå till följd av tekniker för personlig anpassning eller identifiera felmarginalen och motivera varför den är på en godtagbar nivå.

I och med att vissa bestämmelser i förordning (EU) 2022/2065 är av ny art är det nödvändigt att fastställa metodologiska principer, bland annat revisionsfrågor och ytterligare riktlinjer för valet av revisionsmetoder och revisionsbevis för bedömningen av efterlevnad av dessa bestämmelser, närmare bestämt för bedömning av efterlevnaden av artiklarna 34, 35 och 36 i förordning (EU) 2022/2065 om utförandet av riskbedömningar och antagandet av riskbegränsningsåtgärder av leverantörer som är föremål för revision, samt om tillämpningen av skyldigheter avseende krisrespons.

Med tanke på att revisionsföretag även bör bedöma leverantörers efterlevnad av artikel 37 i förordning (EU) 2022/2065 bör revisionen dessutom preciseras ytterligare med avseende på vilken bestämmelse som efterlevnadsbedömningen avser, i synnerhet för att undvika eventuella intressekonflikter för revisionsföretaget.

Eftersom uppförandekoderna och krisprotokollen är frivilliga behöver särskilda regler fastställas för bedömning av efterlevnaden av artiklarna 45, 46 och 48 i förordning (EU) 2022/2065, i synnerhet för att säkerställa att revisionsföretagen har tillgång till alla uppgifter som krävs för att utföra revisioner av de specifika skyldigheterna för varje uppförandekod och krisprotokoll.