Performance of independent audits

Stellungnahmen nach Artikel 37 Absatz 4 Buchstabe g der Verordnung (EU) 2022/2065 sollten von Prüfstellen mit einem hinreichenden Maß an Sicherheit erteilt werden. Um ein hinreichendes Maß an Sicherheit zu erreichen, sollte die Prüfstelle über ein hohes, wenngleich kein absolutes Vertrauen dahin gehend haben, dass keine Falschangaben wie Auslassungen, falsche Darstellungen oder Fehler vorliegen, die bei der Prüfung nicht ermittelt wurden. Zur Gewährleistung dieses Maßes an Sicherheit sollte die Prüfstelle unter anderem ausreichende Nachweise einholen und bei ihrer Bewertung geeignete Prüfungsmethoden anwenden.

Gemäß Artikel 37 Absatz 1 der Verordnung (EU) 2022/2065 sollten mindestens einmal jährlich unabhängige Prüfungen durchgeführt werden, die auf den jährlichen Zyklus der Risikobewertungen gemäß Artikel 34 der genannten Verordnung abgestimmt sind. In bestimmten Fällen können jedoch häufigere Prüfungen erforderlich sein. Die Häufigkeit zeitliche Abfolge der Prüfungen sollte gewährleisten, dass die Einhaltung der Verordnung (EU) 2022/2065 und der einschlägigen Verhaltenskodizes und Krisenprotokolle durch die geprüften Anbieter kontinuierlich überwacht wird. Der geprüfte Anbieter sollte sicherstellen, dass der Zeitraum für den eine bestimmte Prüfung zur Einhaltung der geprüften Pflichten und Verpflichtungszusagen durchgeführt wird, den Zeitraum ergänzt, der von der vorherigen Prüfung der Einhaltung dieser Pflichten und Verpflichtungszusagen durch den Anbieter abgedeckt wurde, und dass dieser spätestens beginnt, wenn der von der vorherigen Prüfung erfasste Zeitraum endet. Da die Schlussfolgerung einer Prüfung sowohl die Bewertung durch die Prüfstelle als auch die Erstellung eines Prüfberichts umfasst, sollten die geprüften Anbieter sicherstellen, dass die Dauer der Prüfung so angesetzt wird, dass Prüfungen mindestens einmal pro Jahr abgeschlossen werden können und die Übermittlung der Prüfberichte an die Kommission und den Koordinator für digitale Dienste gemäß Artikel 42 Absatz 4 der Verordnung (EU) 2022/2065 unverzüglich erfolgen kann.

Wenngleich geprüfte Anbieter unter keinen Umständen die Durchführung der Prüfung und ihre Schlussfolgerungen beeinträchtigen sollten, so sollten sie ihren Verpflichtungen gemäß Artikel 37 der Verordnung (EU) 2022/2065 nachkommen, unter anderem indem sie mit der Prüfstelle Vertragsbedingungen vereinbaren und vor der Auswahl einer Prüfstelle prüfen, ob die auszuwählende Stelle die Anforderungen nach Artikels 37 Absatz 3 der Verordnung (EU) 2022/2065 erfüllt.

Der geprüfte Anbieter sollte beispielsweise zuvor mit der Prüfstelle geschlossene Verträge oder Verträge zwischen der Prüfstelle und mit dem geprüften Anbieter verbundenen juristischen Personen bewerten. Zur Gewährleistung der Einhaltung der in Artikel 37 Absatz 3 der Verordnung (EU) 2022/2065 festgelegten Bedingungen sollte der geprüfte Anbieter zudem entsprechende Klauseln in den Verträgen mit Prüfstellen vorsehen. Besteht die Prüfstelle aus mehreren Stellen, so sollte sich der geprüfte Anbieter vergewissern, dass alle Stellen diese Bedingungen erfüllen, gegebenenfalls einschließlich etwaiger Unterauftragnehmer, die von der Prüfstelle damit beauftragt wurden, die Durchführung der Prüfung in irgendeiner Art und Weise zu unterstützen. Während jede Stelle, die die Prüfung durchführt, für sich genommen die Anforderungen an die Unabhängigkeit und die Vermeidung von Interessenkonflikten erfüllen sollte, sollten diese Stellen gemeinsam die Anforderungen in Bezug auf Zuständigkeit, Fachkenntnisse oder technische Mittel erfüllen, damit die verschiedenen Stellen die jeweiligen Teile der Prüfung durchführen und über die für die Durchführung der Prüfung erforderlichen Kapazitäten, Kompetenzen und Fachkenntnisse verfügen. Im Prüfbericht sollte angegeben werden, für welchen Teile der Prüfung die jeweilige Stelle zuständig ist.

Nach Artikel 37 Absatz 3 Buchstabe a Ziffer i der Verordnung (EU) 2022/2065 sollte der geprüfte Anbieter besondere Aufmerksamkeit darauf richten, dass die Prüfstelle dem geprüften Anbieter keine prüfungsfremden Leistungen erbringt, wenn er prüft, ob eine Prüfstelle die Anforderungen an die Unabhängigkeit und die Vermeidung von Interessenkonflikten erfüllt. Der geprüfte Anbieter sollte beispielsweise bewerten, ob Dienstleistungen erbracht wurden, z. B. solche, die mit einem System, einer Software oder einem Prozess verbunden sind, die für die geprüfte Pflicht oder Verpflichtungszusage relevant sind, wie Beratungsleistungen für Leistungsbewertungen, Governance- und Softwarebewertungen, Schulungsdienste, die Entwicklung oder Wartung von Systemen oder Vergabe von Unteraufträgen für die Moderation von Inhalten. Zu diesen Dienstleistungen gehören auch für den geprüften Anbieter erbrachte Dienstleistungen, die darin bestehen, zu internen Kontrollen zu beraten oder solche Kontrollen zu konzipieren oder zu internen Zwecken zu bewerten, ob der geprüfte Anbieter die Verordnung (EU) 2022/2065 oder Verhaltenskodizes und Krisenprotokolle einhält, auch wenn dies auf punktuelle Tests beschränkt ist, wie z. B. Tests Dritter zur Leistung von Systemen zur Moderation von Inhalten. Dies sollte Prüfungsorganisationen, die Abschlussprüfungen durchgeführt haben, nicht ausschließen.

Angesichts der Komplexität und der besonderen Art der Compliance-Prüfungen nach der Verordnung (EU) 2022/2065 ist die Fachkompetenz der Prüfstelle entscheidend für die Durchführung von Prüfungen mit einem hinreichenden Maß an Sicherheit und für die Ausübung des fachlichen Urteils und der kritischen Grundhaltung, die es dieser Stelle ermöglichen, z. B. zu wissen, welche Informationen sie benötigt, um die Prüfverfahren durchzuführen oder widersprüchliche Informationen infrage zu stellen. Der geprüfte Anbieter sollte daher prüfen, ob die Prüfstelle über diese Fachkenntnisse verfügt, darunter auch im Bereich Risikomanagement, sowohl in Bezug auf Prüfungsrisiken und den Gegenstand der Verordnung (EU) 2022/2065 und insbesondere der in Artikel 34 der Verordnung genannten systemisch-gesellschaftlichen Risiken. Darüber hinaus sollte der geprüfte Anbieter die technischen Kompetenzen und Kapazitäten der Prüfstelle im Hinblick auf den konkreten geprüften Dienst überprüfen, einschließlich ihrer Fachkompetenz, z. B. in Bezug auf die Funktionsweise und die Auswirkungen algorithmischer Systeme wie Empfehlungssysteme und anderer vom Anbieter gewarteter soziotechnischer Systeme. Die Prüfstelle sollte die Möglichkeit haben, die erforderlichen Fachkenntnisse und Kapazitäten an Unterauftragnehmer zu vergeben oder anderweitig zu beschaffen und einzusetzen, und der geprüfte Anbieter sollte überprüfen und sicherstellen, dass die Prüfstelle in der Lage ist, diese Fachkenntnisse und Kapazitäten rechtzeitig für die Durchführung der Prüfung zu erwerben.

Bei der Prüfung, ob die Prüfstellen die in Artikel 37 Absatz 3 der Verordnung (EU) 2022/2065 festgelegten Bedingungen erfüllen, sollte der geprüfte Anbieter einschlägige Belege bewerten, einschließlich gegebenenfalls der von der Prüfstelle ausgestellten Bescheinigungen, Erklärungen und Prüfberichte. Die entsprechenden Fachkenntnisse könnten beispielsweise durch praktische Erfahrungen bezüglich der Risikobewertung und des Risikomanagements sowie durch wissenschaftliche Tätigkeiten, wissenschaftliche Veröffentlichungen und Erfahrungen mit einschlägigen Prüfungen nachgewiesen werden. Prüfberichte sollten alle einschlägigen Belege enthalten, aus denen hervorgeht, dass die Prüfstelle die erforderlichen Voraussetzungen erfüllt.

Nach Artikel 37 Absatz 2 der Verordnung (EU) 2022/2065 hat der geprüfte Anbieter die erforderliche Zusammenarbeit und Unterstützung zu leisten, damit die Prüfstelle die Prüfung wirksam, effizient und rechtzeitig durchführen kann, ohne dabei in unabhängige Entscheidungen der Prüfstelle einzugreifen. Beispielsweise sollte der geprüfte Anbieter der Prüfstelle keine vertraglichen oder sonstigen Beschränkungen oder Anreize bei der Auswahl und Durchführung von Prüfverfahren, Methoden, der Erhebung und Verarbeitung von Informationen und Prüfbelegen, Analysen, Tests, Stellungnahmen oder der Ausarbeitung von Prüfungsschlussfolgerungen vorschreiben, sie diesbezüglich beraten oder anderweitig beeinflussen.

Zur Gewährleistung der erforderlichen Zusammenarbeit und Unterstützung während der Prüfung sollte der geprüfte Anbieter dafür sorgen, dass die Prüfstelle Zugang zu allen für die Durchführung der Prüfung erforderlichen Informationen erhält. Der geprüfte Anbieter sollte der Prüfstelle so früh wie möglich, in jedem Fall aber vor der Durchführung der Prüfverfahren alle erforderlichen Unterlagen und Erläuterungen übermitteln. Beispielsweise ist es Aufgabe der Compliance-Abteilung des geprüften Anbieters nach Artikel 41 Absatz 3 Buchstaben d und e der Verordnung (EU) 2022/2065, die Einhaltung aller geprüften Pflichten und Verpflichtungszusagen zu überwachen, was zur Ausarbeitung interner Kontrollen führen dürfte. Die Prüfstelle sollte daher Zugang zu allen Informationen im Zusammenhang mit solchen Kontrollen sowie zu allen anderen Informationen erhalten, die Aufschluss darüber geben, welche Strategie der geprüfte Anbieter verfolgt, um die Einhaltung zu gewährleisten. Insbesondere sollte der geprüfte Anbieter der Prüfstelle die Referenzwerte zur Verfügung stellen, auf die er sich stützt, um die Einhaltung der Verordnung (EU) 2022/2065 sicherzustellen, damit die Prüfstelle diesen Informationen bei den Prüfungskriterien Rechnung tragen kann. Darüber hinaus sollte die Prüfstelle Zugang zu allen Analysen erhalten, die der geprüfte Anbieter möglicherweise zu inhärenten Risiken und Kontrollrisiken durchgeführt hat. Der Anbieter sollte der Prüfstelle Informationen zur Verfügung stellen, die beitragen zum Verständnis des geprüften Dienstes, seiner Governance, der Kompetenzen der jeweiligen Teams und der Entscheidungsstrukturen, einschließlich seiner Compliance-Funktion, sowie ferner Darstellungen seiner informationstechnischen Systeme, Daten- und Datensatzstrukturen und des Zusammenspiels zwischen verschiedenen algorithmischen Systemen, die für die Prüfung relevant sind.

Der Prüfstelle sollte es möglich sein, jederzeit im Zuge der Durchführung der Prüfung alle sonstigen erforderlichen Informationen anzufordern. Der Zugang zu diesen Informationen sollte unverzüglich und so gewährt werden, dass die Durchführung der Prüfung in keiner Weise behindert wird. Dazu sollte auch der Zugang zu Daten, einschließlich personenbezogener Daten, aus verschiedenen Quellen wie Unterlagen, algorithmischen Systemen, Datenbanken oder Befragungen gehören. Der geprüfte Anbieter sollte der Prüfstelle auch Zugang zu Verfahren und Prozessen, IT-Systemen wie algorithmischen Systemen und Informationssystemen, einschließlich Testumgebungen, gewähren. Damit die Prüfstelle diese Systeme richtig inspizieren kann, sollte der geprüfte Anbieter alle erforderlichen Mittel zur Verfügung stellen, um diese Stelle beim Zugang zu den Systemen und deren Bewertung zu unterstützen, z. B. indem er kompetente Mitarbeiter für die Beantwortung von Fragen oder den Betrieb von Testumgebungen und Erläuterungen zu deren Funktionsweise zur Verfügung stellt oder den sonstigen erforderlichen Zugang zu Personal und Räumlichkeiten wie Gebäuden erleichtert. Der Zugang zu Verfahren und Prozessen könnte beispielsweise den Zugang zu Beschreibungen oder Unterlagen zum internen Entscheidungsprozess des geprüften Anbieters umfassen. Der Zugang zu einschlägigen Informationen kann auch weitere Maßnahmen des geprüften Anbieters erforderlich machen, um seiner Verpflichtung zur Zusammenarbeit und Unterstützung nachzukommen. So kann es beispielsweise erforderlich sein, dass der geprüfte Anbieter für Personalbefragungen gesicherte Einrichtungen zur Verfügung stellt. Soweit dies für die Durchführung der Prüfung erforderlich ist, sollten die geprüften Anbieter der Verpflichtung zur Zusammenarbeit und Unterstützung gegenüber der Prüfstelle nachkommen, indem sie unter anderem den Zugang zu relevanten Daten erleichtern, die im Zusammenhang mit ihren Tätigkeiten stehen und sich im Besitz dritter Vertragspartner befinden. Dies könnte beispielsweise zutreffen auf Ergebnisse von Maßnahmen zur Moderation von Inhalten, Schulungsmaterial oder Anleitungen, die von Drittunternehmern, die Inhalte moderieren, oder von Anbietern und Diensteanbietern für IT-Lösungen verwendet werden, einschließlich beispielsweise Algorithmen und Anwendungen, die in Empfehlungssystemen oder Werbesystemen des geprüften Anbieters eingesetzt werden.

Um eine wirkliche Transparenz der Prüfungsfeststellungen zu erleichtern und ein umfassendes und vergleichbares Format der Prüfberichte gemäß Artikel 37 Absatz 4 der Verordnung (EU) 2022/2065 und der Bericht über die Umsetzung der Prüfergebnisse gemäß Artikel 37 Absatz 6 der genannten Verordnung bereitzustellen, sollten in der vorliegenden Verordnung Berichtsvorlagen festgelegt und für jeden dieser Berichte eine Reihe von Anhängen vorgeschrieben werden. Die in dieser Verordnung festgelegten Vorlagen erfordern zwar eine umfassende Berichterstattung, sie sollten jedoch die Anforderungen an die Veröffentlichung von Berichten gemäß Artikel 42 Absätze 4 und 5 der Verordnung (EU) 2022/2065 unberührt lassen.

Um sicherzustellen, dass die Prüfstelle vom geprüften Anbieter ohne Einflussnahme in die Durchführung der Prüfung jede erforderliche Unterstützung erhält und dass die Prüfstelle alle Bedingungen für die Vorbereitung der Prüfung erfüllt und den Prüfbericht rechtzeitig und in der erforderlichen Qualität vorlegt, um ein hinreichendes Maß an Sicherheit zu erreichen, sollten in bestimmten Vorschriften die Verfahren für die Vorbereitung der Prüfung festgelegt werden. Die Aufgaben und Zuständigkeiten des geprüften Anbieters und der Prüfstelle, einschließlich aller Unterauftragnehmer oder Partnerorganisationen und des für die Durchführung der Prüfung zuständigen Personals, sollten in einer schriftlichen Vereinbarung, auch in Form von Vertragsbedingungen, festgelegt werden. In der schriftlichen Vereinbarung sollten auch die geprüften Pflichten und Verpflichtungszusagen, die Zuweisung von Mitteln sowie die Regeln für die Interaktion und die Kontaktstellen für die Prüfstelle und den geprüften Anbieter festgelegt werden. Alle Belege und Verträge sollten dem Prüfbericht beigefügt werden, auch wenn die Unterlagen in Form eines Prüfungsauftrags oder anderer Vertragsbedingungen vorgelegt werden.

Um einen umfassenden Überblick zu geben und die Rechenschaftspflichten der geprüften Anbieter zu erleichtern, sollte der Prüfbericht eine Schlussfolgerung der Prüfstelle dahin gehend enthalten, ob der geprüfte Anbieter die einzelnen geprüften Pflichten oder Verpflichtungszusagen einhält. Jede Prüfungsschlussfolgerung sollte sich auf ein hinreichendes Maß an Sicherheit stützen und entweder als „positiv“, „positiv mit Anmerkungen“ oder „negativ“ eingestuft werden, um die Stellungnahme angemessen zu untermauern. Schlussfolgerungen, die als „positiv mit Anmerkungen“ eingestuft wurden, sollten nicht die Bewertung der Einhaltung an sich betreffen. Diese Anmerkungen könnten sich beispielsweise beziehen auf die Vorlage von Informationen durch den Anbieter auf Ersuchen der Prüfstelle oder auf Verbesserungen bei der Wartung oder bei den vom geprüften Anbieter eingeführten Kontrollen, oder auf weitere vom Anbieter geplante Risikominderungspläne und Verbesserungen verweisen. Ist die Prüfstelle der Auffassung, dass der geprüfte Anbieter nach den von ihm gemeldeten Referenzwerten eine geprüfte Pflicht oder Verpflichtungszusage einhält, es aber für notwendig hält, Anmerkungen zu diesen Referenzwerte aufzunehmen, sollte die Prüfungsschlussfolgerung „positiv mit Anmerkungen“ sein, da dem Anbieter über solche Anmerkungen nützliche Informationen zu den Änderungen übermittelt werden könnten, die er auf der Grundlage des Wissens und der Fachkenntnisse der Prüfstelle an seinen Referenzwerten vornehmen könnte, sowie Informationen aus externen Quellen. Die Anmerkungen könnten sich beispielsweise stützen auf Orientierungshilfen der Kommission, unter anderem auf Leitlinien der Kommission nach Artikel 35 Absatz 3 der Verordnung (EU) 2022/2065, und auf andere einschlägige Leitlinien der Kommission in Bezug auf die Anwendung der genannten Verordnung, auf Berichte des in Artikel 35 Absatz 2 dieser Verordnung genannten Europäischen Gremiums für digitale Dienste, auf Durchsetzungsmaßnahmen, von der Kommission aufgrund der genannten Verordnung erlassene Beschlüsse, die einschlägige Rechtsprechung, insbesondere des Gerichtshofs der Europäischen Union, öffentliche Konsultationen oder einschlägige maßgebliche Quellen.

Um eine öffentliche und regulatorische Aufsicht zu ermöglichen, sollte die Prüfstelle im Falle einer für einen begrenzten Zeitraum gültigen „negativ“ erteilten Prüfungsschlussfolgerung, sofern sie der Auffassung ist, dass der geprüfte Anbieter die Pflicht oder Verpflichtungszusage für den Rest des geprüften Zeitraums erfüllt hat, eine entsprechende Anmerkung im Prüfbericht für jede betroffene Pflicht oder Verpflichtungszusage machen. Der Bericht sollte die Bemerkungen der Prüfstelle zu allen Informationen enthalten, die ihr der geprüfte Anbieter in Bezug auf bestehende oder geplante Pläne zur Behebung der Nichteinhaltung zur Verfügung gestellt hat.

Angesichts der unterschiedlichen Art der in Kapitel III der Verordnung (EU) 2022/2065 festgelegten rechtlichen Pflichten und der freiwilligen Verpflichtungszusagen, die im Rahmen von Verhaltenskodizes und Krisenprotokollen nach den Artikeln 45, 46 und 48 der genannten Verordnung eingegangen wurden, sollte die Prüfstelle Stellungnahmen zur Einhaltung des genannten Kapitels sowie der einzelnen Kodizes und Protokolle abgeben.

Um die Prüfung mit einem hinreichenden Maß an Sicherheit durchführen zu können und die geeigneten Methoden für die Prüfverfahren zu konzipieren, die das Prüfrisiko auf ein niedriges Niveau senken, sollte ein wesentlicher Bestandteil der Methoden für die Durchführung der Prüfung die Schätzung der Prüfrisiken sein, d. h. des Risikos, dass die Prüfstelle eine unangemessene Stellungnahme oder Schlussfolgerung abgibt. Daher sollte die Prüfstellen das Prüfrisiko direkt zu Beginn der Prüfung bewerten, bevor sie die genaue Methode konzipiert und Prüfverfahren durchführt. Die Analyse des Prüfrisikos ist erforderlich, damit die Prüfstelle die genauen Methoden für die Prüfung auswählen und bestimmen kann, wie umfassend die Prüfverfahren sein müssen, um ein hinreichendes Maß an Sicherheit für die Stellungnahme zu erreichen. Die Prüfstelle sollte die Analyse des Prüfrisikos zur Bewertung der Einhaltung jeder geprüften Pflicht oder Verpflichtungszusage durchführen, wobei inhärente Risiken, Kontrollrisiken und Aufdeckungsrisiken zu berücksichtigen sind.

Um die Prüfrisiken korrekt bewerten zu können, sollten bei der Analyse des Prüfrisikos die Art des geprüften Dienstes, insbesondere sein Risikoprofil, sowie der Umfang und die Komplexität der Prüfung berücksichtigt werden. So sind beispielsweise Online-Plattformen, die den Abschluss von Fernabsatzverträgen zwischen Verbrauchern ermöglichen, wahrscheinlich mit anderen inhärenten Risiken konfrontiert als Video-Sharing-Plattformen oder Suchmaschinen. Darüber hinaus sollten der gesellschaftliche und wirtschaftliche Kontext, in dem der geprüfte Dienst erbracht wird, berücksichtigt werden, z. B. im Hinblick auf typische Nutzergruppen wie Minderjährige oder häufig auftretende Verhaltensweisen wie eine hohe Inzidenz des unauthentischen Verhaltens und koordinierter Verhaltensweisen bei Desinformationskampagnen. Der zu berücksichtigende gesellschaftliche und wirtschaftliche Kontext sollte auch die Wahrscheinlichkeit und — gesondert — die Schwere einer Exposition gegenüber Krisensituationen und unerwarteten Ereignissen gemäß der Verordnung (EU) 2022/2065 umfassen.

Um sicherzustellen, dass die Analyse des Prüfrisikos die Entwicklung der Risiken, denen der Dienst unterliegt, widerspiegelt, sollte sich die Analyse des Prüfrisikos auch auf Informationen aus früheren Prüfungen stützen, denen der geprüfte Anbieter unterzogen wurde, und auf Informationen aus Quellen wie Auditberichten anderer Anbieter mit ähnlichem Risikoprofil aufbauen. Damit gewährleistet ist, dass die Analyse des Prüfrisikos umfassend auf dem neuesten Stand der Erkenntnisse über Risiken ist, die in ähnlichen Kontexten wie dem Tätigkeitsbereich des geprüften Anbieters vorliegen, und auf verlässlichen Quellen von unmittelbarer Bedeutung für die Anwendung der Verordnung (EU) 2022/2065 beruht, sollte sich die Analyse auch auf Informationen aus Berichten des Europäischen Gremiums für digitale Dienste oder gegebenenfalls auf Leitlinien der Kommission stützen. Zu den weiteren Informationen könnten auch Informationen aus Prüfberichten gehören, die gemäß Artikel 42 Absatz 4 der Verordnung (EU) 2022/2065 von anderen Anbietern sehr großer Online-Plattformen oder sehr großer Online-Suchmaschinen veröffentlicht wurden.

Die Prüfstellen sollten ohne Einflussnahme des geprüften Anbieters die Prüfungsmethoden ausarbeiten, die zur Bewertung der Einhaltung der geprüften Pflichten und Verpflichtungszusagen verwendet werden. Die Prüfkriterien sollten sich auf die vom geprüften Anbieter vorgelegten Informationen zu den Referenzwerten stützen, die dieser für die Überwachung der Einhaltung verwendet. Bei der Methode können auch weitere vom geprüften Anbieter bereitgestellte Informationen berücksichtigt werden, beispielsweise die Analyse inhärenter Risiken, sofern diese durch den geprüften Anbieter durchgeführt wurde, beispielsweise durch Maßnahmen, die vom Compliance-Beauftragten oder vom Leitungsorgan nach Artikel 41 der Verordnung (EU) 2022/2065 entwickelt wurden, oder durch andere Maßnahmen, die in die Funktionsweise des Dienstes für die in Artikel 34 der genannten Verordnung genannten Bewertungen des Systemrisikos eingebettet sind.

Um sicherzustellen, dass die Prüfungsmethoden geeignet sind, ein hinreichendes Maß an Sicherheit der Stellungnahmen zu erreichen, sollte die Wahl der Methode für die Prüfverfahren den Besonderheiten der geprüften Pflicht oder Verpflichtungszusage Rechnung tragen und beispielsweise an die Art der geprüften Pflicht als Mittelverpflichtung oder eine Verpflichtungszusage zur Vorlage Ergebnissen angepasst werden, die der Anbieter erreichen muss, um die Anforderungen zu erfüllen. Beispielsweise könnten Prüfverfahren zur Bewertung der Einhaltung der Transparenzberichtspflichten gemäß Artikel 15 der Verordnung (EU) 2022/2065 es der Prüfstelle ermöglichen, festzustellen, ob die Berichte innerhalb der in der genannten Verordnung vorgeschriebenen Fristen und Formate veröffentlicht wurden, ob sie vollständig waren und ob die gemeldeten Daten korrekt, repräsentativ und — z. B. nach Kategorien illegaler Inhalte, zu denen Maßnahmen ergriffen wurden — adäquat aufgeschlüsselt waren.

Die Wahl der Methode sollte auch davon abhängen, ob für die Konformitätsbewertung kontextbezogene Auslegungen durch die Prüfstelle erforderlich sind. Die Wahl der Methoden sollte auch an die inhärenten Risiken angepasst werden, die mit den bei der Erbringung des Diensts durchgeführten Tätigkeiten verbunden sind, und an den Kontext, in dem die Dienstleistung erbracht wird, z. B. ob die Dienstleistung den Verkauf von Waren umfasst, die rechtswidrig sein könnten, oder ob die Dienstleistung in erster Linie von Minderjährigen genutzt wird. Beispielsweise sollten Methoden zur Bewertung der Einhaltung der Verpflichtungen zur Einführung geeigneter und verhältnismäßiger Maßnahmen für ein hohes Maß an Privatsphäre, Sicherheit und Schutz von Minderjährigen nach Artikel 28 Absatz 1 der Verordnung (EU) 2022/2065 es der Prüfstelle ermöglichen, hinreichend zu verstehen, wie der geprüfte Dienst von Minderjährigen genutzt wird und welche Risiken für ihre Privatsphäre, ihre Sicherheit und ihren Schutz entstehen können und was eine angemessene und verhältnismäßige Maßnahme im spezifischen Kontext des geprüften Dienstes und seiner Nutzung durch Minderjährige wäre. Zu diesem Zweck sollten die Prüfstellen die Bewertung in geeignete Schritte aufteilen. Sie sollten die Prüfrisiken anhand des Risikoprofils des geprüften Anbieters bewerten, und dabei insbesondere berücksichtigen, ob dessen Dienste für Minderjährige verfügbar sind bzw. überwiegend von Minderjährigen genutzt werden. Sie sollten beispielsweise bewerten, ob der Anbieter Instrumente zur Altersfeststellung eingeführt hat, ob diese wirksam sind und wie der geprüfte Anbieter ihre Wirksamkeit bewertet und überwacht. Sie sollten bewerten, ob der geprüfte Anbieter geeignete Maßnahmen ergriffen hat, um eine feindselige Nutzung seines Dienstes und Verhaltensmuster aufzudecken, die darauf abzielen, Minderjährigen Schaden zufügen oder diese zu schädigen drohen.

Die Wahl der Methoden sollte an die Kontrollrisiken im Zusammenhang mit den von dem geprüften Anbieter ergriffenen Compliance-Maßnahmen sowie an die Aufdeckungsrisiken angepasst werden, darunter insbesondere das Risiko, dass Falschangaben in den Informationen, die der Anbieter der Prüfstelle zur Verfügung stellt, nicht aufgedeckt werden. Wenn beispielsweise eine geprüfte Pflicht die Prüfung eines algorithmischen Systems auf der Grundlage der Personalisierung für die einzelnen Nutzer des geprüften Dienstes und der wiederkehrenden Aktualisierungen des algorithmischen Systems beruht, wie die Offenlegungspflichten für Empfehlungssysteme gemäß Artikel 27 der Verordnung (EU) 2022/2065, sollte die Wahl der Methode es der Prüfstelle ermöglichen, geeignete Tests zur Minimierung der Aufdeckungsrisiken zu entwickeln. Möchte die Prüfstelle wiederum bewerten, ob bei der Konzeption, dem Betrieb und der Nutzung von auf großen Sprachmodellen beruhenden Anwendungen, wie vom geprüften Anbieter eingesetzten Chat-Funktionen oder Empfehlungssystemen, alle relevanten Risiken gemindert wurden, sollte die Prüfstelle zunächst die Angemessenheit der vom Anbieter eingeführten Kontrollen bewerten. Bei der Wahl der Tests sollte die Robustheit dieser internen Kontrollen berücksichtigt werden. Insbesondere, aber nicht beschränkt auf die Fälle, in denen die internen Kontrollen nicht streng, nicht vollständig oder nicht schlüssig sind, um zu beurteilen, ob die Vorschriften eingehalten werden, wenn die Gesamtheit der Nutzer des geprüften Dienstes berücksichtigt wird, sollten die Prüfverfahren auf einer Kombination von Methoden beruhen. Die Methoden könnten beispielsweise vertiefte Analyseverfahren umfassen, wie die Analyse der Interaktionen zwischen allen an den Empfehlungssystemen beteiligten algorithmischen Systemen und damit zusammenhängenden Regeln der Entscheidungsfindung und -verfahren zur Festlegung der wichtigsten Parameter dieser Empfehlungssysteme, sowie die Auswertung digitaler Aufzeichnungen und Protokolle. Die Methoden sollten auch Tests des Systems umfassen, z. B. Tests in simulierten Umgebungen.

Um sicherzustellen, dass die Methode relevant und an neue, während der Durchführung der Prüfung festgestellte Erkenntnisse angepasst ist, sollte sich die Wahl der Methoden nach dem fachlichen Urteil der Prüfstelle richten und an diese neuen Feststellungen angepasst werden, insbesondere wenn die Prüfstelle begründete Zweifel an den vom geprüften Anbieter vorgelegten Informationen hat. Die kritische Grundhaltung der Prüfstelle sollte sich auf ihre Fachkenntnisse sowie auf andere Informationsquellen stützen, die für die Anwendung der Verordnung (EU) 2022/2065 von besonderer Bedeutung sind, wie Berichte des Europäischen Gremiums für digitale Dienste, Anleitungen der Kommission, Prüfberichte aus Verhaltenskodizes oder Krisenprotokollen gemäß den Artikeln 45, 46 und 48 der genannten Verordnung oder Informationen, die sich während der Durchführung der Prüfung ergeben, auch wenn sie mit Ereignissen, insbesondere Krisensituationen, zusammenhängen, die zusätzliche Maßnahmen des geprüften Anbieters erforderlich machen, um die Einhaltung bestimmter geprüfter Pflichten oder Verpflichtungszusagen sicherzustellen.

Um sicherzustellen, dass während der Prüfung ausreichend Prüfbelege erhoben werden, sollten die Prüfstellen sowohl die internen Kontrollen des geprüften Anbieters bewerten als auch vertiefte Prüfverfahren durchführen, um die Einhaltung der Vorschriften durch den geprüften Anbieter zu bewerten. In bestimmten Fällen sollte die Prüfstelle auch Tests durchführen.

Angesichts der Komplexität der von den Anbietern von Online-Plattformen verwendeten algorithmischen Systeme und ihrer wichtigen Rolle bei der Einhaltung mehrerer in der Verordnung (EU) 2022/2065 festgelegter Verpflichtungen sollte ein besonderes Augenmerk auf die Wahl notwendiger und geeigneter Methoden für die Prüfung algorithmischer Systeme gelegt werden. Dies gilt sowohl dann, wenn algorithmische Systeme Teil der vom geprüften Anbieter eingeführten Kontrollen sind, als auch, wenn sie selbst Gegenstand der geprüften Pflichten oder Verpflichtungszusagen sind, z. B. in Bezug auf Empfehlungssysteme, z. B. nach den Artikeln 27, 34, 35 und 38 der Verordnung (EU) 2022/2065, oder Werbesysteme, wie nach den Artikeln 26, 28, 34, 35 und 39 der genannten Verordnung, Systeme zur Moderation von Inhalten, beispielsweise nach den Artikeln 14, 15, 34 und 35 der genannten Verordnung, oder jedes andere algorithmische System, das zu den in Artikel 34 der genannten Verordnung genannten Risiken beiträgt.

Es sollte auch eine Kombination vertiefter Analyseverfahren verwendet werden, gegebenenfalls auch auf der Grundlage von Beobachtungen der Verfahren und Tätigkeiten des geprüften Anbieters bei der Konzeption, der Entwicklung, dem Betrieb, dem Test und der Überwachung algorithmischer Systeme oder der Auswertung der von den Systemen erstellten digitalen Aufzeichnungen und Protokolle. Die Methoden sollten an die Besonderheiten algorithmischer Systeme, einschließlich ihrer Governance, der Interaktion zwischen verschiedenen algorithmischen Systemen und den zugehörigen Datenmanagementsystemen, sowie an die diesen algorithmischen Systemen zugrunde liegenden Technologien wie generative Modelle oder andere Klassifizierungs-, Auswahl- oder Suchalgorithmen angepasst werden.

Darüber hinaus sollten die Prüfungsmethoden für algorithmische Systeme Tests umfassen, beispielsweise um Informationen zu erheben, die der geprüfte Anbieter zuvor nicht dokumentiert hat, oder um Ergebnisse von Genauigkeitsindikatoren, Sandbox-Tests, Tests in simulierten Umgebungen oder Tests in Produktionssystemen unabhängig nachzuvollziehen und zu bewerten, unter anderem durch Datenextraktion oder Angriffstests.

Da eine hohe Qualität der Prüfbelege eine notwendige Voraussetzung dafür ist, dass eine Prüfstelle eine Stellungnahme mit einem hinreichenden Maß an Sicherheit erteilt, sollten die Informationen, die die Prüfstelle als Prüfbelege zu verwenden beabsichtigt, angemessen und ausreichend sein, um Prüfrisiken zu verringern. Darüber hinaus sollten die Prüfbelege nach dem fachlichen Urteil und der kritischen Grundhaltung der Prüfstelle und, bei Bedarf, unter Berücksichtigung alternativer Informationsquellen zuverlässig sein. Zu einem fachlichen Urteil und einer kritischen Grundhaltung sollten auch eine kritische Bewertung von Prüfbelegen und möglichen Falschangaben gehören. Diese Qualitätsstandards sollten für alle Prüfbelege gelten, unabhängig davon, ob sie vom geprüften Anbieter vorgelegt oder aus anderen Quellen erhoben wurden.

Die Prüfstelle sollte eine Reihe von Informationsquellen berücksichtigen, unter anderem Befragungen von Mitarbeitern oder Auftragnehmern des geprüften Anbieters und von Compliance-Beauftragten, Ingenieuren, Datenwissenschaftlern, Softwarearchitekten oder Mitgliedern interner Auditteams. Sie könnten auch eine technische Dokumentation über die Konzeption, Umsetzung, Erprobung und Überwachung eines einschlägigen Systems, einschließlich Datenqualität und -verwaltung und Aktualisierungen und Versionen des Systems, sowie andere Unterlagen über die Unternehmensführungs- und Entscheidungsverfahren des geprüften Anbieters umfassen, auch im Hinblick auf Prioritäten, Ressourcen, die Zuweisung von Aufgaben und Zuständigkeiten oder die Fachkenntnisse einschlägiger Mitarbeiter.

Um Effizienz und Verhältnismäßigkeit bei der Durchführung der Prüfung zu gewährleisten, sollte es der Prüfstelle gestattet sein, unter gebührender Berücksichtigung der Erreichung einer repräsentativen Stichprobe Daten und Informationen zu erheben, damit die Prüfstelle eine Stellungnahme mit einem hinreichenden Maß an Sicherheit erteilen kann. Um Transparenz und Reproduzierbarkeit der Prüfverfahren zu gewährleisten, sollte die Prüfstelle die Wahl des Umfangs und der Methode der Stichprobe im Prüfbericht begründen. So sollten beispielsweise der Umfang und die Methode der Stichprobe unter der Berücksichtigung gewählt werden, dass der Zweck der Prüfung der konkreten geprüften Pflicht oder Verpflichtungszusage wirksam erfüllt und das Risiko minimiert werden, dass die Schlussfolgerung aus der Prüfung der spezifischen Stichprobe von der Schlussfolgerung abweicht, die sich ergeben würde, wenn die Gesamtheit der Belege in das Prüfverfahren einbezogen wird. Umfang und Methode der Stichprobe sollten unter Berücksichtigung des gesamten Prüfungsumfangs sowie unter Berücksichtigung zu dieser Zeit erfolgter interner oder externer Änderungen des geprüften Diensts ausgewählt werden. Sie sollten auch an die Besonderheiten algorithmischer Systeme angepasst werden, so auch in Bezug auf die Personalisierung durch Profiling. Bei diesen Überlegungen sollte die Prüfstelle beispielsweise eine angemessene Stichprobe aus den verschiedenen Kohorten oder Teilungen, die sich aus Personalisierungstechniken ergeben können, ziehen oder die Fehlermarge ermitteln und begründen, warum sie auf einem annehmbaren Niveau liegt.

Angesichts der Neuartigkeit einiger Bestimmungen der Verordnung (EU) 2022/2065 ist es erforderlich, methodische Grundsätze festzulegen, einschließlich Prüfungsfragen, sowie weitere Orientierungshilfen für die Wahl der Prüfungsmethoden und Prüfbelege zur Bewertung der Einhaltung dieser Bestimmungen, insbesondere zur Bewertung der Einhaltung der Artikel 34, 35 und 36 der Verordnung (EU) 2022/2065 hinsichtlich der Durchführung von Risikobewertungen und der Annahme von Maßnahmen zur Risikominderung durch geprüfte Anbieter und der Anwendung von Pflichten in Bezug auf eine Krisenreaktion.

Da Prüfstellen auch die Einhaltung von Artikel 37 der Verordnung (EU) 2022/2065 durch den geprüften Anbieter bewerten sollten, gilt es auch, die genaue Prüfung näher zu spezifizieren, anhand derer die Einhaltung bewertet werden sollte, insbesondere um Interessenkonflikte der Prüfstelle zu vermeiden.

Angesichts des freiwilligen Charakters der Verhaltenskodizes und Krisenprotokolle gilt es, spezifische Bedingungen für die Prüfung der Einhaltung der Artikel 45, 46 und 48 der Verordnung (EU) 2022/2065 festzulegen, um insbesondere sicherzustellen, dass die Prüfstellen über alle Informationen verfügen, die für die Durchführung von Prüfungen im Zusammenhang mit den Verpflichtungen im Rahmen der einzelnen Verhaltenskodizes und Krisenprotokolle erforderlich sind —