Article 27 Analyse d’impact des systèmes d’IA à haut risque sur les droits fondamentaux

Si des risques liés aux systèmes d’IA peuvent découler de la manière dont ces systèmes sont conçus, ils peuvent également provenir de la manière dont ces systèmes d’IA sont utilisés. Les déployeurs de systèmes d’IA à haut risque jouent donc un rôle essentiel pour ce qui est de garantir la protection des droits fondamentaux, en complétant les obligations du fournisseur lors du développement du système d’IA. Les déployeurs sont les mieux placés pour comprendre comment le système d’IA à haut risque sera utilisé concrètement et peuvent donc identifier les risques importants potentiels qui n’étaient pas prévus au cours de la phase de développement, en raison d’une connaissance plus précise du contexte d’utilisation et des personnes ou groupes de personnes susceptibles d’être concernés, y compris les groupes vulnérables. Les déployeurs de systèmes d’IA à haut risque énumérés dans une annexe du présent règlement contribuent également de façon essentielle à informer les personnes physiques et devraient, lorsqu’ils prennent des décisions ou facilitent la prise de décisions concernant des personnes physiques, selon le cas, informer lesdites personnes physiques qu’elles sont soumises à l’utilisation du système d’IA à haut risque. Cette information devrait comprendre la destination du système et le type de décisions prises. Les déployeurs devraient aussi informer les personnes physiques de leur droit à une explication prévu par le présent règlement. En ce qui concerne les systèmes d’IA à haut risque utilisés à des fins répressives, cette obligation devrait être mise en œuvre conformément à l’article 13 de la directive (UE) 2016/680.

Afin de garantir efficacement la protection des droits fondamentaux, les déployeurs de systèmes d’IA à haut risque qui sont des organismes de droit public ou des entités privées fournissant des services publics et des déployeurs de certains systèmes d’IA à haut risque énumérés dans une annexe du présent règlement, tels que des entités bancaires ou d’assurance, devraient procéder à une analyse d’impact de ces systèmes concernant les droits fondamentaux avant de les mettre en service. Les services à caractère public importants pour les personnes peuvent également être fournis par des entités privées. Les entités privées fournissant de tels services publics sont liées à des missions d’intérêt public dans des domaines tels que l’éducation, les soins de santé, les services sociaux, le logement et l’administration de la justice. L’analyse d’impact concernant les droits fondamentaux vise à ce que le déployeur identifie les risques spécifiques pour les droits des personnes ou groupes de personnes susceptibles d’être concernés et à ce qu’il détermine les mesures à prendre en cas de matérialisation de ces risques. L’analyse d’impact devrait être réalisée avant le premier déploiement du système d’IA à haut risque et être mise à jour lorsque le déployeur estime que l’un des facteurs pertinents a changé. L’analyse d’impact devrait identifier les processus pertinents du déployeur dans lesquels le système d’IA à haut risque sera utilisé conformément à sa destination, et devrait indiquer la durée pendant laquelle le système est destiné à être utilisé et selon quelle fréquence ainsi que les catégories spécifiques de personnes physiques et de groupes susceptibles d’être concernés dans le contexte spécifique d’utilisation. L’analyse devrait aussi déterminer les risques spécifiques de préjudice susceptibles d’avoir une incidence sur les droits fondamentaux de ces personnes ou groupes. Afin que cette analyse soit réalisée correctement, le déployeur devrait tenir compte des informations pertinentes, y compris, mais sans s’y limiter, les informations communiquées par le fournisseur du système d’IA à haut risque dans la notice d’utilisation. À la lumière des risques recensés, les déployeurs devraient déterminer les mesures à prendre en cas de matérialisation de ces risques, y compris, par exemple, les dispositions en matière de gouvernance dans ce contexte spécifique d’utilisation, telles que les dispositions pour le contrôle humain conformément à la notice d’utilisation ou les procédures de traitement des plaintes et de recours, en ce qu’elles pourraient contribuer à atténuer les risques pour les droits fondamentaux dans des cas d’utilisation concrets. Après avoir réalisé cette analyse d’impact, le déployeur devrait en informer l’autorité de surveillance du marché concernée. Le cas échéant, pour recueillir les informations pertinentes nécessaires à la réalisation de l’analyse d’impact, les déployeurs de systèmes d’IA à haut risque, en particulier lorsque des systèmes d’IA sont utilisés dans le secteur public, pourraient associer les parties prenantes concernées, y compris les représentants de groupes de personnes susceptibles d’être concernés par le système d’IA, les experts indépendants et les organisations de la société civile, à la réalisation de cette analyse d’impact et à la conception des mesures à prendre en cas de matérialisation des risques. Le Bureau européen de l’intelligence artificielle (ci-après dénommé «Bureau de l’IA») devrait élaborer un modèle de questionnaire afin de faciliter la mise en conformité et de réduire la charge administrative pesant sur les déployeurs.