Article 14 Contrôle humain

La conception et le développement des systèmes d’IA, un système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuels; à haut risque, la combinaison de la probabilité d’un préjudice et de la sévérité de celui-ci; permettent, notamment au moyen d’interfaces homme-machine appropriées, un contrôle effectif par des personnes physiques pendant leur période d’utilisation.

Le contrôle humain vise à prévenir ou à réduire au minimum les risques, la combinaison de la probabilité d’un préjudice et de la sévérité de celui-ci; pour la santé, la sécurité ou les droits fondamentaux qui peuvent apparaître lorsqu’un système d’IA, un système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuels; à haut risque, la combinaison de la probabilité d’un préjudice et de la sévérité de celui-ci; est utilisé conformément à sa destination, l’utilisation à laquelle un système d’IA est destiné par le fournisseur, y compris le contexte et les conditions spécifiques d’utilisation, tels qu’ils sont précisés dans les informations communiquées par le fournisseur dans la notice d’utilisation, les indications publicitaires ou de vente et les déclarations, ainsi que dans la documentation technique; ou dans des conditions de mauvaise utilisation raisonnablement prévisible, l’utilisation d’un système d’IA d’une manière qui n’est pas conforme à sa destination, mais qui peut résulter d’un comportement humain raisonnablement prévisible ou d’une interaction raisonnablement prévisible avec d’autres systèmes, y compris d’autres systèmes d’IA;, en particulier lorsque de tels risques, la combinaison de la probabilité d’un préjudice et de la sévérité de celui-ci; persistent malgré l’application d’autres exigences énoncées dans la présente section.

1. des mesures identifiées et, lorsque cela est techniquement possible, intégrées par le fournisseur, une personne physique ou morale, une autorité publique, une agence ou tout autre organisme qui développe ou fait développer un système d’IA ou un modèle d’IA à usage général et le met sur le marché ou met le système d’IA en service sous son propre nom ou sa propre marque, à titre onéreux ou gratuit; dans le système d’IA, un système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuels; à haut risque, la combinaison de la probabilité d’un préjudice et de la sévérité de celui-ci; avant la mise sur le marché, la première mise à disposition d’un système d’IA ou d’un modèle d’IA à usage général sur le marché de l’Union; ou la mise en service, la fourniture d’un système d’IA en vue d’une première utilisation directement au déployeur ou pour usage propre dans l’Union, conformément à la destination du système d’IA; de ce dernier;

2. des mesures identifiées par le fournisseur, une personne physique ou morale, une autorité publique, une agence ou tout autre organisme qui développe ou fait développer un système d’IA ou un modèle d’IA à usage général et le met sur le marché ou met le système d’IA en service sous son propre nom ou sa propre marque, à titre onéreux ou gratuit; avant la mise sur le marché, la première mise à disposition d’un système d’IA ou d’un modèle d’IA à usage général sur le marché de l’Union; ou la mise en service, la fourniture d’un système d’IA en vue d’une première utilisation directement au déployeur ou pour usage propre dans l’Union, conformément à la destination du système d’IA; du système d’IA, un système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuels; à haut risque, la combinaison de la probabilité d’un préjudice et de la sévérité de celui-ci; et qui se prêtent à une mise en œuvre par le déployeur, une personne physique ou morale, une autorité publique, une agence ou un autre organisme utilisant sous sa propre autorité un système d’IA sauf lorsque ce système est utilisé dans le cadre d’une activité personnelle à caractère non professionnel;.

1. de comprendre correctement les capacités et les limites pertinentes du système d’IA, un système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuels; à haut risque, la combinaison de la probabilité d’un préjudice et de la sévérité de celui-ci; et d’être en mesure de surveiller correctement son fonctionnement, y compris en vue de détecter et de traiter les anomalies, les dysfonctionnements et les performances inattendues;

2. d’avoir conscience d’une éventuelle tendance à se fier automatiquement ou excessivement aux sorties produites par un système d’IA, un système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuels; à haut risque, la combinaison de la probabilité d’un préjudice et de la sévérité de celui-ci; (biais d’automatisation), en particulier pour les systèmes d’IA, un système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuels; à haut risque, la combinaison de la probabilité d’un préjudice et de la sévérité de celui-ci; utilisés pour fournir des informations ou des recommandations concernant les décisions à prendre par des personnes physiques;

3. d’interpréter correctement les sorties du système d’IA, un système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuels; à haut risque, la combinaison de la probabilité d’un préjudice et de la sévérité de celui-ci;, compte tenu par exemple des outils et méthodes d’interprétation disponibles;

4. de décider, dans une situation particulière, de ne pas utiliser le système d’IA, un système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuels; à haut risque, la combinaison de la probabilité d’un préjudice et de la sévérité de celui-ci; ou d’ignorer, remplacer ou inverser la sortie du système d’IA, un système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuels; à haut risque, la combinaison de la probabilité d’un préjudice et de la sévérité de celui-ci;;

5. d’intervenir dans le fonctionnement du système d’IA, un système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuels; à haut risque, la combinaison de la probabilité d’un préjudice et de la sévérité de celui-ci; ou d’interrompre le système au moyen d’un bouton d’arrêt ou d’une procédure similaire permettant au système de s’arrêter de manière sécurisée.

Pour les systèmes d’IA, un système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuels; à haut risque, la combinaison de la probabilité d’un préjudice et de la sévérité de celui-ci; visés à l’annexe III, point 1 a), les mesures prévues au paragraphe 3 du présent article sont de nature à garantir que, en outre, aucune mesure ou décision n’est prise par le déployeur, une personne physique ou morale, une autorité publique, une agence ou un autre organisme utilisant sous sa propre autorité un système d’IA sauf lorsque ce système est utilisé dans le cadre d’une activité personnelle à caractère non professionnel; sur la base de l’identification résultant du système sans vérification et confirmation distinctes de cette identification par au moins deux personnes physiques disposant des compétences, de la formation et de l’autorité nécessaires.

L’exigence d’une vérification distincte par au moins deux personnes physiques ne s’applique pas aux systèmes d’IA, un système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuels; à haut risque, la combinaison de la probabilité d’un préjudice et de la sévérité de celui-ci; utilisés à des fins répressives ou dans les domaines de la migration, des contrôles aux frontières ou de l’asile, lorsque le droit de l’Union ou le droit national considère que l’application de cette exigence est disproportionnée.