Recital 73 Human oversight

Les systèmes d’IA, un système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuels; à haut risque, la combinaison de la probabilité d’un préjudice et de la sévérité de celui-ci; devraient être conçus et développés de manière à ce que les personnes physiques puissent superviser leur fonctionnement et veiller à ce qu’ils soient utilisés comme prévu et à ce que leurs incidences soient prises en compte tout au long de leur cycle de vie. À cette fin, des mesures appropriées de contrôle humain devraient être établies par le fournisseur, une personne physique ou morale, une autorité publique, une agence ou tout autre organisme qui développe ou fait développer un système d’IA ou un modèle d’IA à usage général et le met sur le marché ou met le système d’IA en service sous son propre nom ou sa propre marque, à titre onéreux ou gratuit; du système avant sa mise sur le marché, la première mise à disposition d’un système d’IA ou d’un modèle d’IA à usage général sur le marché de l’Union; ou sa mise en service, la fourniture d’un système d’IA en vue d’une première utilisation directement au déployeur ou pour usage propre dans l’Union, conformément à la destination du système d’IA;. En particulier, le cas échéant, de telles mesures devraient garantir que le système est soumis à des contraintes opérationnelles intégrées qui ne peuvent pas être ignorées par le système lui-même, que le système répond aux ordres de l’opérateur, un fournisseur, fabricant de produits, déployeur, mandataire, importateur ou distributeur; humain et que les personnes physiques auxquelles le contrôle humain a été confié ont les compétences, la formation et l’autorité nécessaires pour s’acquitter de ce rôle. Il est également essentiel, le cas échéant, de veiller à ce que les systèmes d’IA, un système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuels; à haut risque, la combinaison de la probabilité d’un préjudice et de la sévérité de celui-ci; comprennent des mécanismes destinés à guider et à informer une personne physique à laquelle le contrôle humain a été confié, afin qu’elle puisse décider en connaissance de cause s’il faut intervenir, à quel moment et de quelle manière, pour éviter des conséquences négatives ou des risques, la combinaison de la probabilité d’un préjudice et de la sévérité de celui-ci;, ou arrêter le système s’il ne fonctionne pas comme prévu. Compte tenu des conséquences importantes pour les personnes en cas d’erreur dans les correspondances établies par certains systèmes d’identification biométrique, la reconnaissance automatisée de caractéristiques physiques, physiologiques, comportementales ou psychologiques humaines aux fins d’établir l’identité d’une personne physique en comparant ses données biométriques à des données biométriques de personnes stockées dans une base de données;, il convient de prévoir pour ces systèmes une exigence de contrôle humain accru, de manière qu’aucune mesure ou décision ne puisse être prise par le déployeur, une personne physique ou morale, une autorité publique, une agence ou un autre organisme utilisant sous sa propre autorité un système d’IA sauf lorsque ce système est utilisé dans le cadre d’une activité personnelle à caractère non professionnel; sur la base de l’identification obtenue par le système, à moins qu’elle n’ait été vérifiée et confirmée séparément par au moins deux personnes physiques. Ces personnes pourraient provenir d’une ou de plusieurs entités et compter parmi elles la personne qui fait fonctionner le système ou l’utilise. Cette exigence ne devrait pas entraîner de charges ou de retards inutiles, et il pourrait suffire que les vérifications effectuées séparément par les différentes personnes soient automatiquement enregistrées dans les journaux générés par le système. Compte tenu des spécificités des domaines que sont les activités répressives, des activités menées par les autorités répressives ou pour leur compte pour la prévention et la détection des infractions pénales, les enquêtes et les poursuites en la matière ou l’exécution de sanctions pénales, y compris la protection contre les menaces pour la sécurité publique et la prévention de telles menaces;, la migration, les contrôles aux frontières et l’asile, cette exigence ne devrait pas s’appliquer lorsque le droit de l’Union ou le droit national considère que cette application est disproportionnée.