Des algorithmes ou des systèmes d'IA sont de plus en plus déployés pour améliorer les services dans divers domaines et secteurs de l'économie, tels que les soins de santé, les services financiers, les systèmes judiciaires et la police.

Alors que les algorithmes et les systèmes d'IA présentent d'énormes avantages et contribuent à améliorer l'accès aux services et à augmenter la délivrabilité, ces systèmes manquent de transparence et de responsabilité. Le manque de transparence et de responsabilité provoque une méfiance générale à l'égard de ces systèmes. Les gens ne peuvent pas contester ces décisions parce qu'ils ne sont pas conscients du fonctionnement de ces systèmes, ni de l'utilisation de ces systèmes, car ces systèmes peuvent refuser l'accès à divers services tels que l'accès au crédit, à l'assurance, aux soins de santé, à l'hypothèque, etc. .

Les gouvernements doivent réglementer ces systèmes avant qu'ils ne soient largement utilisés dans la société, car ils causent une discrimination à des groupes déjà marginalisés et accroissent les inégalités. Il est impossible d'éviter d'utiliser ces systèmes à l'ère actuelle du Big Data. Pourtant, je pense qu'avec des mécanismes suffisants pour réglementer ces systèmes, nous pouvons garantir que ces systèmes ne discriminent pas les groupes marginalisés et bénéficient des énormes avantages de l'IA.

Alors que de plus en plus de notre monde est connecté et automatisé, nous entrons dans une nouvelle ère où le gouvernement ou des entités privées prédéterminent notre accès à la plupart des services/opportunités en déployant des algorithmes informatiques/IA. De tels systèmes sont déployés sans consultation préalable ni connaissance du public, et ces systèmes ne sont pas responsables d'aucune norme ou réglementation. Ces algorithmes ont généralement été formés sur des données collectées en récupérant des données sur Internet ou en utilisant des données obtenues à partir d'autres sources telles que des courtiers en données. Les données utilisées pour la formation sont collectées sans consentement explicite. Ce type de données est principalement des données biaisées ou renforce des biais qui existent déjà dans la société. Habituellement, les algorithmes ont un impact sur les personnes marginalisées de la communauté, telles que les peuples autochtones ou les personnes de couleur. Généralement, ces algorithmes sont déployés en supposant que les ordinateurs et l'IA supprimeraient les pratiques discriminatoires, mais en réalité, ils automatisent les inégalités et le racisme.

Les applications d'IA nous influencent de diverses manières, y compris les informations que nous voyons en ligne en prédisant quel contenu nous engage en suivant notre activité sur le Web et d'autres données telles que la localisation des systèmes GPS du téléphone et les données financières des banques ou des cartes de crédit. L'IA capture et analyse également les données des visages pour faire respecter les lois ou personnaliser les publicités et est utilisée pour diagnostiquer et traiter le cancer. En d'autres termes, l'IA affecte de nombreux aspects de notre vie[1]. Le manque de transparence de l'IA peut causer divers types de préjudices individuels, tels que la perte financière, la perte d'opportunités d'emploi ou d'accès au crédit, la perte de liberté et les dommages sociaux collectifs. De nombreuses études montrent qu'il a été démontré que l'IA utilisée pour déterminer les décisions d'embauche amplifie la discrimination sexuelle ou raciale existante[23]. Les organismes d'application de la loi adoptent rapidement des technologies de police prédictive et d'évaluation des risques qui renforcent les schémas de discrimination raciale injuste dans le système de justice pénale[24].

Les systèmes d'IA façonnent également les informations que nous voyons sur les flux de médias sociaux et peuvent perpétuer la désinformation lorsqu'ils sont optimisés pour donner la priorité au contenu qui attire l'attention. Cela peut nuire au discours politique et avoir un impact significatif sur la société civile et la démocratie à mesure que la société devient de plus en plus partisane. Il devient également extrêmement difficile de s'entendre sur l'ensemble des faits de base, car différents groupes ont tendance à croire d'autres sources d'information. Alors que l'IA devient de plus en plus omniprésente dans notre société, il devient de plus en plus essentiel que l'IA déployée dans les espaces publics pour les services soit exempte de biais afin d'accroître la confiance dans le système et de réduire les inégalités.

En juin 2022, le gouvernement du Canada a déposé le projet de loi C-27, introduisant des mises à jour du régime fédéral de protection de la vie privée dans le secteur privé et une nouvelle loi sur l'intelligence artificielle. Si elle est adoptée, la Loi sur l'intelligence artificielle et les données (AIDA) [2] serait la première loi au Canada réglementant l'utilisation des systèmes d'intelligence artificielle. L'AIDA adopte une approche basée sur les risques conçue pour se concentrer sur les domaines qui créent le risque le plus élevé, similaire à l'approche trouvée dans la proposition de loi sur l'intelligence artificielle dans l'UE [1], en se concentrant sur les domaines où il existe le risque de préjudice le plus important et biais en établissant des règles d'utilisation des systèmes d'intelligence artificielle « à fort impact », qui seront définies par la réglementation.

Pour accroître la transparence et la responsabilisation des systèmes d'IA, le gouvernement du Canada devrait établir un processus de vérification algorithmique pour s'assurer que les systèmes et les algorithmes d'IA sont exempts de préjugés et de discrimination. Une partie indépendante évalue une procédure algorithmique pour le biais, l'exactitude, la robustesse, l'interprétabilité et la confidentialité. L'audit identifierait les problèmes et suggérerait des améliorations ou des alternatives aux développeurs.

Le gouvernement du Canada devrait établir un organisme national indépendant de surveillance de l'IA sur le modèle du National Institute of Standards and Technology (NIST) aux États-Unis, le Conseil européen de l'intelligence artificielle proposé par l'UE, qui établit et applique les règlements et effectue des audits réguliers de l'IA. ou Algorithmic Impact Assessments (AIA)[25] pour s'assurer que les algorithmes ne sont pas discriminatoires.

L'organisme de contrôle indépendant devrait définir ce qu'est un audit algorithmique. Le concept d'audit algorithmique ou d'évaluation d'impact algorithmique (AIA) est relativement nouveau, les définitions varient selon la source et les recherches se poursuivent. Définir ce qui devrait être inclus dans les audits algorithmiques pour les biais peut encourager des audits futurs plus rigoureux et fournir une référence de comparaison pour les audits terminés. [3,4].

L'organisme de surveillance doit établir des directives claires sur le processus d'audit, telles que l'indépendance de l'auditeur, l'analyse représentative, l'accès aux données, au code et au modèle. L'organisme de surveillance doit mener l'audit sur l'IA hautement sensible, comme la reconnaissance faciale et les systèmes biométriques.

L'audit doit également définir et prendre en compte d'autres dépendances et documents, tels que le processus de collecte de données, en veillant à ce que les données soient représentatives de toutes les données démographiques. Il doit également prendre en compte les effets de toutes les dépendances sur lesquelles l'algorithme s'appuie, telles que les bibliothèques, les packages logiciels et les algorithmes pré-entraînés. L'audit doit examiner la documentation des modèles et s'assurer que la documentation communique avec précision la fonctionnalité des modèles.

L'organisme de surveillance devrait également examiner la façon dont le modèle fonctionne, comme la façon dont l'algorithme note différents facteurs ou variables, comment il fonctionne sur les données historiques et si le modèle fonctionne de manière égale sur différents sous-groupes, pour s'assurer que les variables communes à un groupe particulier ne conduisent pas à des résultats discriminatoires, pour le sous-ensemble. L'audit doit examiner attentivement la définition du problème, si l'énoncé du problème prend en compte les circonstances de l'utilisateur final ou simplement les besoins des clients utilisant le système, comment les variables de résultat sont choisies et comment les algorithmes peuvent permettre des biais.

Les entreprises devraient également divulguer les données sur les étiquettes nutritionnelles [17], afin qu'il soit plus facile pour le public de comprendre les étiquettes et les types de données. L'organisme de surveillance devrait rendre obligatoire la divulgation des données sur les étiquettes nutritionnelles, ainsi que les AIA.

L'organisme de surveillance devrait également établir un processus de surveillance périodique pour comprendre comment les algorithmes/modèles se mettent à jour au fil du temps et quelle variable a provoqué le changement dans le modèle. L'organisme de surveillance devrait également en tenir compte pour déterminer la fréquence du processus d'audit de l'algorithme/du modèle. Les algorithmes à haut risque qui utilisent des données biométriques doivent être examinés périodiquement et les résultats de l'audit doivent être accessibles au public.

À mesure que l'adoption de l'IA augmente, le nombre de systèmes utilisés dans le domaine public est appelé à augmenter et il n'est pas toujours possible pour l'organisme de surveillance d'examiner tous les systèmes d'IA. L'organisme de surveillance devrait également établir un processus de certification pour l'IA non critique selon le cadre développé par le Responsible AI Institute (RAII) [5] et basé sur les principes de l'IA de l'OCDE [6]. L'organisme de surveillance devrait également établir le processus et les exigences des organismes qui fournissent le processus de certification. Les résultats du processus de certification doivent être accessibles au public pour garantir la transparence.

Le gouvernement devrait obliger les entreprises à divulguer quand l'IA/les algorithmes sont utilisés pour la prise de décision, en augmentant la transparence et la sensibilisation des utilisateurs finaux lorsqu'ils interagissent avec un algorithme/une IA.

Le gouvernement du Canada devrait suivre l'UE en interdisant les systèmes d'identification biométrique/de reconnaissance faciale en temps réel dans les espaces publics à des fins d'application de la loi. Le gouvernement canadien devrait également interdire tous les systèmes de notation sociale, qui conduisent à un traitement injustifié et disproportionné.

Des algorithmes ou des systèmes d'IA sont de plus en plus déployés pour améliorer les services dans divers domaines et secteurs de l'économie, tels que les soins de santé, les services financiers, les systèmes judiciaires et la police. Alors que les algorithmes et les systèmes d'IA présentent d'énormes avantages et contribuent à améliorer l'accès aux services et à accroître la délivrabilité, le manque de transparence et de responsabilité suscite une méfiance générale à l'égard de ces systèmes. Les systèmes d'IA peuvent refuser l'accès à divers services tels que l'accès au crédit, à l'assurance, aux soins de santé et à l'hypothèque, car les gens ne peuvent pas contester ces décisions car ils ne savent pas comment ces systèmes fonctionnent. Ils ne sont pas non plus conscients de l'utilisation de ces systèmes.

Pour accroître la transparence et la responsabilité des algorithmes et des systèmes d'IA auprès du public et de la société, le gouvernement canadien devrait établir un organisme de surveillance indépendant pour réglementer et surveiller l'industrie de l'IA et s'assurer que les systèmes sont exempts de préjugés et de discrimination. L'organisme de surveillance doit définir le processus d'audit pour s'assurer que tous les systèmes sont évalués sur un pied d'égalité et mettre les résultats de l'audit à la disposition du public, offrant ainsi un processus participatif par toutes les parties prenantes et les organisations civiques, qui conduira à l'amélioration des systèmes au fil du temps et aussi renforcer la confiance des consommateurs.

Conformément à la proposition actuelle de la loi AIDA, le gouvernement confie la responsabilité de l'évaluation et des mesures d'atténuation des risques aux développeurs/entreprises développant/déployant des systèmes d'IA, c'est-à-dire que la personne/organisation responsable de la création d'un système est responsable de la mesure de ses performances. L'autre aspect de l'AIDA est que l'audit n'est pas obligatoire, ce qui signifie qu'il n'existe aucun mécanisme pour vérifier/vérifier les réclamations des développeurs/entreprises avant le déploiement public. Un autre problème avec la loi AIDA est qu'elle n'oblige pas le système à divulguer qu'il interagit avec un système d'IA.

Le système proposé oblige à informer l'utilisateur final lorsqu'il interagit avec l'IA, et il appelle également à la création d'un organisme national indépendant de surveillance de l'IA sur le modèle du National Institute of Standards and Technology (NIST) aux États-Unis, le Conseil européen de l'intelligence artificielle proposé par l'UE. L'organisme de surveillance établit et applique des réglementations et effectue régulièrement des audits d'IA ou des évaluations d'impact algorithmique (AIA) pour s'assurer que les algorithmes ne sont pas discriminatoires et rendrait obligatoire des audits avant qu'ils ne soient déployés publiquement. Cela conduirait à l'évaluation des systèmes par des tiers indépendants avant qu'ils ne soient déployés publiquement et assure une surveillance continue pour éviter des dommages importants aux citoyens/consommateurs.