Un guide pour les décideurs politiques : évaluer les technologies en développement rapide, notamment l'IA, les grands modèles de langage et au-delà

Dans cet article, l'ISC explore les grandes lignes d'un cadre visant à informer les décideurs politiques sur les multiples discussions mondiales et nationales en cours liées à l'IA.

Un guide pour les décideurs politiques : évaluer les technologies en développement rapide, notamment l'IA, les grands modèles de langage et au-delà

Le guide de l'ISC offre un cadre complet conçu pour combler le fossé entre les principes de haut niveau et les politiques pratiques et réalisables. Il répond au besoin urgent d’une compréhension commune des opportunités et des risques présentés par les technologies émergentes. Il s’agit d’un document essentiel pour ceux qui travaillent au niveau politique dans notre ère numérique en évolution rapide.

Le cadre explore le potentiel de l’IA et de ses dérivés dans une perspective globale, englobant le bien-être humain et sociétal ainsi que des facteurs externes tels que l’économie, la politique, l’environnement et la sécurité. Certains aspects de la liste de contrôle peuvent être plus pertinents que d’autres, selon le contexte, mais de meilleures décisions semblent plus probables si tous les domaines sont pris en compte, même si certains peuvent être rapidement identifiés comme non pertinents dans des cas particuliers. C’est la valeur inhérente d’une approche de liste de contrôle.

Pierre Gluckman

Président de l'ISC

« À une époque marquée par une innovation technologique rapide et des défis mondiaux complexes, le cadre d'analyse complète et multidimensionnelle des impacts potentiels de l'ISC permet aux dirigeants de prendre des décisions éclairées et responsables. Cela garantit qu’à mesure que nous progressons technologiquement, nous le faisons en tenant soigneusement compte des implications éthiques, sociales et économiques ».

Bien que des principes de haut niveau aient été promulgués par l'UNESCO, l'OCDE, la Commission européenne et l'ONU, entre autres, et que diverses discussions se poursuivent sur des questions potentielles de gouvernance, de réglementation, d'éthique et de sécurité, il existe un écart important entre ces principes et une cadre de gouvernance ou de réglementation. L'ISC répond à ce besoin à travers son nouveau guide destiné aux décideurs politiques.

Ce guide destiné aux décideurs politiques n’a pas pour but d’interdire un régime réglementaire, mais plutôt de suggérer un cadre analytique adaptatif et évolutif qui pourrait sous-tendre tout processus d’évaluation et de réglementation qui pourrait être développé par les parties prenantes, y compris les gouvernements et le système multilatéral.

Hema Sridhar

Ancien conseiller scientifique en chef au ministère de la Défense de Nouvelle-Zélande et aujourd'hui chercheur principal à l'Université d'Auckland en Nouvelle-Zélande.

« Ce cadre constitue une étape cruciale dans le débat mondial sur l’IA, car il fournit une base à partir de laquelle nous pouvons construire un consensus sur les implications de la technologie, aujourd’hui et à l’avenir ». 

Depuis octobre 2023, plusieurs initiatives nationales et multilatérales importantes ont été prises pour examiner plus en détail l’éthique et la sécurité de l’IA. Les implications de l’IA sur l’intégrité de certains de nos systèmes critiques, notamment financiers, gouvernementaux, juridiques et éducatifs, ainsi que sur différents systèmes de connaissances (y compris les connaissances scientifiques et autochtones), sont de plus en plus préoccupantes. Le cadre reflète davantage ces aspects.

Les commentaires reçus à ce jour des membres de l'ISC et de la communauté internationale des décideurs politiques se reflètent dans la version révisée du cadre analytique, qui est maintenant publiée comme guide pour les décideurs politiques.

Un guide pour les décideurs politiques : évaluer les technologies en développement rapide, notamment l'IA, les grands modèles de langage et au-delà

Ce document de discussion fournit les grandes lignes d’un cadre initial pour éclairer les multiples discussions mondiales et nationales en cours concernant l’IA.

Téléchargez le cadre à utiliser dans votre organisation

Nous fournissons ici l'outil-cadre sous forme de feuille Excel modifiable à utiliser dans votre organisation. Si vous préférez un format open source, veuillez contacter Secretariat@council.science.

Introduction

Les technologies émergentes rapidement posent des problèmes difficiles en termes d’utilisation, de gouvernance et de réglementation potentielle. Les débats politiques et publics en cours sur l’intelligence artificielle (IA) et son utilisation ont mis ces questions au centre de l’attention. Des principes généraux pour l'IA ont été annoncés par l'UNESCO, l'OCDE, l'ONU et d'autres, y compris la Déclaration de Bletchley du Royaume-Uni, et des tentatives juridictionnelles émergentes pour réglementer certains aspects de la technologie à travers, par exemple, l'IA de l'Union européenne (UE). Act ou le récent décret exécutif américain sur l’IA.

Bien que l’utilisation de l’IA soit longuement discutée dans ces forums et dans d’autres, au-delà des clivages géopolitiques et dans des pays de tous niveaux de revenus, il subsiste un fossé ontologique entre l’élaboration de principes de haut niveau et leur mise en pratique par le biais de la réglementation, des politiques, de la gouvernance. ou des approches de gestion. Le chemin qui mène du principe à la pratique est mal défini, mais étant donné la nature et la cadence du développement et de l’application de l’IA, la variété des intérêts impliqués et l’éventail des applications possibles, aucune approche ne peut être trop générique ou prescriptive.

Pour ces raisons, la communauté scientifique non gouvernementale continue de jouer un rôle particulier. Le Conseil scientifique international (ISC) – avec ses membres pluralistes issus des sciences sociales et naturelles – a publié en octobre 2023 un document de discussion présentant un cadre analytique préliminaire prenant en compte les risques, les avantages, les menaces et les opportunités associés à l’évolution rapide de la technologie numérique. Bien qu’elle ait été développée pour prendre en compte l’IA, elle est intrinsèquement indépendante de la technologie et peut être appliquée à une gamme de technologies émergentes et disruptives, telles que la biologie synthétique et le quantique. Ce document de discussion sollicitait les commentaires des universitaires et des décideurs politiques. Les retours massifs ont rendu nécessaire la réalisation d’une telle analyse et se sont révélés être une approche précieuse pour aborder les technologies émergentes comme l’IA.

L'objectif de ce cadre est de fournir un outil pour informer toutes les parties prenantes – y compris les gouvernements, les négociateurs commerciaux, les régulateurs, la société civile et l'industrie – de l'évolution de ces technologies pour les aider à définir la manière dont elles pourraient considérer les implications, positives ou négatives, de la technologie elle-même, et plus particulièrement son application particulière. Ce cadre analytique a été élaboré indépendamment des intérêts du gouvernement et de l’industrie. Il est extrêmement pluraliste dans ses perspectives, englobant tous les aspects de la technologie et ses implications, sur la base de consultations et de commentaires approfondis.

Ce document de discussion destiné aux décideurs politiques n’a pas pour but d’interdire un régime réglementaire, mais plutôt de suggérer un cadre analytique adaptatif et évolutif qui pourrait sous-tendre tout processus d’évaluation et de réglementation qui pourrait être développé par les parties prenantes, y compris les gouvernements et le système multilatéral.

Alors que les décideurs à l’échelle mondiale et nationale envisagent des paramètres et des leviers politiques appropriés pour équilibrer les risques et les avantages d’une nouvelle technologie telle que l’IA, le cadre analytique se veut un outil complémentaire pour garantir que l’ensemble des implications potentielles soient correctement prises en compte.

Contexte : pourquoi un cadre analytique ?

L’émergence rapide de technologies avec la complexité et les implications de l’IA suscite de nombreuses affirmations très bénéfiques. Cependant, cela suscite également des craintes de risques importants, du niveau individuel au niveau géostratégique.1 Jusqu’à présent, une grande partie du débat a été considérée dans un sens binaire, dans la mesure où les opinions exprimées publiquement ont tendance à se situer aux extrémités du spectre. Les affirmations faites pour ou contre l’IA sont souvent hyperboliques et – compte tenu de la nature de la technologie – difficiles à évaluer.

Une approche plus pragmatique est nécessaire où l’hyperbole est remplacée par des évaluations calibrées et plus granulaires. La technologie de l’IA continuera d’évoluer et l’histoire montre que pratiquement toutes les technologies ont des utilisations à la fois bénéfiques et nuisibles. La question est donc la suivante : comment pouvons-nous obtenir les résultats bénéfiques de cette technologie, tout en réduisant le risque de conséquences néfastes, dont certaines pourraient avoir une ampleur existentielle ?

L’avenir est toujours incertain, mais il existe suffisamment de voix crédibles et expertes concernant l’IA et l’IA générative pour encourager une approche relativement prudente. En outre, une approche systémique est nécessaire, car l’IA est une classe de technologies largement utilisées et appliquées par de multiples types d’utilisateurs. Cela signifie que le contexte complet doit être pris en compte lors de l’examen des implications de toute utilisation de l’IA pour les individus, la vie sociale, la vie civique, la vie sociétale et dans le contexte mondial.

Contrairement à la plupart des autres technologies, pour les technologies numériques et connexes, le délai entre le développement, la sortie et l'application est extrêmement court, largement déterminé par les intérêts des sociétés ou agences de production. De par sa nature même – et étant donné qu’elle repose sur l’épine dorsale numérique – l’IA aura des applications qui se généraliseront rapidement, comme on l’a déjà vu avec le développement de grands modèles linguistiques. En conséquence, certaines propriétés peuvent n’apparaître qu’après la publication, ce qui signifie qu’il existe un risque de conséquences imprévues, à la fois malveillantes et bienveillantes.

Des dimensions importantes des valeurs sociétales, en particulier dans différentes régions et cultures, influenceront la façon dont toute utilisation est perçue et acceptée. En outre, les intérêts géostratégiques dominent déjà les débats, les intérêts souverains et multilatéraux se croisant continuellement, alimentant ainsi la concurrence et la division.

Jusqu'à présent, une grande partie de la réglementation d'une technologie virtuelle a été largement considérée sous l'angle des « principes » et de la conformité volontaire, bien qu'avec la loi européenne sur l'IA.2 et de la même manière, nous assistons à une évolution vers des réglementations plus exécutoires mais quelque peu étroites. La mise en place d’un système efficace de gouvernance technologique et/ou de réglementation à l’échelle mondiale ou nationale reste un défi et il n’existe pas de solution évidente. Plusieurs niveaux de prise de décision tenant compte des risques seront nécessaires tout au long de la chaîne, de l’inventeur au producteur, en passant par l’utilisateur, le gouvernement et le système multilatéral.

Bien que des principes de haut niveau aient été promulgués par l'UNESCO, l'OCDE, la Commission européenne et l'ONU, entre autres, et que diverses discussions de haut niveau se poursuivent sur des questions potentielles de gouvernance, de réglementation, d'éthique et de sécurité, il existe un écart important entre ces principes. principes et un cadre de gouvernance ou de réglementation. Cela doit être pris en compte.

Comme point de départ, l'ISC envisage de développer une taxonomie de considérations à laquelle tout développeur, régulateur, conseiller politique, consommateur ou décideur pourrait se référer. Compte tenu des vastes implications de ces technologies, une telle taxonomie doit considérer l’ensemble des implications plutôt qu’un cadre étroitement ciblé. La fragmentation mondiale s’accentue en raison de l’influence des intérêts géostratégiques sur la prise de décision, et compte tenu de l’urgence de cette technologie, il est essentiel que des voix indépendantes et neutres défendent avec persistance une approche unifiée et inclusive.


1) Temps de l'Hindoustan. 2023. Le G20 doit mettre en place un panel international sur les changements technologiques.
https://www.hindustantimes.com/opinion/g20-must-set-up-an-international-panel-on-technological-change-101679237287848.html
2) La loi européenne sur l’intelligence artificielle. 2023. https://artificialintelligenceact.eu

L’élaboration d’un cadre d’analyse

L'ISC est la principale organisation non gouvernementale mondiale intégrant les sciences naturelles et sociales. Sa portée mondiale et disciplinaire signifie qu'il est bien placé pour générer des conseils indépendants et pertinents à l'échelle mondiale pour éclairer les choix complexes à venir, d'autant plus que les voix actuelles dans ce domaine proviennent en grande partie de l'industrie ou des communautés politiques des grandes puissances technologiques.

Après une période de discussions approfondies, qui comprenait l'examen d'un processus d'évaluation non gouvernemental, l'ISC a conclu que sa contribution la plus utile serait de produire un cadre analytique adaptatif pouvant être utilisé comme base de discours et de prise de décision par tous. parties prenantes, y compris lors de tout processus d’évaluation formel qui émerge.

Le cadre analytique préliminaire, qui a été publié pour discussion et commentaires en octobre 2023, a pris la forme d'une liste de contrôle globale conçue pour être utilisée par les institutions gouvernementales et non gouvernementales. Le cadre a identifié et exploré le potentiel d’une technologie telle que l’IA et ses dérivés dans une perspective large qui englobe le bien-être humain et sociétal, ainsi que des facteurs externes tels que l’économie, la politique, l’environnement et la sécurité. Certains aspects de la liste de contrôle peuvent être plus pertinents que d’autres, selon le contexte, mais de meilleures décisions semblent plus probables si tous les domaines sont pris en compte, même si certains peuvent être rapidement identifiés comme non pertinents dans des cas particuliers. C’est la valeur inhérente d’une approche de liste de contrôle.

Le cadre préliminaire est dérivé de travaux et de réflexions antérieurs, notamment du rapport de l'International Network for Governmental Science Advice (INGSA) sur le bien-être numérique3 et du cadre de l'OCDE pour la classification des systèmes d'IA,4 pour présenter l'ensemble des opportunités, des risques et des impacts potentiels. de l’IA. Ces produits précédents avaient une intention plus restreinte compte tenu de leur époque et de leur contexte ; il est nécessaire de disposer d’un cadre global qui présente l’ensemble des questions à court et à long terme.

Depuis sa publication, le document de travail a reçu un soutien important de la part de nombreux experts et décideurs politiques. Beaucoup ont spécifiquement approuvé la recommandation visant à développer un cadre adaptatif permettant une prise en compte délibérée et proactive des risques et des implications de la technologie et, ce faisant, prenant toujours en compte la totalité des dimensions, de l'individu à la société et aux systèmes.

L’une des principales observations formulées à travers les commentaires a été la reconnaissance du fait que plusieurs des implications prises en compte dans le cadre sont intrinsèquement multiformes et s’étendent à plusieurs catégories. Par exemple, la désinformation pourrait être considérée à la fois sous l’angle individuel et géostratégique ; les conséquences seraient donc vastes.

L'option d'inclure des études de cas ou des exemples pour tester le cadre a également été suggérée. Cela pourrait être utilisé pour élaborer des lignes directrices démontrant comment elles pourraient être utilisées en pratique dans différents contextes. Cependant, cela représenterait une entreprise importante et pourrait limiter la façon dont différents groupes perçoivent l’utilisation de ce cadre. Il est préférable que les décideurs politiques travaillent avec des experts dans des juridictions ou des contextes spécifiques.

Depuis octobre 2023, plusieurs initiatives nationales et multilatérales importantes ont été prises pour examiner plus en détail l’éthique et la sécurité de l’IA. Les implications de l’IA sur l’intégrité de certains de nos systèmes critiques, notamment financiers, gouvernementaux, juridiques et éducatifs, ainsi que sur différents systèmes de connaissances (y compris les connaissances scientifiques et autochtones), sont de plus en plus préoccupantes. Le cadre révisé reflète davantage ces aspects.

Les commentaires reçus à ce jour se reflètent dans la version révisée du cadre analytique, qui est désormais publiée comme guide à l'intention des décideurs politiques.

Bien que le cadre soit présenté dans le contexte de l’IA et des technologies associées, il est immédiatement transférable aux considérations d’autres technologies émergentes rapidement telles que la biologie quantique et synthétique.


3) Gluckman, P. et Allen, K. 2018. Comprendre le bien-être dans le contexte des transformations numériques rapides et associées. INGSA.
https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf
4) OCDE. 2022. Cadre de l'OCDE pour la classification des systèmes d'IA. Documents de l'OCDE sur l'économie numérique, n° 323,#. Paris, Éditions OCDE.
https://oecd.ai/en/classificatio

Le cadre

Le tableau suivant présente les dimensions d’un cadre analytique putatif. Des exemples sont fournis pour illustrer pourquoi chaque domaine peut être important ; dans son contexte, le cadre nécessiterait une expansion contextuellement pertinente. Il est également important de faire la distinction entre les problèmes génériques qui surviennent lors du développement de plateformes et ceux qui peuvent surgir lors d’applications spécifiques. Aucune des considérations incluses ici ne doit être traitée comme une priorité et, à ce titre, toutes doivent être examinées.

Les problèmes sont globalement regroupés dans les catégories suivantes, comme indiqué ci-dessous :

  • Bien-être (y compris celui des individus ou de soi, de la société, de la vie sociale et de la vie civique)
  • Commerce et économie
  • Environnement
  • Géostratégique et géopolitique
  • Technologique (caractéristiques du système, conception et utilisation)

Le tableau détaille les dimensions qui pourraient devoir être prises en compte lors de l'évaluation d'une nouvelle technologie.

🔴INGSA. 2018. Comprendre le bien-être dans le contexte des transformations numériques rapides et associées.
https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf

🟢 Nouveaux descripteurs (issus d'une consultation approfondie, de commentaires et d'une revue de la littérature)

🟡 Cadre de l'OCDE pour la classification des systèmes d'IA : un outil pour des politiques d'IA efficaces.
https://oecd.ai/en/classification

Dimensions de l'impact : Individuel / soi-même

CritèresExemples de la façon dont cela peut être reflété dans l'analyse
🟡Compétence IA des utilisateursDans quelle mesure les utilisateurs susceptibles d'interagir avec le système sont-ils compétents et conscients des propriétés du système ? Comment recevront-ils les informations utilisateur et les mises en garde pertinentes ?
🟡 Partie prenante impactéeQuelles sont les principales parties prenantes qui seront touchées par le système (individus, communautés, personnes vulnérables, travailleurs du secteur, enfants, décideurs politiques, professionnels, etc.) ?
🟡 OptionnalitéLes utilisateurs ont-ils la possibilité de se retirer du système ou ont-ils la possibilité de contester ou de corriger le résultat ?
🟡Risques pour les droits de l'homme et les valeurs démocratiquesLe système a-t-il un impact fondamental sur les droits de l'homme, y compris, mais sans s'y limiter, la vie privée, la liberté d'expression, l'équité, la non-discrimination, etc. ?
🟡Effets potentiels sur le bien-être des personnesLes domaines d'impact du système sont-ils liés au bien-être de l'utilisateur individuel (qualité de l'emploi, éducation, interactions sociales, santé mentale, identité, environnement, etc.) ?
🟡 Potentiel de déplacement de main-d'œuvre humaineExiste-t-il un potentiel pour que le système automatise des tâches ou des fonctions exécutées par des humains ? Si oui, quelles sont les conséquences en aval ?
🟡 Potentiel de manipulation d'identité, de valeurs ou de connaissancesLe système est-il conçu ou potentiellement capable de manipuler l'identité ou l'identité de l'utilisateur ?
définir des valeurs ou diffuser de la désinformation ?
🔴 Possibilités d'expression de soi et de réalisation de soiExiste-t-il un potentiel d’artifice et de doute de soi ? Y a-t-il un risque de faux ou
des revendications d'expertise invérifiables ?
🔴 Mesures de l'estime de soiY a-t-il une pression pour représenter un moi idéalisé ? L'automatisation pourrait-elle remplacer un sentiment
d'épanouissement personnel ? Y a-t-il des pressions pour concurrencer le système dans le
lieu de travail? La réputation individuelle est-elle plus difficile à protéger contre la désinformation ?
🔴 ConfidentialitéExiste-t-il des responsabilités diffuses en matière de protection de la vie privée et existe-t-il des
Des hypothèses sont-elles formulées sur la manière dont les données personnelles sont utilisées ?
🔴AutonomieLe système d’IA pourrait-il affecter l’autonomie humaine en générant une dépendance excessive
les utilisateurs finaux?
🔴 Développement humainY a-t-il un impact sur l’acquisition de compétences clés pour le développement humain, telles que
fonctions exécutives ou compétences interpersonnelles, ou changements dans le temps d'attention affectant
apprentissage, développement de la personnalité, problèmes de santé mentale, etc. ?
🔴 Soins de santé personnelsExiste-t-il des allégations d'autodiagnostic ou de solutions de soins de santé personnalisées ? Le cas échéant,
sont-ils validés selon les normes réglementaires ?
🔴 Santé mentaleY a-t-il un risque accru d’anxiété, de solitude ou d’autres problèmes de santé mentale, ou
la technologie peut-elle atténuer de tels impacts ?
🟢 L'évolution humaineLes grands modèles linguistiques et l’intelligence artificielle générale pourraient-ils changer la donne ?
cours de l'évolution humaine ?
🟢 Interaction homme-machineCette consommation pourrait-elle conduire à une déqualification et à une dépendance au fil du temps pour les individus ? Sont
y a-t-il des impacts sur l’interaction humaine ?
5) Les critères technologiques pris en compte dans le cadre concernent spécifiquement l’IA et devront être révisés pour d’autres technologies, le cas échéant.

Dimensions de l'impact : Société/vie sociale

Critères Exemples de la façon dont cela peut être reflété dans l'analyse
🔴 Valeurs sociétalesLe système change-t-il fondamentalement la nature de la société, permet-il la normalisation d’idées auparavant considérées comme antisociales ou viole-t-il les valeurs sociétales de la culture dans laquelle il est appliqué ?
🔴 Interactions socialesY a-t-il un effet sur les contacts humains significatifs, y compris les relations émotionnelles ?
🔴 Santé des populationsLe système risque-t-il de faire progresser ou de miner les intentions en matière de santé de la population ?
🔴Expression culturelleUne augmentation de l’appropriation culturelle ou de la discrimination est-elle probable ou plus difficile à gérer ? Le recours au système pour la prise de décision exclut-il ou marginalise-t-il les liens sectaires culturellement pertinents de la société ?
🔴Éducation publiqueY a-t-il un effet sur les rôles des enseignants ou sur les établissements d’enseignement ? Le système accentue-t-il ou réduit-il la fracture numérique et les inégalités entre étudiants ? La valeur intrinsèque de la connaissance ou de la compréhension critique est-elle avancée ou affaiblie ?
🟢 Réalités déforméesLes méthodes utilisées pour discerner ce qui est vrai sont-elles toujours applicables ? La perception de la réalité est-elle compromise ?

Dimensions de l'impact : contexte économique (commerce)

CritèresExemples de la façon dont cela peut être reflété dans l'analyse
🟡 Secteur industrielDans quel secteur industriel le système est-il déployé (finance, agriculture, santé, éducation, défense, etc.) ?
🟡 Modèle économiqueDans quelle fonction commerciale le système est-il utilisé et à quel titre ? Où le système est-il utilisé (privé, public, à but non lucratif) ?
🟡 Impacts sur les activités critiques Une perturbation du fonctionnement ou de l'activité du système affecterait-elle les services essentiels ou les infrastructures critiques ?
🟡Étendue du déploiementComment le système est-il déployé (utilisation restreinte au sein de l’unité ou généralisée à l’échelle nationale/internationale) ?
🟡 Maturité techniqueQuelle est la maturité technique du système ?
🟢 Interopérabilité Existe-t-il des cloisonnements, au niveau national ou mondial, qui entravent le libre-échange et ont un impact sur la coopération avec les partenaires ?
🟢 Souveraineté technologiqueLe désir de souveraineté technologique détermine-t-il les comportements, y compris le contrôle de l’ensemble de la chaîne d’approvisionnement de l’IA ?
🔴 Redistribution des revenus et leviers fiscaux nationauxLes rôles fondamentaux de l'État souverain pourraient-ils être compromis (par exemple, les banques de réserve) ? La capacité de l'État à répondre aux attentes des citoyens et à leurs implications (sociales, économiques, politiques, etc.) sera-t-elle renforcée ou réduite ?
🟢 Fracture numérique (fracture IA) Les inégalités numériques existantes sont-elles exacerbées ou de nouvelles créées ?

Dimensions de l'impact : Vie civique

CritèresExemples de la façon dont cela peut être reflété dans l'analyse
🔴 Gouvernance et service publicLes mécanismes de gouvernance et le système de gouvernance mondiale pourraient-ils être affectés positivement ou négativement ?
🔴 Médias d'informationLe discours public est-il susceptible de devenir polarisé et ancré au niveau de la population ? Y aura-t-il un effet sur les niveaux de confiance dans le Quatrième Pouvoir ? Les normes conventionnelles d’éthique et d’intégrité des journalistes seront-elles davantage affectées ?
🔴 État de droitY aura-t-il un effet sur la capacité d'identifier les individus ou les organisations à tenir responsables (par exemple, quel type de responsabilité attribuer à un algorithme en cas de résultats indésirables) ? Y a-t-il une perte de souveraineté créée (politique environnementale, fiscale, sociale, éthique, etc.) ?
🔴Politique et cohésion socialeExiste-t-il une possibilité d’opinions politiques plus ancrées et moins de possibilités de parvenir à un consensus ? Existe-t-il une possibilité de marginaliser davantage les groupes ? Les styles politiques contradictoires sont-ils plus ou moins probables ?
🟢 Licence socialeExiste-t-il des problèmes de confidentialité, des problèmes de confiance et des préoccupations morales qui doivent être pris en compte pour que les parties prenantes acceptent l'utilisation ?
🟢 Savoir autochtoneLes connaissances et les données autochtones pourraient-elles être corrompues ou détournées ? Existe-t-il des mesures adéquates pour se protéger contre les fausses déclarations, la désinformation et l’exploitation ?
🟢 Système scientifiqueL’intégrité académique et de recherche est-elle compromise ? Y a-t-il une perte de confiance dans la science ? Existe-t-il des possibilités de mauvaise utilisation, de surutilisation ou d’abus ? Quelle est la conséquence de la pratique de la science ?

Dimensions de l’impact : contexte géostratégique/géopolitique

CritèresExemples de la façon dont cela peut être reflété dans l'analyse
🟢 Surveillance de précisionLes systèmes sont-ils formés sur des données comportementales et biologiques individuelles et pourraient-ils être utilisés pour exploiter des individus ou des groupes ?
🟢 Concours numériqueDes acteurs étatiques ou non étatiques (par exemple les grandes entreprises technologiques) pourraient-ils exploiter les systèmes et les données pour comprendre et contrôler les populations et les écosystèmes d'autres pays, ou saper le contrôle juridictionnel ?
🟢 Compétition géopolitiqueLe système pourrait-il attiser la concurrence entre les nations pour exploiter les données individuelles et collectives à des fins économiques, médicales et sécuritaires ?
🟢 Changement des puissances mondialesLe statut des États-nations en tant que principaux acteurs géopolitiques du monde est-il menacé ? Les entreprises technologiques exercent-elles un pouvoir autrefois réservé aux États-nations et sont-elles devenues des acteurs indépendants et souverains (ordre mondial technopolaire émergent) ?
🟢 DésinformationLe système faciliterait-il la production et la diffusion de désinformation par des acteurs étatiques et non étatiques, avec un impact sur la cohésion sociale, la confiance et la démocratie ?
🟢 Applications à double usageExiste-t-il une possibilité d’application à la fois militaire et civile ?
🟢 Fragmentation de l'ordre mondialDes silos ou des clusters de réglementation et de conformité pourraient-ils se développer, entravant la coopération, conduire à des incohérences dans l’application et créer des terrains de conflit ?

Dimensions de l'impact : Environnemental

CritèresExemples de la façon dont cela peut être reflété dans l'analyse
🟢 Consommation d'énergie et de ressources (empreinte carbone)Le système et les exigences augmentent-ils la consommation d’énergie et de ressources au-delà des gains d’efficacité obtenus grâce à l’application ?
🟢Source d'énergieD'où provient l'énergie du système (combustibles renouvelables ou fossiles, etc.) ?

Dimensions de l’impact : données et apports

CritèresExemples de la façon dont cela peut être reflété dans l'analyse
🟡 Direction et collecteLes données et les entrées sont-elles collectées par des humains, des capteurs automatisés ou les deux ?
🟡 Provenance des donnéesLes données et les contributions des experts sont-elles fournies, observées, synthétiques ou dérivées ? Existe-t-il des protections en filigrane pour confirmer la provenance ?
🟡 Caractère dynamique des donnéesLes données sont-elles dynamiques, statiques, dynamiques mises à jour de temps en temps ou en temps réel ?
🟡 DroitsLes données sont-elles propriétaires, publiques ou personnelles (liées à des personnes identifiables) ?
🟡 Identifiabilité et données personnellesSi elles sont personnelles, les données sont-elles anonymisées ou pseudonymisées ?
🟡 Structure des donnéesLes données sont-elles structurées, semi-structurées, structurées de manière complexe ou non structurées ?
🟡 Format des donnéesLe format des données et métadonnées est-il standardisé ou non ?
🟡 Échelle des donnéesQuelle est l’échelle de l’ensemble de données ?
🟡 Pertinence et qualité des données L’ensemble de données est-il adapté à l’objectif ? La taille de l’échantillon est-elle adéquate ? Est-il suffisamment représentatif et complet ? Dans quelle mesure les données sont-elles bruitées ? Est-ce sujet aux erreurs ?

Dimensions de l'impact : Modèle

CritèresExemples de la façon dont cela peut être reflété dans l'analyse
🟡 Disponibilité des informationsExiste-t-il des informations disponibles sur le modèle du système ?
🟡 Type de modèle d'IALe modèle est-il symbolique (règles générées par l’homme), statistique (utilise des données) ou hybride ?
🟡 Droits associés au modèleLe modèle est-il open source ou propriétaire, géré par vous-même ou par un tiers ?
🟡 Modèle unique parmi plusieursLe système est-il composé d’un seul modèle ou de plusieurs modèles interconnectés ?
🟡 Génératif ou discriminantLe modèle est-il génératif, discriminant ou les deux ?
🟡 Construction de maquettesLe système apprend-il sur la base de règles écrites par l’homme, à partir de données, via un apprentissage supervisé ou via un apprentissage par renforcement ?
🟡 Evolution du modèle (dérive de l'IA)Le modèle évolue-t-il et/ou acquiert-il des capacités en interagissant avec les données du terrain ?
🟡 Apprentissage fédéré ou centralLe modèle est-il formé de manière centralisée ou sur plusieurs serveurs locaux ou appareils « périphériques » ?
🟡 Développement/maintenanceLe modèle est-il universel, personnalisable ou adapté aux données de l'acteur de l'IA ?
🟡 Déterministe ou probabiliste Le modèle est-il utilisé de manière déterministe ou probabiliste ?
🟡 Transparence du modèle Les informations sont-elles disponibles pour les utilisateurs pour leur permettre de comprendre les résultats et les limites du modèle ou les contraintes d'utilisation ?
🟢 Limitation du calculY a-t-il des limites informatiques au système ? Est-il possible de prédire les sauts de capacité ou les lois d’échelle ?

Dimensions de l'impact : tâche et résultat

CritèresExemples de la façon dont cela peut être reflété dans l'analyse
🟡 Tâche(s) effectuée(s) par le systèmeQuelles tâches le système effectue-t-il (reconnaissance, détection d'événements, prévision, etc.) ?
🟡 Combiner tâches et actionsLe système combine-t-il plusieurs tâches et actions (systèmes de génération de contenu, systèmes autonomes, systèmes de contrôle, etc.) ?
🟡 Niveau d'autonomie du système Dans quelle mesure les actions du système sont-elles autonomes et quel rôle jouent les humains ?
🟡 Degré d'implication humaineExiste-t-il une certaine implication humaine pour superviser l’activité globale du système d’IA et la capacité de décider quand et comment utiliser le système d’IA dans n’importe quelle situation ?
🟡Application principaleLe système appartient-il à un domaine d’application principal tel que les technologies du langage humain, la vision par ordinateur, l’automatisation et/ou l’optimisation ou la robotique ?
🟡 ÉvaluationExiste-t-il des normes ou des méthodes pour évaluer les résultats du système ?

Comment ce cadre pourrait-il être utilisé ?

Ce cadre pourrait être utilisé de plusieurs manières, notamment :

  • Combler le fossé entre les principes de haut niveau et l’évaluation à des fins de réglementation ou de gouvernance. Le cadre peut soutenir cela en établissant une taxonomie commune validée de l’éventail de questions qui méritent d’être examinées par les parties prenantes concernées comme base pour éclairer et façonner une réflexion plus approfondie. Par exemple, au niveau national, le cadre pourrait être utilisé comme un outil par le gouvernement lorsqu’il élabore une stratégie et des politiques nationales en matière d’IA pour établir une base commune des risques et des opportunités entre les groupes de parties prenantes.
  • Pour éclairer les évaluations d’impact. La loi de l’UE sur l’IA oblige les organisations qui fournissent des outils d’IA ou qui adoptent l’IA dans leurs processus à entreprendre une évaluation d’impact pour identifier le risque de leurs initiatives et appliquer une approche de gestion des risques appropriée. Le cadre présenté ici pourrait servir de base à cette fin.
  • Éclairer l’analyse prospective des risques et des scénarios futurs. La catégorisation des risques dans le rapport intermédiaire de l'Organe consultatif des Nations Unies sur l'IA6 est globalement alignée sur le cadre présenté ici. Il existe une opportunité pour que le cadre soit utilisé pour construire un consensus et tester la gravité des risques émergents ainsi que pour les anticiper.
  • Améliorer les principes éthiques nécessaires pour guider et régir l’utilisation de l’IA. Le cadre peut y parvenir en fournissant une base flexible sur laquelle des systèmes fiables peuvent être développés et en garantissant une utilisation licite, éthique, robuste et responsable de la technologie. Ces principes pourraient être testés par rapport à l’ensemble des impacts présentés dans ce cadre.
  • Faciliter un inventaire des mesures existantes et en évolution (réglementaires, législatives, politiques, normes, gouvernance, etc.) et identifier les lacunes qui nécessitent un examen plus approfondi. Ceux-ci pourraient être comparés aux catégories du cadre au niveau national ou multinational pour déterminer les lacunes et identifier les mesures appropriées pour atténuer les risques.
  • Soutenir l’utilisation de l’IA par le gouvernement. Alors que de nombreux gouvernements déterminent leurs stratégies respectives pour l’utilisation de l’IA au sein des agences et des systèmes, le cadre pourrait être utilisé pour définir des seuils de risque appropriés et identifier les principales parties prenantes et responsabilités.
  • Soutenir le discours public et établir une autorisation sociale sur la manière dont l’IA est utilisée et sur les données sous-jacentes qui seront utilisées dans les services gouvernementaux ou plus largement dans la société.

Une voie à suivre
En résumé, le cadre analytique est fourni comme base d'une boîte à outils qui pourrait être utilisée par les parties prenantes pour examiner de manière exhaustive tout développement significatif des plates-formes ou de leur utilisation, de manière cohérente et systématique. Les dimensions présentées dans ce cadre sont pertinentes depuis l’évaluation technologique jusqu’aux politiques publiques, du développement humain à la sociologie, en passant par les études sur l’avenir et la technologie. Bien que développé pour l’IA, ce cadre analytique a une application beaucoup plus large à toute autre technologie émergente.

6 Conseil consultatif de l’ONU sur l’IA. 2023. Rapport intermédiaire : Gouverner l’IA pour l’humanité. https://www.un.org/sites/un2.un.org/files/ai_advisory_body_interim_report.pd

Remerciements

De nombreuses personnes ont été consultées et ont fourni des commentaires lors de l'élaboration du document de discussion initial et des commentaires après sa publication. Les deux documents ont été rédigés par Sir Peter Gluckman, président de l'ISC, et Hema Sridhar, ancien conseiller scientifique en chef du ministère de la Défense de Nouvelle-Zélande et aujourd'hui chercheur principal à l'Université d'Auckland, en Nouvelle-Zélande.

En particulier, l'ISC Lord Martin Rees, ancien président de la Royal Society et co-fondateur du Centre d'étude des risques existentiels, Université de Cambridge ; Professeur Shivaji Sondhi, professeur de physique, Université d'Oxford ; Professeur K Vijay Raghavan, ancien conseiller scientifique principal du gouvernement indien ; Amandeep Singh Gill, envoyé du secrétaire général de l'ONU pour la technologie ; Seán Ó hÉigeartaigh, directeur exécutif, Centre d'étude des risques existentiels, Université de Cambridge ; Sir David Spiegelhalter, professeur Winton de compréhension publique du risque, Université
de Cambridge; Amanda-June Brawner, conseillère politique principale et Ian Wiggins, directeur des affaires internationales, Royal Society, Royaume-Uni ; Dr Jérôme Duberry, directeur général et Dr Marie-Laure Salles, directrice du Geneva Graduate Institute ; Chor Pharn Lee, Centre pour les futurs stratégiques, Bureau du Premier ministre, Singapour ; Barend Mons et Dr Simon Hodson, du Comité sur les données (CoDATA) ; Professeur Yuko Harayama, ancien directeur exécutif, RIKEN ; Professeur
Rémi Quirion, président, INGSA; Dr Claire Craig, Université d'Oxford et ancienne responsable de la prospective, Bureau gouvernemental des sciences ; Professeur Yoshua Bengio, Conseil consultatif scientifique du secrétaire général de l'ONU et de l'Université de Montréal ; et les nombreux autres qui ont fourni des commentaires à l'ISC sur le document de discussion initial.


Lectures complémentaires

Préparer les écosystèmes nationaux de recherche à l’IA : stratégies et progrès en 2024

Ce document de travail du groupe de réflexion de l'ISC, le Center for Science Futures, fournit des informations fondamentales et un accès aux ressources de pays du monde entier, à différentes étapes de l'intégration de l'IA dans leurs écosystèmes de recherche : 

Passer au contenu