Contractar

informe

Una guia per als responsables polítics: avaluar les tecnologies de desenvolupament ràpid, com ara la intel·ligència artificial, els grans models lingüístics i més enllà

En aquest document, l'ISC explora l'esquema d'un marc per informar els responsables polítics sobre les múltiples discussions globals i nacionals que tenen lloc relacionades amb la IA.

La guia de l'ISC ofereix un marc global dissenyat per salvar la bretxa entre els principis d'alt nivell i les polítiques pràctiques i accionables. Respon a la necessitat urgent d'una comprensió comuna tant de les oportunitats com dels riscos que presenten les tecnologies emergents. Aquest és un document essencial per a aquells que treballen en el nexe polític en la nostra era digital que canvia ràpidament.

El marc explora el potencial de la IA i els seus derivats a través d'una lent integral, que inclou el benestar humà i social juntament amb factors externs com l'economia, la política, el medi ambient i la seguretat. Alguns aspectes de la llista de verificació poden ser més rellevants que d'altres, depenent del context, però les millors decisions semblen més probables si es consideren tots els dominis, fins i tot si alguns es poden identificar ràpidament com a irrellevants en casos particulars. Aquest és el valor inherent d'un enfocament de llista de verificació.

“En una època marcada per la ràpida innovació tecnològica i els complexos reptes globals, el marc de l'ISC per a l'anàlisi integral i multidimensional dels impactes potencials permet als líders prendre decisions informades i responsables. Assegura que a mesura que avancem tecnològicament, ho fem amb una acurada consideració de les implicacions ètiques, socials i econòmiques”.

Peter Gluckman, president de l'ISC

Tot i que la UNESCO, l'OCDE, la Comissió Europea i l'ONU, entre d'altres, han promulgat principis d'alt nivell, i continuen debats sobre qüestions de govern, regulació, ètica i seguretat potencials, hi ha una gran bretxa entre aquests principis i un govern o marc normatiu. L'ISC aborda aquesta necessitat mitjançant la seva nova guia per a responsables polítics.

Aquesta guia per a responsables polítics no pretén proscriure un règim regulador, sinó suggerir un marc analític adaptatiu i en evolució que podria donar suport a qualsevol avaluació i procés de regulació que puguin desenvolupar les parts interessades, inclosos els governs i el sistema multilateral.

"El marc és un pas crític en la conversa global sobre IA, ja que proporciona una base a partir de la qual podem construir un consens sobre les implicacions de la tecnologia tant per ara com per al futur". 

Hema Sridhar, antic conseller científic en cap, Ministeri de Defensa, Nova Zelanda i ara investigador sènior, Universitat d'Auckland, Nova Zelanda.

Des de l'octubre de 2023, hi ha hagut diverses iniciatives nacionals i multilaterals significatives amb més consideració de l'ètica i la seguretat de la IA. Les implicacions de la IA en la integritat d'alguns dels nostres sistemes crítics, inclosos els financers, governamentals, legals i educatius, així com els diferents sistemes de coneixement (inclosos els coneixements científics i autòctons), són cada cop més preocupants. El marc reflecteix encara més aquests aspectes.

Els comentaris rebuts dels membres de l'ISC i de la comunitat internacional de formulació de polítiques fins ara es reflecteixen en la versió revisada del marc analític, que ara es publica com a guia per als responsables polítics.

Una guia per als responsables polítics: avaluar les tecnologies de desenvolupament ràpid, com ara la intel·ligència artificial, els grans models lingüístics i més enllà

Aquest document de discussió proporciona l'esquema d'un marc inicial per informar les múltiples discussions globals i nacionals que tenen lloc sobre la IA.

Baixeu el marc per utilitzar-lo a la vostra organització

Aquí oferim l'eina de marc com a full d'Excel editable per utilitzar-lo a la vostra organització. Si preferiu un format de codi obert, poseu-vos en contacte amb secretariat@council.science.

introducció

Les tecnologies emergents ràpidament presenten problemes difícils pel que fa al seu ús, governança i regulació potencial. La política en curs i els debats públics sobre la intel·ligència artificial (IA) i el seu ús han posat en relleu aquests problemes. La UNESCO, l'OCDE, l'ONU i altres han anunciat principis amplis per a la IA, inclosa la Declaració de Bletchley del Regne Unit, i hi ha intents jurisdiccionals emergents de regular aspectes de la tecnologia mitjançant, per exemple, la IA de la Unió Europea (UE). Act o la recent ordre executiva d'AI dels Estats Units.

Tot i que l'ús de la IA es discuteix àmpliament en aquests i altres fòrums, a través de les divisions geopolítiques i als països a tots els nivells d'ingressos, encara hi ha una bretxa ontològica entre el desenvolupament de principis d'alt nivell i la seva incorporació a la pràctica a través de regulacions, polítiques o governança. o enfocaments de custòdia. El camí del principi a la pràctica està mal definit, però donada la naturalesa i la cadència del desenvolupament i l'aplicació de la IA, la varietat d'interessos implicats i el ventall d'aplicacions possibles, cap enfocament no pot ser massa genèric o prescriptiu.

Per aquests motius, la comunitat científica no governamental continua tenint un paper especial. El Consell Internacional de la Ciència (ISC), amb els seus membres plurals de les ciències socials i naturals, va publicar un document de discussió l'octubre de 2023 que presentava un marc analític preliminar que considerava els riscos, els beneficis, les amenaces i les oportunitats associats a la tecnologia digital en ràpid moviment. Tot i que es va desenvolupar per tenir en compte la IA, és inherentment agnòstic de la tecnologia i es pot aplicar a una sèrie de tecnologies emergents i disruptives, com ara la biologia sintètica i la quàntica. Aquest document de discussió va convidar a la retroalimentació d'acadèmics i responsables polítics. La retroalimentació aclaparadora va fer necessària la realització d'aquesta anàlisi i va ser un enfocament valuós per abordar tecnologies emergents com la IA.

L'objectiu del marc és proporcionar una eina per informar a totes les parts interessades, inclosos els governs, els negociadors comercials, els reguladors, la societat civil i la indústria, de l'evolució d'aquestes tecnologies per ajudar-los a plantejar com poden considerar les implicacions, positives o negatives, de la tecnologia en si, i més concretament la seva aplicació particular. Aquest marc analític s'ha desenvolupat independentment dels interessos del govern i de la indústria. És el màxim de pluralisme en les seves perspectives, abastant tots els aspectes de la tecnologia i les seves implicacions basades en una àmplia consulta i comentaris.

Aquest document de discussió per a responsables polítics no pretén proscriure un règim regulador, sinó suggerir un marc analític adaptatiu i en evolució que podria donar suport a qualsevol avaluació i procés de regulació que puguin desenvolupar les parts interessades, inclosos els governs i el sistema multilateral.

A mesura que els responsables de la presa de decisions a nivell mundial i nacional consideren configuracions polítiques i palanques adequades per equilibrar els riscos i els beneficis d'una nova tecnologia com la IA, el marc analític pretén ser una eina complementària per garantir que es reflecteixin adequadament tot el conjunt de possibles implicacions.

Antecedents: per què un marc analític?

La ràpida aparició de tecnologies amb la complexitat i les implicacions de la IA està impulsant moltes afirmacions de gran benefici. Tanmateix, també provoca pors de riscos importants, des de l'individual fins a l'àmbit geoestratègic.1 Gran part de la discussió fins ara s'ha considerat en un sentit binari, ja que les opinions expressades públicament tendeixen a tenir lloc als extrems de l'espectre. Les afirmacions a favor o en contra de la IA són sovint hiperbòliques i, donada la naturalesa de la tecnologia, difícils d'avaluar.

Cal un enfocament més pragmàtic on la hipèrbole es substitueix per avaluacions calibrades i més granulars. La tecnologia d'IA continuarà evolucionant i la història mostra que pràcticament totes les tecnologies tenen usos tant beneficiosos com nocius. La pregunta és, doncs: com podem aconseguir els resultats beneficiosos d'aquesta tecnologia, alhora que es redueix el risc de conseqüències perjudicials, algunes de les quals podrien ser de magnitud existencial?

El futur és sempre incert, però hi ha prou veus creïbles i expertes en relació amb la IA i la IA generativa per fomentar un enfocament relativament cautelar. A més, és necessari un enfocament de sistemes, ja que la IA és una classe de tecnologies amb un ús i una aplicació amplis per part de diversos tipus d'usuaris. Això vol dir que s'ha de tenir en compte tot el context quan es consideren les implicacions de qualsevol ús de la IA per a les persones, la vida social, la vida cívica, la vida social i en el context global.

A diferència de la majoria de les altres tecnologies, per a les tecnologies digitals i relacionades, el temps entre desenvolupament, llançament i aplicació és extremadament curt, en gran part impulsat pels interessos de les empreses productores o agències. Per la seva pròpia naturalesa, i donat que es basa en la columna vertebral digital, la IA tindrà aplicacions que s'estenen ràpidament, com ja s'ha vist amb el desenvolupament de grans models de llenguatge. Com a resultat, algunes propietats només poden ser evidents després del llançament, el que significa que hi ha el risc de conseqüències imprevistes, tant malèvoles com benèvoles.

Les dimensions dels valors socials importants, especialment a través de diferents regions i cultures, influiran en com es percep i s'accepta qualsevol ús. A més, els interessos geoestratègics ja dominen la discussió, amb interessos sobirans i multilaterals que s'entrecreuen contínuament i, per tant, impulsen la competència i la divisió.

Fins ara, gran part de la regulació d'una tecnologia virtual s'ha vist en gran mesura a través de la lent dels "principis" i el compliment voluntari, tot i que amb la Llei d'IA de la UE2 i similar, estem veient un canvi cap a regulacions més exigibles però una mica estretes. Establir un sistema de governança i/o regulació tecnològica global o nacional eficaç continua sent un repte i no hi ha una solució òbvia. Es necessitaran múltiples capes de presa de decisions basades en el risc al llarg de la cadena, des de l'inventor fins al productor, l'usuari, el govern i el sistema multilateral.

Si bé la UNESCO, l'OCDE, la Comissió Europea i l'ONU, entre d'altres, han promulgat principis d'alt nivell, i continuen diverses discussions d'alt nivell sobre qüestions de govern, regulació, ètica i seguretat potencials, hi ha una gran bretxa entre aquests principis. principis i un marc de govern o reglamentació. Això s'ha d'abordar.

Com a punt de partida, l'ISC considera desenvolupar una taxonomia de consideracions que qualsevol desenvolupador, regulador, assessor polític, consumidor o decisor podria fer referència. Tenint en compte les àmplies implicacions d'aquestes tecnologies, aquesta taxonomia ha de considerar la totalitat de les implicacions en lloc d'un enquadrament estret. La fragmentació global està augmentant a causa de la influència dels interessos geoestratègics en la presa de decisions, i donada la urgència d'aquesta tecnologia, és essencial que les veus independents i neutrals defensen de manera persistent un enfocament unificat i inclusiu.


1) Hindustan Times. 2023. El G20 ha de constituir un panel internacional sobre canvi tecnològic.
https://www.hindustantimes.com/opinion/g20-must-set-up-an-international-panel-on-technological-change-101679237287848.html
2) La Llei d'Intel·ligència Artificial de la UE. 2023. https://artificialintelligenceact.eu

El desenvolupament d'un marc analític

L'ISC és la principal organització no governamental mundial que integra les ciències naturals i socials. El seu abast global i disciplinari significa que està en una bona posició per generar assessorament independent i rellevant a nivell mundial per informar les complexes decisions futures, sobretot perquè les veus actuals en aquest àmbit provenen en gran part de la indústria o de les comunitats polítiques i polítiques de les grans potències tecnològiques.

Després d'un període de discussió extensa, que va incloure la consideració d'un procés d'avaluació no governamental, l'ISC va concloure que la seva contribució més útil seria produir un marc analític adaptatiu que es pugui utilitzar com a base per al discurs i la presa de decisions per part de tots. parts interessades, fins i tot durant qualsevol procés d'avaluació formal que sorgeixi.

El marc analític preliminar, que es va publicar per a la discussió i la retroalimentació l'octubre de 2023, va prendre la forma d'una llista de verificació global dissenyada per al seu ús tant per les institucions governamentals com les no governamentals. El marc va identificar i explorar el potencial d'una tecnologia com la IA i els seus derivats a través d'una lent àmplia que engloba el benestar humà i social, així com factors externs com l'economia, la política, el medi ambient i la seguretat. Alguns aspectes de la llista de verificació poden ser més rellevants que d'altres, depenent del context, però les millors decisions semblen més probables si es consideren tots els dominis, fins i tot si alguns es poden identificar ràpidament com a irrellevants en casos particulars. Aquest és el valor inherent d'un enfocament de llista de verificació.

El marc preliminar es va derivar de treballs i pensaments anteriors, inclòs l'informe sobre el benestar digital de la Xarxa Internacional per a l'Assessorament Científic del Govern (INGSA)3 i el Marc de l'OCDE per a la classificació de sistemes d'IA,4 per presentar la totalitat de les oportunitats, riscos i impactes potencials. d'AI. Aquests productes anteriors estaven més restringits en la seva intenció donat el seu temps i context; és necessari un marc global que presenti tota la gamma de problemes tant a curt com a llarg termini.

Des de la seva publicació, el document de discussió ha rebut un suport important de molts experts i responsables polítics. Molts han aprovat específicament la recomanació de desenvolupar un marc adaptatiu que permeti una consideració deliberada i proactiva dels riscos i les implicacions de la tecnologia i, en fer-ho, sempre tingui en compte la totalitat de les dimensions des de l'individu fins a la societat i els sistemes.

Una observació clau feta a través de la retroalimentació va ser el reconeixement que diverses de les implicacions considerades en el marc són inherentment polifacètics i s'estenen a diverses categories. Per exemple, la desinformació es podria considerar tant des de la lent individual com geoestratègica; així, les conseqüències serien amplis.

També es va suggerir l'opció d'incloure casos pràctics o exemples per provar el marc. Això es podria utilitzar per desenvolupar directrius per demostrar com es podria utilitzar a la pràctica en diferents contextos. Tanmateix, aquesta seria una tasca important i pot limitar com els diferents grups perceben l'ús d'aquest marc. Ho fan millor els responsables polítics que treballen amb experts en jurisdiccions o contextos específics.

Des de l'octubre de 2023, hi ha hagut diverses iniciatives nacionals i multilaterals significatives amb més consideració de l'ètica i la seguretat de la IA. Les implicacions de la IA en la integritat d'alguns dels nostres sistemes crítics, inclosos els financers, governamentals, legals i educatius, així com els diferents sistemes de coneixement (inclosos els coneixements científics i autòctons), són cada cop més preocupants. El marc revisat reflecteix encara més aquests aspectes.

Els comentaris rebuts fins ara es reflecteixen en la versió revisada del marc analític, que ara es publica com a guia per als responsables polítics.

Tot i que el marc es presenta en el context de la IA i les tecnologies relacionades, es pot transferir immediatament a les consideracions d'altres tecnologies emergents ràpidament com ara la biologia quàntica i sintètica.


3) Gluckman, P. i Allen, K. 2018. Comprensió del benestar en el context de transformacions digitals ràpides i associades. INGSA.
https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf
4) OCDE. 2022. Marc de l'OCDE per a la classificació de sistemes d'IA. Documents d'economia digital de l'OCDE, núm. 323,#. París, Edicions OCDE.
https://oecd.ai/en/classificatio

El Marc

La taula següent presenta les dimensions d'un marc analític putatiu. Es proporcionen exemples per il·lustrar per què cada domini pot importar; en el context, el marc requeriria una expansió contextualment rellevant. També és important distingir entre els problemes genèrics que sorgeixen durant el desenvolupament de la plataforma i els que poden sorgir durant aplicacions específiques. Cap consideració inclosa aquí s'ha de tractar com una prioritat i, com a tal, s'hauria d'examinar totes.

Els problemes s'agrupen a grans trets en les categories següents, tal com es descriu a continuació:

  • Benestar (incloent-hi el de les persones o el propi, la societat, la vida social i la vida cívica)
  • Comerç i economia
  • ambiental
  • Geoestratègica i geopolítica
  • Tecnològic (característiques del sistema, disseny i ús)

La taula detalla les dimensions que caldria tenir en compte a l'hora d'avaluar una nova tecnologia.

🔴 INGSA. 2018. Entendre el benestar en el context de les transformacions digitals ràpides i associades.
https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf

🟢 Nous descriptors (procedents de l'àmplia consulta i comentaris i revisió de la literatura)

🟡 Marc de l'OCDE per a la Classificació de Sistemes d'IA: una eina per a polítiques efectives d'IA.
https://oecd.ai/en/classification

Dimensions de l'impacte: Individual / propi

CriterisExemples de com això es pot reflectir en l'anàlisi
🟡Competència d'IA dels usuarisQuè tan competents i conscients de les propietats del sistema són els usuaris probables que interactuaran amb el sistema? Com se'ls proporcionarà la informació i les precaucions rellevants per a l'usuari?
🟡 Grup d'interès afectatQuins són els principals actors que es veuran afectats pel sistema (individus, comunitats, treballadors vulnerables, sectorials, nens, responsables polítics, professionals, etc.)?
🟡 OpcionalitatEls usuaris tenen l'oportunitat de desactivar-se del sistema o se'ls ofereix l'oportunitat de desafiar o corregir la sortida?
🟡Riscos per als drets humans i els valors democràticsEl sistema afecta fonamentalment els drets humans, inclosos, entre d'altres, la privadesa, la llibertat d'expressió, l'equitat, la no discriminació, etc.?
🟡Posibles efectes en el benestar de les personesLes àrees d'impacte del sistema es relacionen amb el benestar de l'usuari individual (qualitat del treball, educació, interaccions socials, salut mental, identitat, medi ambient, etc.)?
🟡 Potencial de desplaçament laboral humàHi ha possibilitat que el sistema automatitzi tasques o funcions que estaven executant els humans? Si és així, quines són les conseqüències aigües avall?
🟡 Potencial de manipulació de la identitat, els valors o el coneixementÉs el sistema dissenyat o potencialment capaç de manipular la identitat de l'usuari o
establir valors o difondre desinformació?
🔴 Oportunitats d'expressió i autorrealitzacióHi ha potencial per a l'artifici i el dubte de si mateix? Hi ha possibilitat de fals o
reclamacions d'expertesa no verificables?
🔴 Mesures d'autoestimaHi ha pressió per retratar un jo idealitzat? L'automatització podria substituir un sentit
de realització personal? Hi ha pressió per competir amb el sistema en el
lloc de treball? És més difícil protegir la reputació individual de la desinformació?
🔴 PrivadesaHi ha responsabilitats difuses per salvaguardar la privadesa i n'hi ha?
hipòtesis sobre com s'utilitzen les dades personals?
🔴 AutonomiaPodria el sistema d'IA afectar l'autonomia humana generant una dependència excessiva?
usuaris finals?
🔴 Desenvolupament humàHi ha un impacte en l'adquisició d'habilitats clau per al desenvolupament humà, com ara
funcions executives o habilitats interpersonals, o canvis en el temps d'atenció que afecten
aprenentatge, desenvolupament de la personalitat, problemes de salut mental, etc.?
🔴 Atenció a la salut personalHi ha reclamacions d'autodiagnòstic o solucions sanitàries personalitzades? Si és així,
estan validats segons els estàndards reglamentaris?
🔴 Salut mentalHi ha risc d'augmentar l'ansietat, la solitud o altres problemes de salut mental, o
pot la tecnologia millorar aquests impactes?
🟢 Evolució humanaPodrien canviar els grans models de llenguatge i la intel·ligència general artificial
curs de l'evolució humana?
🟢 Interacció home-màquinaL'ús podria comportar una deshabilitació i una dependència amb el temps per a les persones? Són
Hi ha impactes en la interacció humana?
5) Els criteris tecnològics considerats en el marc són específics per a la IA i caldrà revisar-los per a altres tecnologies segons correspongui.

Dimensions d'impacte: Societat/vida social

Criteris Exemples de com això es pot reflectir en l'anàlisi
🔴 Valors socialsEl sistema canvia fonamentalment la naturalesa de la societat, permet la normalització d'idees que abans es consideraven antisocials o infringeix els valors socials de la cultura en què s'aplica?
🔴 Interaccions socialsHi ha un efecte en el contacte humà significatiu, incloses les relacions emocionals?
🔴 Salut de la poblacióHi ha possibilitat que el sistema avança o soscabi les intencions de salut de la població?
🔴 Expressió culturalÉs probable o més difícil d'abordar l'augment de l'apropiació o la discriminació cultural? La dependència del sistema per a la presa de decisions exclou o margina els llaços sectorials culturalment rellevants de la societat?
🔴 Educació públicaHi ha un efecte en les funcions dels professors o les institucions educatives? El sistema posa èmfasi o redueix la bretxa digital i la desigualtat entre els estudiants? El valor intrínsec del coneixement o la comprensió crítica està avançat o minat?
🟢 Realitats distorsionadesEls mètodes utilitzats per discernir el que és cert encara són aplicables? Està compromesa la percepció de la realitat?

Dimensions de l'impacte: context econòmic (comerç)

CriterisExemples de com això es pot reflectir en l'anàlisi
🟡 Sector industrialEn quin sector industrial es desplega el sistema (finances, agricultura, sanitat, educació, defensa, etc.)?
🟡 Model de negociEn quina funció empresarial s'utilitza el sistema i en quina capacitat? On s'utilitza el sistema (privat, públic, sense ànim de lucre)?
🟡 Impactes en activitats crítiques Una interrupció de la funció o activitat del sistema afectaria els serveis essencials o les infraestructures crítiques?
🟡Amplia de desplegamentCom es desplega el sistema (ús restringit dins de la unitat vs. generalitzat a nivell nacional/internacional)?
🟡Maduresa tècnicaQuè tan madur té el sistema tècnicament?
🟢 Interoperabilitat És probable que hi hagi sitges, a nivell nacional o mundial, que inhibeixin el lliure comerç i afectin la cooperació amb els socis?
🟢 Sobirania tecnològicaEl desig de sobirania tecnològica impulsa els comportaments, inclòs el control de tota la cadena de subministrament d'IA?
🔴 Redistribució de la renda i palanques fiscals nacionalsEs podrien comprometre les funcions bàsiques de l'estat sobirà (per exemple, els bancs de reserva)? S'avançarà o reduirà la capacitat de l'estat per satisfer les expectatives i les implicacions dels ciutadans (socials, econòmiques, polítiques, etc.)?
🟢 Divisió digital (divisió IA) S'agreugen les desigualtats digitals existents o se'n creen de noves?

Dimensions de l'impacte: Vida cívica

CriterisExemples de com això es pot reflectir en l'anàlisi
🔴 Governança i servei públicEls mecanismes de governança i el sistema de governança global es poden veure afectats positivament o negativament?
🔴 Mitjans de comunicacióÉs probable que el discurs públic es polaritza i s'arrequi a nivell de població? Hi haurà un efecte en els nivells de confiança en el Quart Estat? Es veuran més afectats els estàndards d'ètica i integritat dels periodistes convencionals?
🔴 Estat de dretHi haurà un efecte en la capacitat d'identificar individus o organitzacions per fer-se responsables (per exemple, quin tipus de responsabilitat assignar a un algorisme per a resultats adversos)? Es crea una pèrdua de sobirania (ambiental, fiscal, social, ètica, etc.)?
🔴Política i cohesió socialHi ha una possibilitat de visions polítiques més arrelades i menys oportunitats per a la construcció de consens? Hi ha la possibilitat de marginar encara més els grups? Es fan més o menys probables els estils de política adversaris?
🟢 Llicència socialHi ha problemes de privadesa, problemes de confiança i preocupacions morals que cal tenir en compte per a l'acceptació de l'ús de les parts interessades?
🟢 Coneixements indígenesEs podrien malmetre o malversar el coneixement i les dades indígenes? Hi ha mesures adequades per protegir-se de la tergiversació, la desinformació i l'explotació?
🟢 Sistema científicEs compromet la integritat acadèmica i de recerca? Hi ha una pèrdua de confiança en la ciència? Hi ha possibilitats d'ús indegut, excessiu o abús? Quina és la conseqüència de la pràctica de la ciència?

Dimensions de l'impacte: Context geoestratègic/geopolític

CriterisExemples de com això es pot reflectir en l'anàlisi
🟢 Vigilància de precisióEls sistemes estan formats en dades biològiques i de comportament individuals i es podrien utilitzar per explotar individus o grups?
🟢 Concurs digitalPodrien els actors estatals o no estatals (per exemple, grans empreses tecnològiques) aprofitar sistemes i dades per entendre i controlar les poblacions i els ecosistemes d'altres països, o soscavar el control jurisdiccional?
🟢 Competència geopolíticaPodria el sistema despertar la competència entre les nacions per aprofitar les dades individuals i grupals per a interessos econòmics, mèdics i de seguretat?
🟢 Canvi en els poders globalsEstà amenaçat l'estatus dels estats-nació com a principals actors geopolítics del món? Les empreses tecnològiques exerceixen el poder abans reservat als estats-nació i s'han convertit en actors sobirans i independents (ordre mundial tecnopolar emergent)?
🟢 DesinformacióEl sistema facilitaria la producció i difusió de desinformació per part d'actors estatals i no estatals amb impacte en la cohesió social, la confiança i la democràcia?
🟢 Aplicacions de doble úsHi ha una possibilitat tant d'aplicació militar com d'ús civil?
🟢 Fragmentació de l'ordre globalEs podrien desenvolupar sitges o grups de regulació i compliment que dificultin la cooperació, condueixin a inconsistències en l'aplicació i creïn espai per al conflicte?

Dimensions de l'impacte: Ambiental

CriterisExemples de com això es pot reflectir en l'anàlisi
🟢 Consum d'energia i recursos (petjada de carboni)El sistema i els requisits augmenten l'absorció del consum d'energia i recursos per sobre dels guanys d'eficiència obtinguts amb l'aplicació?
🟢Font d'energiaD'on prové l'energia del sistema (combustibles renovables versus combustibles fòssils, etc.)?

Dimensions de l'impacte: dades i entrada

CriterisExemples de com això es pot reflectir en l'anàlisi
🟡 Direcció i recollidaLes dades i les entrades les recullen humans, sensors automatitzats o tots dos?
🟡 Procedència de les dadesLes dades i les aportacions dels experts són proporcionades, observades, sintètiques o derivades? Hi ha proteccions de filigrana per confirmar la procedència?
🟡 Caràcter dinàmic de les dadesLes dades són dinàmiques, estàtiques, dinàmiques actualitzades de tant en tant o en temps real?
🟡 DretsLes dades són propietat, públiques o personals (relacionades amb persones identificables)?
🟡 Identificació i dades personalsSi són personals, les dades són anònimes o pseudonimitzades?
🟡 Estructura de les dadesLes dades estan estructurades, semiestructurades, complexes o no estructurades?
🟡 Format de les dadesEl format de les dades i metadades està estandarditzat o no estandarditzat?
🟡 Escala de les dadesQuina és l'escala del conjunt de dades?
🟡 Adequació i qualitat de les dades El conjunt de dades és adequat per al propòsit? La mida de la mostra és adequada? És prou representatiu i complet? Què tan sorollosos són les dades? És propens a errors?

Dimensions de l'impacte: Model

CriterisExemples de com això es pot reflectir en l'anàlisi
🟡 Disponibilitat d'informacióHi ha informació disponible sobre el model del sistema?
🟡 Tipus de model d'IAEl model és simbòlic (regles generades per humans), estadístic (utilitza dades) o híbrid?
🟡 Drets associats al modelEl model és de codi obert o propietari, propi o gestionat per tercers?
🟡 Únic de múltiples modelsEl sistema està format per un model o per diversos models interconnectats?
🟡 Generativa o discriminatòriaEl model és generatiu, discriminatiu o tots dos?
🟡 Construcció de maquetesEl sistema aprèn basant-se en regles escrites per humans, a partir de dades, mitjançant aprenentatge supervisat o aprenentatge de reforç?
🟡 Evolució del model (deriva de l'IA)El model evoluciona i/o adquireix habilitats a partir de la interacció amb les dades del camp?
🟡 Aprenentatge federat o centralitzatEl model està entrenat de manera centralitzada o en diversos servidors locals o dispositius 'edge'?
🟡 Desenvolupament/mantenimentEl model és universal, personalitzable o adaptat a les dades de l'actor d'IA?
🟡 Determinista o probabilista S'utilitza el model d'una manera determinista o probabilística?
🟡 Transparència de model Hi ha informació disponible per als usuaris per permetre'ls entendre els resultats i les limitacions del model o les limitacions d'ús?
🟢 Limitació computacionalHi ha limitacions computacionals al sistema? És possible predir els salts de capacitat o les lleis d'escala?

Dimensions de l'impacte: Tasca i sortida

CriterisExemples de com això es pot reflectir en l'anàlisi
🟡 Tasca(s) realitzada(s) pel sistemaQuines tasques realitza el sistema (reconeixement, detecció d'esdeveniments, previsió, etc.)?
🟡 Combinant tasques i accionsEl sistema combina diverses tasques i accions (sistemes de generació de continguts, sistemes autònoms, sistemes de control, etc.)?
🟡 Nivell d'autonomia del sistema Què tan autònomes són les accions del sistema i quin paper juguen els humans?
🟡Grau d'implicació humanaHi ha alguna implicació humana per supervisar l'activitat general del sistema d'IA i la capacitat de decidir quan i com utilitzar el sistema d'IA en qualsevol situació?
🟡 Aplicació bàsicaEl sistema pertany a una àrea d'aplicació bàsica com les tecnologies del llenguatge humà, la visió per computador, l'automatització i/o l'optimització o la robòtica?
🟡 AvaluacióHi ha estàndards o mètodes disponibles per avaluar la sortida del sistema?

Com es podria utilitzar aquest marc?

Aquest marc es pot utilitzar de moltes maneres, com ara:

  • Fer un pont entre els principis d'alt nivell i l'avaluació amb finalitats reguladores o de govern. El marc pot donar suport a això mitjançant l'establiment d'una taxonomia comuna validada de la gamma de qüestions que mereixen la consideració de les parts interessades rellevants com a base per informar i donar forma a una reflexió posterior. Per exemple, a nivell nacional, el govern podria utilitzar el marc com a eina a mesura que desenvolupa una estratègia i polítiques nacionals d'IA per establir una base comuna dels riscos i les oportunitats entre els grups d'interès.
  • Per informar avaluacions d'impacte. La Llei d'IA de la UE exigeix ​​que les organitzacions que proporcionen eines d'IA o adopten IA en els seus processos realitzin una avaluació d'impacte per identificar el risc de les seves iniciatives i aplicar un enfocament de gestió de riscos adequat. El marc presentat aquí es podria utilitzar com a base per a això.
  • Per informar l'exploració de l'horitzó per a riscos i escenaris futurs. La categorització de riscos a l'informe provisional de l'Organisme Assessor d'IA de les Nacions Unides6 s'alinea àmpliament amb l'enquadrament que es presenta al marc aquí. Hi ha una oportunitat perquè el marc s'utilitzi per generar consens i provar la gravetat dels riscos emergents, així com prevenir-los.
  • Millorar els principis ètics necessaris per guiar i governar l'ús de la IA. El marc pot fer-ho proporcionant una base flexible sobre la qual es poden desenvolupar sistemes fiables i assegurant l'ús legal, ètic, robust i responsable de la tecnologia. Aquests principis es podrien provar amb tota la gamma d'impactes presentats en aquest marc.
  • Facilitar un balanç de les mesures existents i en evolució (reglementàries, legislatives, polítiques, estàndards, governança, etc.) i identificar les llacunes que necessiten més consideració. Aquestes es podrien comparar amb les categories marc a nivell nacional o multinacional per determinar les llacunes i identificar les mesures adequades per mitigar els riscos.
  • Donar suport a l'ús de la IA per part del govern. Com que molts governs determinen les seves estratègies respectives per a l'ús de la IA dins d'agències i sistemes, el marc es podria utilitzar per definir els llindars de risc adequats i identificar les parts interessades i les responsabilitats clau.
  • Donar suport al discurs públic i establir una llicència social sobre com s'utilitza la IA i les dades subjacents que s'utilitzaran als serveis governamentals o, de manera més àmplia, a la societat.

Un camí a seguir
En resum, el marc analític es proporciona com a base d'un conjunt d'eines que les parts interessades podrien utilitzar per examinar de manera exhaustiva els desenvolupaments significatius de les plataformes o de l'ús d'una manera coherent i sistemàtica. Les dimensions que es presenten en aquest marc tenen rellevància des de l'avaluació de la tecnologia fins a les polítiques públiques, des del desenvolupament humà fins a la sociologia i els estudis de futurs i tecnologia. Tot i que es va desenvolupar per a IA, aquest marc analític té una aplicació molt més àmplia a qualsevol altra tecnologia emergent.

6 Consell Assessor d'AI de l'ONU. 2023. Informe provisional: Governing AI for Humanity. https://www.un.org/sites/un2.un.org/files/ai_advisory_body_interim_report.pd

Agraïments

Moltes persones han estat consultades i han proporcionat comentaris tant en el desenvolupament del document de discussió inicial com en els comentaris després del seu llançament. Tots dos articles van ser redactats per Sir Peter Gluckman, president de l'ISC i Hema Sridhar, antic conseller científic en cap del Ministeri de Defensa de Nova Zelanda i ara investigador sènior de la Universitat d'Auckland, Nova Zelanda.

En particular, l'ISC Lord Martin Rees, expresident de la Royal Society i cofundador del Center for the Study of Existential Risks, Universitat de Cambridge; el professor Shivaji Sondhi, professor de Física de la Universitat d'Oxford; el professor K Vijay Raghavan, antic assessor científic principal del govern de l'Índia; Amandeep Singh Gill, enviat de tecnologia del secretari general de l'ONU; Seán Ó hÉigeartaigh, director executiu, Centre per a l'estudi dels riscos existencials, Universitat de Cambridge; Sir David Spiegelhalter, professor Winton de la Comprensió Pública del Risc, Universitat
de Cambridge; Amanda-June Brawner, assessora principal de polítiques i Ian Wiggins, director d'Afers Internacionals, Royal Society, Regne Unit; el doctor Jerome Duberry, director general i la doctora Marie-Laure Salles, directora de l'Institut de Postgrau de Ginebra; Chor Pharn Lee, Centre de Futurs Estratègics, Oficina del Primer Ministre, Singapur; Barend Mons i el doctor Simon Hodson, del Comitè de Dades (CoDATA); la professora Yuko Harayama, exdirectora executiva de RIKEN; Professor
Rémi Quirion, president, INGSA; la doctora Claire Craig, de la Universitat d'Oxford i antiga cap de prospectiva de l'Oficina de Ciència del Govern; el professor Yoshua Bengio, Consell Assessor Científic del Secretari General de l'ONU i de la Universitat de Mont-real; i els molts altres que van proporcionar comentaris a l'ISC sobre el document de discussió inicial.


Altres lectures

Preparant els ecosistemes nacionals de recerca per a la IA: estratègies i progrés el 2024

Aquest document de treball del grup de reflexió de l'ISC, el Center for Science Futures, proporciona informació fonamental i accés a recursos de països de totes les parts del món, en diverses etapes d'integració de la IA als seus ecosistemes de recerca.

Anar al contingut