Un marc per avaluar les tecnologies digitals i relacionades amb un ràpid desenvolupament: IA, grans models de llenguatge i més enllà

• introducció 
• Fons 
• El desenvolupament d'un marc analític 
• Ús del marc analític 
• Dimensions a tenir en compte a l'hora d'avaluar una nova tecnologia 
• Un camí a seguir 
• Agraïments

Les tecnologies emergents ràpidament presenten problemes difícils pel que fa a la seva governança i regulació potencial. La política i els debats públics sobre la intel·ligència artificial (IA) i el seu ús han posat en relleu aquests problemes. Tot i que la UNESCO, l'OCDE i altres han promulgat principis amplis per a la IA, i hi ha discussions naixents sobre la regulació global o jurisdiccional de la tecnologia, hi ha una bretxa ontològica entre el desenvolupament de principis d'alt nivell i la seva incorporació a la normativa, les polítiques, enfocaments de govern i gestió. Aquí és on la comunitat científica no governamental podria tenir un paper particular. 

Diversos acadèmics i experts en polítiques han proposat que el Consell Internacional de la Ciència (ISC) –amb els seus membres pluralistes de les ciències socials i naturals– estableixi un procés per produir i mantenir un marc/llista de verificació anotat dels riscos, beneficis, amenaces i oportunitats associades a les tecnologies digitals que es mouen ràpidament, inclosa, però no limitada a, la IA. L'objectiu de la llista de verificació seria informar a totes les parts interessades, inclosos els governs, els negociadors comercials, els reguladors, la societat civil i la indústria, sobre possibles escenaris futurs, i marcaria com podrien considerar les oportunitats, els beneficis, els riscos i altres qüestions. 

Els resultats no actuaran com un òrgan d'avaluació, sinó com un marc analític adaptatiu i en evolució que podria donar suport a qualsevol procés d'avaluació i reglamentació que poguessin desenvolupar les parts interessades, inclosos els governs i el sistema multilateral. Qualsevol marc analític hauria de desenvolupar-se idealment independentment de les afirmacions governamentals i de la indústria, atesos els seus interessos comprensibles. També ha de ser el màxim pluralisme en les seves perspectives, abastant així tots els aspectes de la tecnologia i les seves implicacions. 

Aquest document de discussió proporciona l'esquema d'un marc inicial per informar les múltiples discussions globals i nacionals que tenen lloc sobre la IA. 

La ràpida aparició d'una tecnologia amb la complexitat i les implicacions de la IA està impulsant moltes afirmacions de grans beneficis. Tanmateix, també provoca pors de riscos importants, des de l'individual fins a l'àmbit geoestratègic. Gran part de la discussió tendeix a tenir lloc als extrems de l'espectre de punts de vista, i cal un enfocament més pragmàtic. La tecnologia d'IA continuarà evolucionant i la història mostra que pràcticament totes les tecnologies tenen usos tant beneficiosos com nocius. La pregunta és, doncs: com podem aconseguir resultats beneficiosos d'aquesta tecnologia, alhora que es redueix el risc de conseqüències perjudicials, algunes de les quals podrien ser de magnitud existencial? 

El futur és sempre incert, però hi ha prou veus creïbles i expertes en relació amb la IA i la IA generativa per fomentar un enfocament relativament cautelar. A més, cal un enfocament de sistemes, perquè la IA és una classe de tecnologies amb un ampli ús i aplicació per part de diversos tipus d'usuaris. Això vol dir que s'ha de tenir en compte tot el context a l'hora de considerar les implicacions de la IA per als individus, la vida social, la vida cívica, la vida social i en el context global. 

A diferència de la majoria de tecnologies anteriors, les tecnologies digitals i relacionades tenen un període de temps molt curt des del desenvolupament fins al llançament, en gran part impulsades pels interessos de les empreses productores o agències. La IA és ràpidament generalitzada; algunes propietats només poden ser evidents després del llançament, i la tecnologia podria tenir aplicacions tant malèvoles com benèvoles. Les dimensions dels valors importants influiran en com es percep qualsevol ús. A més, hi pot haver interessos geoestratègics en joc. 

Fins ara, la regulació d'una tecnologia virtual s'ha vist en gran mesura a través de la lent dels "principis" i el compliment voluntari. Més recentment, però, la discussió s'ha centrat en qüestions de governança nacional i multilateral, inclòs l'ús d'eines normatives i d'altres polítiques. Les afirmacions a favor o en contra de la IA són sovint hiperbòliques i, donada la naturalesa de la tecnologia, difícils d'avaluar. Establir un sistema de regulació tecnològic global o nacional eficaç serà un repte i es necessitaran múltiples capes de presa de decisions informades sobre el risc al llarg de la cadena, des de l'inventor fins al productor, passant per l'usuari, el govern i el sistema multilateral. 

Tot i que la UNESCO, l'OCDE i la Comissió Europea, entre d'altres, han promulgat principis d'alt nivell, i s'estan duent a terme diverses discussions d'alt nivell sobre qüestions de regulació potencial, hi ha una gran bretxa ontològica entre aquests principis i un marc de governança o reglamentació. Quina és la taxonomia de les consideracions que un regulador podria haver de tenir en compte? Un enquadrament molt enfocat no seria prudent, ateses les àmplies implicacions d'aquestes tecnologies. Aquest potencial ha estat objecte de molts comentaris, tant positius com negatius.

L'ISC és la principal ONG global que integra les ciències naturals i socials. El seu abast global i disciplinari significa que està en una bona posició per generar assessorament independent i rellevant a nivell mundial per informar les complexes decisions futures, sobretot perquè les veus actuals en aquest àmbit provenen en gran part de la indústria o de les grans potències tecnològiques. Després d'un ampli debat durant els darrers mesos, inclosa la consideració d'un procés d'avaluació no governamental, l'ISC va concloure que la seva contribució més útil seria produir i mantenir un marc analític adaptatiu que es pugui utilitzar com a base per al discurs i la presa de decisions dels totes les parts interessades, fins i tot durant qualsevol procés d'avaluació formal que sorgeixi. 

Aquest marc prendria la forma d'una llista de verificació global que podrien utilitzar tant les institucions governamentals com les no governamentals. El marc identifica i explora el potencial d'una tecnologia com la IA i els seus derivats a través d'una lent àmplia que abasta el benestar humà i social, així com factors externs, com l'economia, la política, el medi ambient i la seguretat. Alguns aspectes de la llista de verificació poden ser més rellevants que d'altres, depenent del context, però les millors decisions són més probables si es tenen en compte tots els dominis. Aquest és el valor inherent d'un enfocament de llista de verificació. 

El marc proposat es deriva de treballs i pensaments anteriors, inclòs l'informe de benestar digital de la Xarxa Internacional d'Assessoraments Científics Governamentals (INGSA).¹ i el Marc de Classificació de la IA de l'OCDE² presentar la totalitat de les oportunitats, riscos i impactes potencials de la IA. Aquests productes anteriors estaven més restringits en la seva intenció atesa el seu temps i context, hi ha una necessitat d'un marc global que presenti tota la gamma de problemes tant a curt com a llarg termini. 

Tot i que es va desenvolupar per a la consideració de la IA, aquest marc analític es podria aplicar a qualsevol tecnologia emergent. Les qüestions s'agrupen generalment en les categories següents per a un posterior examen: 

• Benestar (incloent-hi el de les persones o el propi, la societat i la vida social i la vida cívica) 
• Comerç i economia 
• ambiental 
• Geo-estratègic i geo-polític 
• Tecnològic (característiques del sistema, disseny i ús) 

S'inclou una llista de consideracions per a cadascuna de les categories anteriors juntament amb les seves respectives oportunitats i conseqüències. Alguns són rellevants per a instàncies o aplicacions específiques d'IA, mentre que altres són genèrics i agnòstics de la plataforma o l'ús. Cap consideració inclosa aquí s'ha de tractar com una prioritat i, com a tal, s'hauria d'examinar totes. 

Aquest marc es pot utilitzar de les maneres següents, però no limitada a: 

• Reduir la bretxa entre els principis i l'avaluació mitjançant l'establiment d'una taxonomia comuna validada de la gamma de consideracions que podrien utilitzar les parts interessades rellevants com a base per informar i donar forma al pensament posterior, inclòs qualsevol marc d'avaluació que pugui desenvolupar les autoritats. 

• Per informar avaluacions d'impacte. La Llei d'IA de la UE exigeix ​​que les organitzacions que proporcionen eines d'IA o adopten IA en els seus processos realitzin una avaluació d'impacte per identificar el risc de les seves iniciatives i aplicar un enfocament de gestió de riscos adequat. El marc presentat aquí es podria utilitzar com a base per a això. 

• Millorar els principis ètics necessaris per guiar i governar l'ús de la IA. El marc pot fer-ho proporcionant una base flexible sobre la qual es poden desenvolupar sistemes fiables i assegurant l'ús legal, ètic, robust i responsable de la tecnologia. Aquests principis es podrien provar amb tota la gamma d'impactes presentats en aquest marc. 
• Facilitar un balanç de les mesures existents (és a dir, reglamentàries, legislatives, polítiques) i identificar les llacunes que calgui considerar més. 

• El marc és agnòstic a la tecnologia i al seu ús. Per tant, es podria utilitzar en àrees força diferents, com ara la biologia sintètica. 

La taula següent és una configuració inicial de les dimensions d'un marc analític. Segons la tecnologia i el seu ús, alguns components seran més rellevants que altres. Els exemples es proporcionen per il·lustrar per què cada domini pot importar; en el context, el marc requeriria una expansió contextualment rellevant. També és important distingir entre els desenvolupaments de la plataforma i els problemes genèrics que poden sorgir durant aplicacions específiques.  

Esborrany inicial de les dimensions que caldria tenir en compte a l'hora d'avaluar una nova tecnologia
Dimensions de l'impacte	Criteris	Exemples de com això es pot reflectir en l'anàlisi
Individual/ autònom	Competència d'IA dels usuaris	Què tan competents i conscients de les propietats del sistema són els usuaris probables que interactuaran amb el sistema? Com se'ls proporcionarà la informació i les precaucions rellevants per a l'usuari?
	Actors afectats	Quins són els principals actors que es veuran afectats pel sistema (és a dir, persones, comunitats, treballadors vulnerables, sectorials, nens, responsables polítics, professionals)?
	Opcionalitat	Els usuaris tenen l'opció de desactivar-se del sistema? s'han de donar oportunitats per desafiar o corregir el resultat?
	Riscos per als drets humans i els valors democràtics	Podria el sistema impactar (i en quina direcció) en els drets humans, inclosos, entre d'altres, la privadesa, la llibertat d'expressió, l'equitat, el risc de discriminació, etc.?
	Efectes potencials en el benestar de les persones	Podria el sistema afectar (i en quina direcció) el benestar de l'usuari individual (és a dir, la qualitat del treball, l'educació, les interaccions socials, la salut mental, la identitat, el medi ambient)?
	Potencial de desplaçament laboral humà	Hi ha possibilitat que el sistema automatitzi tasques o funcions que estaven executant els humans? Si és així, quines són les conseqüències aigües avall?
	Potencial de manipulació de la identitat, els valors o el coneixement	El sistema està dissenyat o potencialment capaç de manipular la identitat o els valors de l'usuari establerts, o difondre desinformació? Hi ha possibilitats de declaracions d'expertesa falses o no verificables?
	Mesures d'autoestima	Hi ha pressió per retratar un jo idealitzat? L'automatització podria substituir una sensació de realització personal? Hi ha pressió per competir amb el sistema en el lloc de treball? Es fa més difícil protegir la reputació individual de la desinformació?
	intimitat	Hi ha responsabilitats difuses per salvaguardar la privadesa i es fan suposicions sobre com s'utilitzen les dades personals?
	Autonomia	Podria el sistema afectar l'autonomia humana generant una dependència excessiva de la tecnologia per part dels usuaris finals?
	Desenvolupament humà	Hi ha un impacte en l'adquisició d'habilitats clau per al desenvolupament humà, com ara funcions executives, habilitats interpersonals, canvis en el temps d'atenció que afecten l'aprenentatge, desenvolupament de la personalitat, problemes de salut mental, etc.?
	Atenció personal de la salut	Hi ha reclamacions de solucions sanitàries personalitzades? En cas afirmatiu, estan validats segons els estàndards reglamentaris?
	Salut mental	Hi ha risc d'augmentar l'ansietat, la solitud o altres problemes de salut mental, o la tecnologia pot mitigar aquests impactes?
	Evolució humana	La tecnologia podria provocar canvis en l'evolució humana?
Dimensions de l'impacte	Criteris	Descripció
Societat/vida social	Valors socials	El sistema canvia fonamentalment la naturalesa de la societat o permet la normalització d'idees que abans es consideraven antisocials, o incompleix els valors socials de la cultura en què s'aplica?
	Interacció social	Hi ha un efecte en el contacte humà significatiu, incloses les relacions emocionals?
	Equitat	És probable que l'aplicació/tecnologia redueixi o millori les desigualtats (és a dir, econòmiques, socials, educatives, geogràfiques)?
	Salut de la població	Hi ha possibilitat que el sistema avança o soscabi les intencions de salut de la població?
	Expressió cultural	És probable o més difícil d'abordar l'augment de l'apropiació o la discriminació cultural? La dependència del sistema per a la presa de decisions pot excloure o marginar sectors de la societat?
	Educació pública	Hi ha un efecte en les funcions dels professors o les institucions educatives? El sistema posa èmfasi o redueix la desigualtat entre els estudiants i la bretxa digital? El valor intrínsec del coneixement o la comprensió crítica està avançat o minat?
	Realitats distorsionades	Els mètodes que fem servir per discernir el que és veritat encara són aplicables? Està compromesa la percepció de la realitat?
Context econòmic (comerç)	Sector industrial	En quin sector industrial es desplega el sistema (és a dir, finances, agricultura, sanitat, educació, defensa)?
	Model de negoci	En quina funció empresarial s'utilitza el sistema i en quina capacitat? On s'utilitza el sistema (privat, públic, sense ànim de lucre)?
	Impacte en activitats crítiques	Una interrupció de la funció o activitat del sistema afectaria els serveis essencials o les infraestructures crítiques?
	Alè de desplegament	Com es desplega el sistema (extrictement dins d'una organització i generalitzat a nivell nacional/internacional)?
	Maduresa tècnica (TRL)	Què tan madur té el sistema tècnicament?
	Sobirania tecnològica	La tecnologia impulsa una major concentració de la sobirania tecnològica?
	Redistribució de la renda i palanques fiscals nacionals	Es podrien comprometre les funcions bàsiques de l'estat sobirà (és a dir, els bancs de reserva)? S'avançarà o reduirà la capacitat de l'estat per satisfer les expectatives i les implicacions dels ciutadans (és a dir, socials, econòmiques, polítiques)?
Dimensions de l'impacte	Criteris	Descripció
Vida cívica	Governança i servei públic	Els mecanismes de governança i els sistemes de governança global es poden veure afectats positivament o negativament?
	Mitjans de comunicació	És probable que el discurs públic estigui més o menys polaritzat i arrelat a nivell de població? Hi haurà un efecte en els nivells de confiança en els mitjans de comunicació? Es veuran més afectats els estàndards d'ètica i integritat del periodisme convencional?
	Estat de dret	Hi haurà un efecte en la capacitat d'identificar individus o organitzacions per fer-se responsables (és a dir, quin tipus de responsabilitat assignar a un algorisme per a resultats adversos)? Això crea una pèrdua de sobirania (és a dir, ambiental, fiscal, social, ètica)?
	Política i cohesió social	Hi ha una possibilitat de visions polítiques més arrelades i menys oportunitats per a la construcció de consens? Hi ha la possibilitat de marginar encara més els grups? Es fan més o menys probables els estils de política adversaris?
Context geoestratègic/ geopolític	Vigilància de precisió	Els sistemes estan formats en dades biològiques i de comportament individuals i, si és així, es podrien utilitzar per explotar individus o grups?
	Colonització digital	Els actors estatals o no estatals són capaços d'aprofitar sistemes i dades per entendre i controlar les poblacions i els ecosistemes d'altres països, o per soscavar el control jurisdiccional?
	Competència geopolítica	Afecta el sistema la competència entre nacions i plataformes tecnològiques per accedir a dades individuals i col·lectives amb finalitats econòmiques o estratègiques?
	Comerç i acords comercials	El sistema té implicacions en els acords comercials internacionals?
	Canvi de poders globals	Està amenaçat l'estatus dels estats-nació com a principals actors geopolítics del món? Les empreses tecnològiques exerciran el poder abans reservat als estats-nació i es convertiran en actors sobirans independents?
	Desinformació	És més fàcil per als actors estatals i no estatals produir i difondre desinformació que impacti en la cohesió social, la confiança i la democràcia?
ambiental	Consum d'energia i recursos (petjada de carboni)	El sistema i els requisits augmenten l'absorció del consum d'energia i recursos per sobre dels guanys d'eficiència obtinguts amb l'aplicació?
Dimensions de l'impacte	Criteris	Descripció
Dades i entrada	Detecció i recollida	Les dades i les entrades les recullen humans, sensors automatitzats o tots dos?
	Procedència de les dades	Pel que fa a les dades, aquestes són proporcionades, observades, sintètiques o derivades? Hi ha proteccions de filigrana per confirmar la procedència?
	Caràcter dinàmic de les dades	Les dades són dinàmiques, estàtiques, actualitzades de tant en tant o actualitzades en temps real?
	Drets	Les dades són propietat, públiques o personals (és a dir, relacionades amb persones identificables)?
	Identificació de les dades personals	Si són dades personals, són anònimes o pseudonimitzades?
	Estructura de les dades	Les dades estan estructurades, semiestructurades, complexes o no estructurades?
	Format de les dades	El format de les dades i metadades està estandarditzat o no estandarditzat?
	Escala de les dades	Quina és l'escala del conjunt de dades?
	Adequació i qualitat de les dades	El conjunt de dades és adequat per al propòsit? La mida de la mostra és adequada? És prou representatiu i complet? Què tan sorollosos són les dades? És propens a errors?
model	Disponibilitat d'informació	Hi ha informació sobre el model del sistema disponible?
	Tipus de model d'IA	El model és simbòlic (regles generades per humans), estadístic (utilitza dades) o híbrid?
	Drets associats al model	El model és de codi obert, o és propietari, gestionat per compte propi o per tercers?
	Models únics o múltiples	El sistema està format per un model o per diversos models interconnectats?
	Generativa o discriminatòria	El model és generatiu, discriminatiu o tots dos?
	Edifici de maquetes	El sistema aprèn basant-se en regles escrites per humans, a partir de dades, mitjançant aprenentatge supervisat o aprenentatge de reforç?
	Evolució del model (deriva de l'IA)	El model evoluciona i/o adquireix habilitats a partir de la interacció amb les dades del camp?
	Aprenentatge centralitzat o federat	El model està entrenat de manera centralitzada o en diversos servidors locals o dispositius "edge"?
	Desenvolupament i manteniment	El model és universal, personalitzable o adaptat a les dades de l'actor d'IA?
	Determinista o probabilista	S'utilitza el model d'una manera determinista o probabilística?
	Transparència del model	Hi ha informació disponible per als usuaris per permetre'ls entendre els resultats i les limitacions del model o les limitacions d'ús?
	Limitació computacional	Hi ha limitacions computacionals al sistema? Podem predir els salts de capacitat o les lleis d'escala?
Dimensions de l'impacte	Criteris	Descripció
Tasca i sortida	Tasca(s) realitzada pel sistema	Quines tasques realitza el sistema (és a dir, reconeixement, detecció d'esdeveniments, previsió)?
	Combinació de tasques i accions	El sistema combina diverses tasques i accions (és a dir, sistemes de generació de continguts, sistemes autònoms, sistemes de control)?
	Nivell d'autonomia del sistema	Què tan autònomes són les accions del sistema i quin paper juguen els humans?
	Grau d'implicació humana	Hi ha alguna implicació humana per supervisar l'activitat global del sistema d'IA i la capacitat de decidir quan i com utilitzar el sistema en qualsevol situació?
	Aplicació bàsica	El sistema pertany a una àrea d'aplicació bàsica com les tecnologies del llenguatge humà, la visió per computador, l'automatització i/o l'optimització o la robòtica?
	Avaluació	Hi ha estàndards o mètodes disponibles per avaluar la sortida del sistema o fer front a propietats emergents imprevistes?

Clau per a fonts dels descriptors

Text simple:
Gluckman, P. i Allen, K. 2018. Entendre el benestar en el context de les transformacions digitals ràpides i associades. INGSA. https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf 

Text en negreta:
OCDE. 2022. Marc de l'OCDE per a la classificació de sistemes d'IA. Documents d'economia digital de l'OCDE, núm. 323, Edicions de l'OCDE, París. https://oecd.ai/en/classification 

El text en cursiva:
Nous descriptors (de diverses fonts) 

Depenent de la resposta a aquest document de discussió, l'ISC formaria un grup de treball d'experts per desenvolupar o modificar el marc analític anterior mitjançant el qual les parts interessades podrien examinar de manera exhaustiva qualsevol desenvolupament significatiu de les plataformes o de les dimensions d'ús. El grup de treball seria disciplinàriament, geogràficament i demogràficament divers, amb experiència que abasta des de l'avaluació de la tecnologia fins a les polítiques públiques, des del desenvolupament humà fins a la sociologia i els estudis de futurs i tecnologia. 

Per participar amb aquest document de discussió, visiteu council.science/publications/framework-digital-technologies 

Moltes persones han estat consultades en l'elaboració d'aquest document, que va ser redactat per Sir Peter Gluckman, president, ISC i Hema Sridhar, antic científic en cap del Ministeri de Defensa, i ara investigador sènior de la Universitat d'Auckland, Nova Zelanda. 

En particular, agraïm a Lord Martin Rees, antic president de la Royal Society i cofundador del Center for the Study of Existential Risks, Universitat de Cambridge; el professor Shivaji Sondhi, professor de Física de la Universitat d'Oxford; el professor K Vijay Raghavan, antic assessor científic principal del govern de l'Índia; Amandeep Singh Gill, enviat de tecnologia del secretari general de l'ONU; Dr. Seán Óh Éigeartaigh, director executiu, Centre per a l'estudi dels riscos existencials, Universitat de Cambridge; Amanda-June Brawner, assessora sènior de polítiques i Ian Wiggins, director d'Afers Internacionals, Royal Society UK; el doctor Jerome Duberry, la doctora Marie-Laure Salles, directora de l'Institut de Postgrau de Ginebra; Chor Pharn Lee, Centre de Futurs Estratègics, Oficina del Primer Ministre, Singapur; Barend Mons i el doctor Simon Hodson, del Comitè de Dades (CoDATA); la professora Yuko Harayama, Japó; el professor Rémi Quirion, president de l'INGSA; la doctora Claire Craig, de la Universitat d'Oxford i antiga cap de prospectiva de l'Oficina de Ciència del Govern; i el professor Yoshua Bengio, Consell Assessor Científic del Secretari General de l'ONU i de la Universitat de Mont-real. En general, es va aprovar l'enfocament de la llista de verificació i es va posar èmfasi en l'oportunitat de qualsevol acció de l'ISC.