Un marco para evaluar tecnologías digitales y relacionadas en rápido desarrollo: IA, grandes modelos de lenguaje y más

• Introducción 
• Antecedentes 
• El desarrollo de un marco analítico. 
• Usando el marco analítico 
• Dimensiones a considerar al evaluar una nueva tecnología 
• Un camino a seguir 
• Agradecimientos

Las tecnologías que emergen rápidamente presentan problemas desafiantes en lo que respecta a su gobernanza y posible regulación. Los debates políticos y públicos sobre la inteligencia artificial (IA) y su uso han puesto de relieve estas cuestiones. Si bien la UNESCO, la OCDE y otros han promulgado principios amplios para la IA, y hay debates incipientes sobre la regulación global o jurisdiccional de la tecnología, existe una brecha ontológica entre el desarrollo de principios de alto nivel y su incorporación a las políticas regulatorias, enfoques de gobernanza y gestión. Aquí es donde la comunidad científica no gubernamental podría desempeñar un papel particular. 

Varios académicos y expertos en políticas han propuesto que el Consejo Científico Internacional (ISC), con su membresía pluralista de las ciencias sociales y naturales, establezca un proceso para producir y mantener un marco/lista de verificación comentada de los riesgos, beneficios, amenazas y oportunidades asociadas con las tecnologías digitales en rápido movimiento, incluida, entre otras, la IA. El propósito de la lista de verificación sería informar a todas las partes interesadas –incluidos gobiernos, negociadores comerciales, reguladores, sociedad civil e industria– sobre posibles escenarios futuros, y enmarcaría cómo podrían considerar las oportunidades, beneficios, riesgos y otras cuestiones. 

Los resultados no actuarían como un organismo de evaluación, sino como un marco analítico adaptable y en evolución que podría sustentar cualquier proceso de evaluación y regulación que puedan desarrollar las partes interesadas, incluidos los gobiernos y el sistema multilateral. Idealmente, cualquier marco analítico debería desarrollarse independientemente de las afirmaciones gubernamentales y de la industria, dados sus intereses comprensibles. También debe ser lo más pluralista posible en sus perspectivas, abarcando así todos los aspectos de la tecnología y sus implicaciones. 

Este documento de debate proporciona el esquema de un marco inicial para informar las múltiples discusiones globales y nacionales que tienen lugar en relación con la IA. 

La rápida aparición de una tecnología con la complejidad y las implicaciones de la IA está generando muchas afirmaciones de grandes beneficios. Sin embargo, también provoca temores de riesgos importantes, desde el nivel individual hasta el geoestratégico. Gran parte del debate tiende a tener lugar en los extremos del espectro de opiniones y se necesita un enfoque más pragmático. La tecnología de IA seguirá evolucionando y la historia muestra que prácticamente todas las tecnologías tienen usos tanto beneficiosos como perjudiciales. Por lo tanto, la pregunta es: ¿cómo podemos lograr resultados beneficiosos con esta tecnología y al mismo tiempo reducir el riesgo de consecuencias nocivas, algunas de las cuales podrían ser de magnitud existencial? 

El futuro siempre es incierto, pero hay suficientes voces creíbles y expertas en materia de IA y de IA generativa para fomentar un enfoque relativamente precautorio. Además, se necesita un enfoque de sistemas, porque la IA es una clase de tecnologías con un amplio uso y aplicación por parte de múltiples tipos de usuarios. Esto significa que se debe tener en cuenta todo el contexto al considerar las implicaciones de la IA para los individuos, la vida social, la vida cívica, la vida social y en el contexto global. 

A diferencia de la mayoría de las tecnologías anteriores, las tecnologías digitales y relacionadas tienen un período de tiempo muy corto desde el desarrollo hasta el lanzamiento, impulsado en gran medida por los intereses de las empresas o agencias de producción. La IA se está generalizando rápidamente; Es posible que algunas propiedades solo se vuelvan evidentes después de su lanzamiento, y la tecnología podría tener aplicaciones tanto malévolas como benévolas. Las dimensiones de valores importantes influirán en cómo se percibe cualquier uso. Además, puede haber intereses geoestratégicos en juego. 

Hasta la fecha, la regulación de una tecnología virtual se ha visto en gran medida a través de la lente de los “principios” y el cumplimiento voluntario. Sin embargo, más recientemente el debate se ha centrado en cuestiones de gobernanza nacional y multilateral, incluido el uso de herramientas normativas y de otro tipo. Las afirmaciones hechas a favor o en contra de la IA son a menudo hiperbólicas y, dada la naturaleza de la tecnología, difíciles de evaluar. Establecer un sistema efectivo de regulación tecnológica a nivel mundial o nacional será un desafío, y se necesitarán múltiples niveles de toma de decisiones informadas sobre los riesgos a lo largo de la cadena, desde el inventor hasta el productor, el usuario, el gobierno y el sistema multilateral. 

Si bien la UNESCO, la OCDE y la Comisión Europea, entre otros, han promulgado principios de alto nivel y se están llevando a cabo varios debates de alto nivel sobre cuestiones de posible regulación, existe una gran brecha ontológica entre dichos principios y un marco regulatorio o de gobernanza. ¿Cuál es la taxonomía de consideraciones que un regulador podría necesitar considerar? Sería imprudente adoptar un enfoque restringido, dadas las amplias implicaciones de estas tecnologías. Este potencial ha sido objeto de muchos comentarios, tanto positivos como negativos.

El ISC es la principal ONG global que integra las ciencias naturales y sociales. Su alcance global y disciplinario significa que está bien posicionado para generar asesoramiento independiente y globalmente relevante para informar las complejas decisiones que se avecinan, particularmente porque las voces actuales en este campo provienen en gran medida de la industria o de las principales potencias tecnológicas. Luego de una extensa discusión durante los últimos meses, incluida la consideración de un proceso de evaluación no gubernamental, el ISC concluyó que su contribución más útil sería producir y mantener un marco analítico adaptativo que pueda usarse como base para el discurso y la toma de decisiones por parte de todas las partes interesadas, incluso durante cualquier proceso de evaluación formal que surja. 

Este marco adoptaría la forma de una lista de verificación general que podrían utilizar tanto instituciones gubernamentales como no gubernamentales. El marco identifica y explora el potencial de una tecnología como la IA y sus derivados a través de una lente amplia que abarca el bienestar humano y social, así como factores externos, como la economía, la política, el medio ambiente y la seguridad. Algunos aspectos de la lista de verificación pueden ser más relevantes que otros, según el contexto, pero es más probable que se tomen mejores decisiones si se consideran todos los ámbitos. Éste es el valor inherente de un enfoque de lista de verificación. 

El marco propuesto se deriva de trabajos y pensamientos previos, incluido el informe de bienestar digital de la Red Internacional de Asesoramiento Científico Gubernamental (INGSA).¹ y el marco de clasificación de IA de la OCDE² presentar la totalidad de las oportunidades, riesgos e impactos potenciales de la IA. Estos productos anteriores tenían una intención más restringida debido a su tiempo y contexto, por lo que se necesita un marco general que presente toda la gama de cuestiones tanto a corto como a largo plazo. 

Si bien se desarrolló para la consideración de la IA, este marco analítico podría aplicarse a cualquier tecnología que surja rápidamente. Las cuestiones se agrupan en términos generales en las siguientes categorías para un examen más detenido: 

• Bienestar (incluido el de los individuos o de uno mismo, la sociedad y la vida social, y la vida cívica) 
• Comercio y economía 
• Aplicaciones Medioambientales 
• Geoestratégico y geopolítico 
• Tecnológico (características del sistema, diseño y uso) 

Se incluye una lista de consideraciones para cada una de las categorías anteriores junto con sus respectivas oportunidades y consecuencias. Algunos son relevantes para instancias o aplicaciones específicas de IA, mientras que otros son genéricos e independientes de la plataforma o el uso. Ninguna de las consideraciones incluidas aquí debe tratarse como una prioridad y, como tal, deben examinarse todas. 

Este marco podría utilizarse, entre otras, de las siguientes maneras: 

• Cerrar la brecha entre los principios y la evaluación mediante el establecimiento de una taxonomía común validada de la gama de consideraciones que podrían ser utilizadas por las partes interesadas relevantes como base para informar y dar forma a ideas futuras, incluido cualquier marco de evaluación que puedan desarrollar las autoridades. 

• Informar las evaluaciones de impacto. La Ley de IA de la UE exige que las organizaciones que proporcionan herramientas de IA o la adoptan en sus procesos realicen una evaluación de impacto para identificar el riesgo de sus iniciativas y aplicar un enfoque de gestión de riesgos adecuado. El marco presentado aquí podría usarse como base para esto. 

• Mejorar los principios éticos necesarios para guiar y regir el uso de la IA. El marco puede lograr esto proporcionando una base flexible sobre la cual se puedan desarrollar sistemas confiables y garantizando el uso legal, ético, sólido y responsable de la tecnología. Estos principios podrían probarse frente a toda la gama de impactos presentados en este marco. 
• Facilitar un balance de las medidas existentes (es decir, regulatorias, legislativas, políticas) e identificar cualquier brecha que requiera mayor consideración. 

• El marco es independiente de la tecnología y su uso. Por tanto, podría utilizarse en ámbitos muy distintos, como la biología sintética. 

La siguiente tabla es una primera configuración de las dimensiones de un marco analítico. Dependiendo de la tecnología y su uso, algunos componentes serán más relevantes que otros. Los ejemplos se proporcionan para ilustrar por qué cada dominio puede ser importante; en contexto, el marco requeriría una expansión contextualmente relevante. También es importante distinguir entre desarrollos de plataformas y problemas genéricos que pueden surgir durante aplicaciones específicas.  

Borrador inicial de las dimensiones que podrían necesitar ser consideradas al evaluar una nueva tecnología
Dimensiones del impacto	Criterios	Ejemplos de cómo esto puede reflejarse en el análisis
Individuo/yo	Competencia de IA de los usuarios	¿Qué tan competentes y conscientes de las propiedades del sistema son los posibles usuarios que interactuarán con el sistema? ¿Cómo se les proporcionará la información y las precauciones relevantes para el usuario?
	Partes interesadas impactadas	¿Quiénes son los principales interesados ​​que se verán afectados por el sistema (es decir, individuos, comunidades, trabajadores sectoriales vulnerables, niños, formuladores de políticas, profesionales)?
	Opcionalidad	¿Se les brinda a los usuarios la opción de optar por no participar en el sistema? ¿Se les debe dar la oportunidad de cuestionar o corregir el resultado?
	Riesgos para los derechos humanos y los valores democráticos	¿Podría el sistema impactar (y en qué dirección) los derechos humanos, incluidos, entre otros, la privacidad, la libertad de expresión, la equidad, el riesgo de discriminación, etc.?
	Efectos potenciales sobre el bienestar de las personas	¿Podría el sistema impactar (y en qué dirección) el bienestar del usuario individual (es decir, calidad del trabajo, educación, interacciones sociales, salud mental, identidad, medio ambiente)?
	Potencial de desplazamiento de mano de obra humana	¿Existe la posibilidad de que el sistema automatice tareas o funciones que estaban siendo ejecutadas por humanos? Si es así, ¿cuáles son las consecuencias posteriores?
	Potencial de manipulación de identidad, valores o conocimientos.	¿Está el sistema diseñado o potencialmente capaz de manipular la identidad o los valores establecidos del usuario, o difundir desinformación? ¿Existe la posibilidad de que se realicen afirmaciones de experiencia falsas o no verificables?
	Medidas de autoestima	¿Existe presión para retratar un yo idealizado? ¿Podría la automatización reemplazar la sensación de realización personal? ¿Existe presión para competir con el sistema en el lugar de trabajo? ¿Es más difícil proteger la reputación individual contra la desinformación?
	Privacidad	¿Existen responsabilidades difusas para salvaguardar la privacidad y se hacen suposiciones sobre cómo se utilizan los datos personales?
	Autonomía	¿Podría el sistema afectar la autonomía humana al generar una dependencia excesiva de la tecnología por parte de los usuarios finales?
	Desarrollo humano	¿Existe un impacto en la adquisición de habilidades clave para el desarrollo humano, como funciones ejecutivas, habilidades interpersonales, cambios en el tiempo de atención que afectan el aprendizaje, desarrollo de la personalidad, problemas de salud mental, etc.?
	Cuidado de la salud personal	¿Existen afirmaciones sobre soluciones personalizadas de atención médica? Si es así, ¿están validados según los estándares regulatorios?
	Salud mental	¿Existe riesgo de aumento de la ansiedad, la soledad u otros problemas de salud mental, o puede la tecnología mitigar dichos impactos?
	Evolución humana	¿Podría la tecnología provocar cambios en la evolución humana?
Dimensiones del impacto	Criterios	Descripción
Sociedad/vida social	valores sociales	¿El sistema cambia fundamentalmente la naturaleza de la sociedad o permite la normalización de ideas previamente consideradas antisociales, o viola los valores sociales de la cultura en la que se aplica?
	Interacción social	¿Existe algún efecto sobre el contacto humano significativo, incluidas las relaciones emocionales?
	Equidad	¿Es probable que la aplicación/tecnología reduzca o aumente las desigualdades (es decir, económicas, sociales, educativas, geográficas)?
	Salud poblacional	¿Existe la posibilidad de que el sistema avance o socave las intenciones de salud de la población?
	expresión cultural	¿Es probable o más difícil abordar un aumento de la apropiación cultural o la discriminación? ¿La dependencia del sistema para la toma de decisiones excluye o margina potencialmente a sectores de la sociedad?
	Educacion publica	¿Hay algún efecto sobre las funciones de los docentes o las instituciones educativas? ¿El sistema enfatiza o reduce la desigualdad entre los estudiantes y la brecha digital? ¿Se promueve o se socava el valor intrínseco del conocimiento o la comprensión crítica?
	Realidades distorsionadas	¿Siguen siendo aplicables los métodos que utilizamos para discernir lo que es verdad? ¿Está comprometida la percepción de la realidad?
Contexto económico (comercio)	Sector industrial	¿En qué sector industrial se implementa el sistema (es decir, finanzas, agricultura, atención médica, educación, defensa)?
	modelo de negocio	¿En qué función empresarial se emplea el sistema y en qué capacidad? ¿Dónde se utiliza el sistema (privado, público, sin fines de lucro)?
	Impacto en actividades críticas	¿Una interrupción de la función o actividad del sistema afectaría los servicios esenciales o las infraestructuras críticas?
	Aliento de despliegue	¿Cómo se implementa el sistema (dentro de una organización o generalizado a nivel nacional/internacional)?
	Madurez técnica (TRL)	¿Qué tan maduro es técnicamente el sistema?
	Soberanía tecnológica	¿La tecnología impulsa una mayor concentración de la soberanía tecnológica?
	Redistribución del ingreso y palancas fiscales nacionales	¿Podrían verse comprometidos los roles centrales del Estado soberano (es decir, los bancos de reserva)? ¿Se mejorará o se reducirá la capacidad del Estado para satisfacer las expectativas y las implicaciones de los ciudadanos (es decir, sociales, económicas y políticas)?
Dimensiones del impacto	Criterios	Descripción
vida cívica	Gobernanza y servicio público	¿Podrían verse afectados positiva o negativamente los mecanismos de gobernanza y los sistemas de gobernanza global?
	Medios de comunicación	¿Es probable que el discurso público se polarice y arraigue más o menos a nivel poblacional? ¿Habrá algún efecto en los niveles de confianza en los medios? ¿Se verán aún más afectados los estándares de integridad y ética del periodismo convencional?
	Imperio de la ley	¿Habrá algún efecto en la capacidad de identificar individuos u organizaciones a quienes responsabilizar (es decir, qué tipo de responsabilidad asignar a un algoritmo por resultados adversos)? ¿Crea esto una pérdida de soberanía (es decir, ambiental, fiscal, política social, ética)?
	Política y cohesión social	¿Existe la posibilidad de que haya opiniones políticas más arraigadas y menos oportunidades para lograr un consenso? ¿Existe la posibilidad de marginar aún más a los grupos? ¿Se hacen más o menos probables los estilos políticos contradictorios?
Contexto geoestratégico/geopolítico	Vigilancia de precisión	¿Están los sistemas entrenados en datos biológicos y de comportamiento individual y, de ser así, podrían usarse para explotar a individuos o grupos?
	Colonización digital	¿Pueden los actores estatales o no estatales aprovechar sistemas y datos para comprender y controlar las poblaciones y ecosistemas de otros países, o para socavar el control jurisdiccional?
	Competencia geopolítica	¿El sistema afecta la competencia entre naciones y plataformas tecnológicas por el acceso a datos individuales y colectivos con fines económicos o estratégicos?
	Acuerdos comerciales y comerciales	¿Tiene el sistema implicaciones para los acuerdos comerciales internacionales?
	Cambio en las potencias globales	¿Está amenazado el estatus de los Estados-nación como principales actores geopolíticos del mundo? ¿Las empresas de tecnología ejercerán un poder que antes estaba reservado a los Estados-nación y se están convirtiendo en actores soberanos independientes?
	Desinformación	¿Es más fácil para los actores estatales y no estatales producir y difundir desinformación que afecte la cohesión social, la confianza y la democracia?
Aplicaciones Medioambientales	Consumo de energía y recursos (huella de carbono)	¿El sistema y los requisitos aumentan la absorción de energía y el consumo de recursos por encima de las ganancias de eficiencia obtenidas a través de la aplicación?
Dimensiones del impacto	Criterios	Descripción
Datos y entrada	Detección y recogida	¿Los datos y las entradas son recopilados por humanos, sensores automatizados o ambos?
	Procedencia de los datos	En cuanto a los datos, ¿son estos proporcionados, observados, sintéticos o derivados? ¿Existen protecciones de marca de agua para confirmar la procedencia?
	Naturaleza dinámica de los datos.	¿Los datos son dinámicos, estáticos, se actualizan periódicamente o se actualizan en tiempo real?
	Derechos	¿Los datos son propietarios, públicos o personales (es decir, relacionados con personas identificables)?
	Identificabilidad de los datos personales	Si son datos personales, ¿están anonimizados o seudonimizados?
	Estructura de los datos	¿Los datos están estructurados, semiestructurados, estructurados complejos o no estructurados?
	Formato de los datos	¿El formato de los datos y metadatos está estandarizado o no estandarizado?
	Escala de los datos	¿Cuál es la escala del conjunto de datos?
	Idoneidad y calidad de los datos.	¿El conjunto de datos es adecuado para su propósito? ¿El tamaño de la muestra es adecuado? ¿Es lo suficientemente representativo y completo? ¿Qué tan ruidosos son los datos? ¿Es propenso a errores?
Modelo	Disponibilidad de información	¿Está disponible información sobre el modelo del sistema?
	Tipo de modelo de IA	¿El modelo es simbólico (reglas generadas por humanos), estadístico (utiliza datos) o híbrido?
	Derechos asociados al modelo	¿El modelo es de código abierto o propietario, administrado por uno mismo o por terceros?
	Modelos únicos o múltiples	¿El sistema está compuesto por un modelo o por varios modelos interconectados?
	Generativo o discriminativo	¿El modelo es generativo, discriminativo o ambos?
	Construcción del modelo	¿El sistema aprende basándose en reglas escritas por humanos, a partir de datos, mediante aprendizaje supervisado o mediante aprendizaje por refuerzo?
	Evolución del modelo (deriva de la IA)	¿El modelo evoluciona y/o adquiere habilidades al interactuar con datos en el campo?
	Aprendizaje federado o central	¿El modelo está entrenado de forma centralizada o en varios servidores locales o dispositivos "periféricos"?
	Desarrollo y mantenimiento	¿El modelo es universal, personalizable o adaptado a los datos del actor de IA?
	Determinista o probabilístico	¿Se utiliza el modelo de manera determinista o probabilística?
	Transparencia del modelo	¿Hay información disponible para los usuarios que les permita comprender los resultados y las limitaciones del modelo o las restricciones de uso?
	Limitación computacional	¿Existen limitaciones computacionales para el sistema? ¿Podemos predecir saltos de capacidad o leyes de escala?
Dimensiones del impacto	Criterios	Descripción
Tarea y salida	Tareas realizadas por el sistema	¿Qué tareas realiza el sistema (es decir, reconocimiento, detección de eventos, previsión)?
	Combinando tareas y acciones	¿El sistema combina varias tareas y acciones (es decir, sistemas de generación de contenidos, sistemas autónomos, sistemas de control)?
	Nivel de autonomía del sistema.	¿Cuán autónomas son las acciones del sistema y qué papel desempeñan los humanos?
	Grado de implicación humana	¿Existe alguna participación humana para supervisar la actividad general del sistema de IA y la capacidad de decidir cuándo y cómo utilizar el sistema en cualquier situación?
	Aplicación principal	¿Pertenece el sistema a un área de aplicación central como tecnologías del lenguaje humano, visión por computadora, automatización y/u optimización o robótica?
	Evaluación	¿Hay estándares o métodos disponibles para evaluar el resultado del sistema o hacer frente a propiedades emergentes imprevistas?

Clave para fuentes de los descriptores

Texto sin formato:
Gluckman, P. y Allen, K. 2018. Comprender el bienestar en el contexto de las rápidas transformaciones digitales y asociadas. INGSA. https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf 

Texto en negrita:
OCDE. 2022. Marco de la OCDE para la clasificación de sistemas de IA. Documentos de economía digital de la OCDE, n.º 323, Publicaciones de la OCDE, París. https://oecd.ai/en/classification 

El texto en cursiva:
Nuevos descriptores (de múltiples fuentes) 

Dependiendo de la respuesta a este documento de discusión, el ISC formaría un grupo de trabajo de expertos para desarrollar o modificar aún más el marco analítico anterior mediante el cual las partes interesadas podrían analizar de manera integral cualquier desarrollo significativo, ya sea de plataformas o de dimensiones de uso. El grupo de trabajo sería diverso desde el punto de vista disciplinar, geográfico y demográfico, y tendría experiencia que abarcaría desde la evaluación de tecnología hasta las políticas públicas, desde el desarrollo humano hasta la sociología y los estudios de tecnología y futuros. 

Para participar en este documento de debate, visite Council.science/publications/framework-digital-technologies 

Se ha consultado a muchas personas durante el desarrollo de este documento, que fue redactado por Sir Peter Gluckman, presidente del ISC, y Hema Sridhar, ex científico jefe del Ministerio de Defensa y ahora investigador principal de la Universidad de Auckland, Nueva Zelanda. 

En particular, agradecemos a Lord Martin Rees, ex presidente de la Royal Society y cofundador del Centro para el Estudio de Riesgos Existenciales de la Universidad de Cambridge; Profesor Shivaji Sondhi, Catedrático de Física, Universidad de Oxford; el Profesor K Vijay Raghavan, ex asesor científico principal del Gobierno de la India; Amandeep Singh Gill, enviado del Secretario General de la ONU para Tecnología; Dr. Seán Óh Éigeartaigh, Director Ejecutivo, Centro para el Estudio de Riesgos Existenciales, Universidad de Cambridge; Amanda-June Brawner, asesora principal de políticas e Ian Wiggins, director de Asuntos Internacionales, Royal Society UK; Dr. Jerome Duberry, Dra. Marie-Laure Salles, Directora del Instituto Universitario de Ginebra; Sr. Chor Pharn Lee, Centro para Futuros Estratégicos, Oficina del Primer Ministro, Singapur; Barend Mons y Dr. Simon Hodson, el Comité de Datos (CoDATA); Prof. Yuko Harayama, Japón; Profesor Rémi Quirion, Presidente, INGSA; Dra. Claire Craig, Universidad de Oxford y ex jefa de Previsión de la Oficina Gubernamental de Ciencias; y el profesor Yoshua Bengio, del Consejo Asesor Científico del Secretario General de las Naciones Unidas y de la Universidad de Montreal. En general, se aprobó el enfoque de la lista de verificación y se destacó la oportunidad de cualquier acción por parte del ISC.