Una guía para los responsables de la formulación de políticas: evaluación de tecnologías en rápido desarrollo, incluida la inteligencia artificial, modelos de lenguajes grandes y más

Las tecnologías que emergen rápidamente presentan problemas desafiantes en lo que respecta a su uso, gobernanza y posible regulación. Las políticas en curso y los debates públicos sobre la inteligencia artificial (IA) y su uso han puesto estos temas en un foco de atención. La UNESCO, la OCDE, las Naciones Unidas y otros han anunciado principios generales para la IA, incluida la Declaración Bletchley del Reino Unido, y están surgiendo intentos jurisdiccionales de regular aspectos de la tecnología a través, por ejemplo, de la IA de la Unión Europea (UE). Act o la reciente Orden Ejecutiva de AI de los Estados Unidos.

Si bien el uso de la IA se discute extensamente en estos y otros foros, a través de divisiones geopolíticas y en países de todos los niveles de ingresos, sigue existiendo una brecha ontológica entre el desarrollo de principios de alto nivel y su incorporación a la práctica a través de regulaciones, políticas y gobernanza. o enfoques de gestión. El camino del principio a la práctica está mal definido, pero dada la naturaleza y cadencia del desarrollo y aplicación de la IA, la variedad de intereses involucrados y la gama de posibles aplicaciones, ningún enfoque puede ser demasiado genérico o prescriptivo.

Por estas razones, la comunidad científica no gubernamental sigue desempeñando un papel particular. El Consejo Científico Internacional (ISC), con su membresía pluralista de las ciencias sociales y naturales, publicó un documento de debate en octubre de 2023 en el que presentaba un marco analítico preliminar que consideraba los riesgos, beneficios, amenazas y oportunidades asociados con la tecnología digital en rápido movimiento. Si bien se desarrolló para considerar la IA, es inherentemente independiente de la tecnología y puede aplicarse a una variedad de tecnologías emergentes y disruptivas, como la biología sintética y la cuántica. Ese documento de debate invitó a académicos y responsables de políticas a recibir comentarios. La abrumadora retroalimentación hizo necesaria la realización de dicho análisis y se presentó como un enfoque valioso para abordar tecnologías emergentes como la IA.

El objetivo del marco es proporcionar una herramienta para informar a todas las partes interesadas (incluidos gobiernos, negociadores comerciales, reguladores, sociedad civil e industria) sobre la evolución de estas tecnologías para ayudarles a formular cómo podrían considerar las implicaciones, positivas o negativas, de la tecnología en sí y, más concretamente, su aplicación particular. Este marco analítico se ha desarrollado independientemente de los intereses del gobierno y la industria. Es sumamente pluralista en sus perspectivas, abarcando todos los aspectos de la tecnología y sus implicaciones basándose en amplias consultas y comentarios.

Este documento de debate para formuladores de políticas no pretende prohibir un régimen regulatorio, sino más bien sugerir un marco analítico adaptable y en evolución que podría sustentar cualquier evaluación y proceso regulatorio que puedan desarrollar las partes interesadas, incluidos los gobiernos y el sistema multilateral.

A medida que los tomadores de decisiones a nivel mundial y nacional consideran marcos de políticas y palancas apropiadas para equilibrar los riesgos y recompensas de una nueva tecnología como la IA, el marco analítico pretende ser una herramienta complementaria para garantizar que todo el conjunto de posibles implicaciones se reflejen adecuadamente.

La rápida aparición de tecnologías con la complejidad y las implicaciones de la IA está generando muchas afirmaciones de grandes beneficios. Sin embargo, también provoca temores de riesgos importantes, desde el nivel individual hasta el geoestratégico.¹ Gran parte del debate hasta la fecha se ha considerado en un sentido binario, ya que las opiniones expresadas públicamente tienden a tener lugar en los extremos del espectro. Las afirmaciones hechas a favor o en contra de la IA son a menudo hiperbólicas y, dada la naturaleza de la tecnología, difíciles de evaluar.

Es necesario un enfoque más pragmático en el que la hipérbole sea reemplazada por evaluaciones calibradas y más granulares. La tecnología de IA seguirá evolucionando y la historia muestra que prácticamente todas las tecnologías tienen usos tanto beneficiosos como perjudiciales. Por lo tanto, la pregunta es: ¿cómo podemos lograr los resultados beneficiosos de esta tecnología y al mismo tiempo reducir el riesgo de consecuencias nocivas, algunas de las cuales podrían ser de magnitud existencial?

El futuro siempre es incierto, pero hay suficientes voces creíbles y expertas en materia de IA y de IA generativa para fomentar un enfoque relativamente precautorio. Además, es necesario un enfoque de sistemas, ya que la IA es una clase de tecnologías con un amplio uso y aplicación por parte de múltiples tipos de usuarios. Esto significa que se debe considerar el contexto completo al considerar las implicaciones de cualquier uso de la IA para los individuos, la vida social, la vida cívica, la vida social y en el contexto global.

A diferencia de la mayoría de las otras tecnologías, para las tecnologías digitales y relacionadas, el tiempo entre el desarrollo, el lanzamiento y la aplicación es extremadamente corto, impulsado en gran medida por los intereses de las empresas o agencias de producción. Por su propia naturaleza –y dado que se basa en la columna vertebral digital– la IA tendrá aplicaciones que se generalizarán rápidamente, como ya se ha visto con el desarrollo de grandes modelos lingüísticos. Como resultado, es posible que algunas propiedades solo se hagan evidentes después de su liberación, lo que significa que existe el riesgo de consecuencias imprevistas, tanto malévolas como benévolas.

Importantes dimensiones de valores sociales, particularmente en diferentes regiones y culturas, influirán en cómo se percibe y acepta cualquier uso. Además, los intereses geoestratégicos ya dominan el debate, y los intereses soberanos y multilaterales se cruzan continuamente y, por tanto, impulsan la competencia y la división.

Hasta la fecha, gran parte de la regulación de una tecnología virtual se ha visto en gran medida a través de la lente de los "principios" y el cumplimiento voluntario, aunque con la Ley de IA de la UE² y de manera similar, estamos viendo un cambio hacia regulaciones más aplicables pero algo estrechas. Establecer una gobernanza tecnológica y/o un sistema regulatorio eficaz a nivel mundial o nacional sigue siendo un desafío y no existe una solución obvia. Se necesitarán múltiples niveles de toma de decisiones informadas sobre los riesgos a lo largo de la cadena, desde el inventor hasta el productor, el usuario, el gobierno y el sistema multilateral.

Si bien la UNESCO, la OCDE, la Comisión Europea y las Naciones Unidas, entre otros, han promulgado principios de alto nivel y continúan diversos debates de alto nivel sobre cuestiones de posible gobernanza, regulación, ética y seguridad, existe una gran brecha entre dichos principios. principios y un marco regulatorio o de gobernanza. Es necesario abordar esto.

Como punto de partida, el ISC considera desarrollar una taxonomía de consideraciones a las que cualquier desarrollador, regulador, asesor de políticas, consumidor o tomador de decisiones podría hacer referencia. Dadas las amplias implicaciones de estas tecnologías, dicha taxonomía debe considerar la totalidad de las implicaciones en lugar de un marco estrechamente enfocado. La fragmentación global está aumentando debido a la influencia de los intereses geoestratégicos en la toma de decisiones y, dada la urgencia de esta tecnología, es esencial que voces independientes y neutrales defiendan persistentemente un enfoque unificado e inclusivo.

---

1) Tiempos del Indostán. 2023. El G20 debe crear un panel internacional sobre cambio tecnológico.
https://www.hindustantimes.com/opinion/g20-must-set-up-an-international-panel-on-technological-change-101679237287848.html
2) La Ley de Inteligencia Artificial de la UE. 2023. https://artificialintelligenceact.eu

El ISC es la principal organización no gubernamental mundial que integra las ciencias naturales y sociales. Su alcance global y disciplinario significa que está bien posicionado para generar asesoramiento independiente y globalmente relevante para informar las complejas decisiones que se avecinan, particularmente porque las voces actuales en este campo provienen en gran medida de la industria o de las comunidades políticas y políticas de las principales potencias tecnológicas.

Después de un período de extensa discusión, que incluyó la consideración de un proceso de evaluación no gubernamental, el ISC concluyó que su contribución más útil sería producir un marco analítico adaptativo que pueda ser utilizado como base para el discurso y la toma de decisiones por todos. partes interesadas, incluso durante cualquier proceso de evaluación formal que surja.

El marco analítico preliminar, que se publicó para debate y retroalimentación en octubre de 2023, tomó la forma de una lista de verificación general diseñada para ser utilizada tanto por instituciones gubernamentales como no gubernamentales. El marco identificó y exploró el potencial de una tecnología como la IA y sus derivados a través de una lente amplia que abarca el bienestar humano y social, así como factores externos como la economía, la política, el medio ambiente y la seguridad. Algunos aspectos de la lista de verificación pueden ser más relevantes que otros, dependiendo del contexto, pero parece más probable tomar mejores decisiones si se consideran todos los ámbitos, incluso si algunos pueden identificarse rápidamente como irrelevantes en casos particulares. Éste es el valor inherente de un enfoque de lista de verificación.

El marco preliminar se derivó de trabajos y pensamientos previos, incluido el informe de la Red Internacional de Asesoramiento Científico Gubernamental (INGSA) sobre bienestar digital3 y el Marco de la OCDE para la Clasificación de Sistemas de IA,4 para presentar la totalidad de las oportunidades, riesgos e impactos potenciales. de IA. Estos productos anteriores tenían una intención más restringida dado su tiempo y contexto; Es necesario un marco global que presente toda la gama de cuestiones tanto a corto como a largo plazo.

Desde su publicación, el documento de debate ha recibido un importante apoyo de muchos expertos y responsables políticos. Muchos han respaldado específicamente la recomendación de desarrollar un marco adaptativo que permita una consideración deliberada y proactiva de los riesgos y las implicaciones de la tecnología y, al hacerlo, siempre considere la totalidad de las dimensiones, desde el individuo hasta la sociedad y los sistemas.

Una observación clave hecha a través de la retroalimentación fue el reconocimiento de que varias de las implicaciones consideradas en el marco son inherentemente multifacéticas y se extienden a través de múltiples categorías. Por ejemplo, la desinformación podría considerarse desde una perspectiva tanto individual como geoestratégica; por lo tanto, las consecuencias serían de amplio alcance.

También se sugirió la opción de incluir estudios de casos o ejemplos para probar el marco. Esto podría utilizarse para desarrollar directrices que demuestren cómo podría utilizarse en la práctica en diferentes contextos. Sin embargo, esto sería una tarea importante y podría limitar la forma en que los diferentes grupos perciben el uso de este marco. Lo mejor es que los responsables de la formulación de políticas trabajen con expertos en jurisdicciones o contextos específicos.

Desde octubre de 2023, ha habido varias iniciativas nacionales y multilaterales importantes con una mayor consideración de la ética y la seguridad de la IA. Las implicaciones de la IA en la integridad de algunos de nuestros sistemas críticos, incluidos los financieros, gubernamentales, legales y educativos, así como en diferentes sistemas de conocimiento (incluido el conocimiento científico e indígena), son cada vez más preocupantes. El marco revisado refleja además estos aspectos.

Los comentarios recibidos hasta la fecha se reflejan en la versión revisada del marco analítico, que ahora se publica como guía para los responsables de la formulación de políticas.

Si bien el marco se presenta en el contexto de la IA y las tecnologías relacionadas, es inmediatamente transferible a las consideraciones de otras tecnologías que emergen rápidamente, como la biología cuántica y sintética.

---

3) Gluckman, P. y Allen, K. 2018. Comprender el bienestar en el contexto de las rápidas transformaciones digitales y asociadas. INGSA.
https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf
4) OCDE. 2022. Marco de la OCDE para la clasificación de sistemas de IA. Documentos de economía digital de la OCDE, n.º 323,#. París, Publicaciones de la OCDE.
https://oecd.ai/en/classificatio

La siguiente tabla presenta las dimensiones de un supuesto marco analítico. Se proporcionan ejemplos para ilustrar por qué cada dominio puede ser importante; en contexto, el marco requeriría una expansión contextualmente relevante. También es importante distinguir entre los problemas genéricos que surgen durante el desarrollo de plataformas y los que pueden surgir durante aplicaciones específicas. Ninguna de las consideraciones incluidas aquí debe tratarse como una prioridad y, como tal, deben examinarse todas.

Las cuestiones se agrupan en términos generales en las siguientes categorías, como se describe a continuación:

• Bienestar (incluido el de los individuos o el de uno mismo, la sociedad, la vida social y la vida cívica)
• Comercio y economía
• Aplicaciones Medioambientales
• Geoestratégico y geopolítico
• Tecnológico (características del sistema, diseño y uso)

La tabla detalla las dimensiones que podrían necesitar ser consideradas al evaluar una nueva tecnología.

🔴INGSA. 2018. Comprender el bienestar en el contexto de las rápidas transformaciones digitales y asociadas.
https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf

🟢 Nuevos descriptores (obtenidos a través de amplias consultas, comentarios y revisión de la literatura)

🟡 Marco de la OCDE para la clasificación de sistemas de IA: una herramienta para políticas de IA eficaces.
https://oecd.ai/en/classification

Dimensiones del impacto: Individual/yo

Criterios	Ejemplos de cómo esto puede reflejarse en el análisis
🟡Competencia de IA de los usuarios	¿Qué tan competentes y conscientes de las propiedades del sistema son los posibles usuarios que interactuarán con el sistema? ¿Cómo se les proporcionará la información y las precauciones relevantes para el usuario?
🟡 Actor impactado	¿Quiénes son las principales partes interesadas que se verán afectadas por el sistema (individuos, comunidades, trabajadores sectoriales vulnerables, niños, formuladores de políticas, profesionales, etc.)?
🟡 Opcionalidad	¿Se les brinda a los usuarios la oportunidad de optar por no participar en el sistema o se les brinda la oportunidad de cuestionar o corregir el resultado?
🟡Riesgos para los derechos humanos y los valores democráticos	¿El sistema tiene un impacto fundamental en los derechos humanos, incluidos, entre otros, la privacidad, la libertad de expresión, la equidad, la no discriminación, etc.?
🟡Posibles efectos sobre el bienestar de las personas	¿Las áreas de impacto del sistema se relacionan con el bienestar del usuario individual (calidad del trabajo, educación, interacciones sociales, salud mental, identidad, medio ambiente, etc.)?
🟡 Potencial de desplazamiento de mano de obra humana	¿Existe la posibilidad de que el sistema automatice tareas o funciones que estaban siendo ejecutadas por humanos? Si es así, ¿cuáles son las consecuencias posteriores?
🟡 Potencial de manipulación de identidad, valores o conocimientos	¿El sistema está diseñado o es potencialmente capaz de manipular la identidad del usuario o ¿Establecer valores o difundir desinformación?
🔴 Oportunidades de autoexpresión y autorrealización	¿Existe potencial para el artificio y la duda? ¿Existe la posibilidad de que se produzcan errores o ¿Afirmaciones de experiencia no verificables?
🔴 Medidas de autoestima	¿Existe presión para retratar al yo idealizado? ¿Podría la automatización reemplazar un sentido? de realización personal? ¿Existe presión para competir con el sistema en el ¿lugar de trabajo? ¿Es más difícil proteger la reputación individual contra la desinformación?
🔴 Privacidad	¿Existen responsabilidades difusas para salvaguardar la privacidad y existen ¿Se hacen suposiciones sobre cómo se utilizan los datos personales?
🔴 Autonomía	¿Podría el sistema de IA afectar la autonomía humana al generar una dependencia excesiva por parte de ¿los usuarios finales?
🔴 Desarrollo humano	¿Existe un impacto en la adquisición de habilidades clave para el desarrollo humano, como funciones ejecutivas o habilidades interpersonales, o cambios en el tiempo de atención que afectan aprendizaje, desarrollo de la personalidad, problemas de salud mental, etc.?
🔴 Cuidado de la salud personal	¿Existen afirmaciones de autodiagnóstico o soluciones personalizadas de atención médica? En ese caso, ¿Están validados según los estándares regulatorios?
🔴 Salud mental	¿Existe riesgo de aumento de la ansiedad, la soledad u otros problemas de salud mental, o ¿Puede la tecnología mejorar tales impactos?
🟢 Evolución humana	¿Podrían los grandes modelos lingüísticos y la inteligencia artificial general cambiar la situación? curso de la evolución humana?
🟢 Interacción hombre-máquina	¿Podría el uso conducir con el tiempo a la pérdida de cualificación y a la dependencia de las personas? Son ¿Hay impactos en la interacción humana?

Dimensiones del impacto: Sociedad/vida social

Criterios	Ejemplos de cómo esto puede reflejarse en el análisis
🔴 Valores sociales	¿El sistema cambia fundamentalmente la naturaleza de la sociedad, permite la normalización de ideas previamente consideradas antisociales o viola los valores sociales de la cultura en la que se aplica?
🔴 Interacciones sociales	¿Existe algún efecto sobre el contacto humano significativo, incluidas las relaciones emocionales?
🔴 Salud de la población	¿Existe la posibilidad de que el sistema avance o socave las intenciones de salud de la población?
🔴 Expresión cultural	¿Es probable o más difícil abordar un aumento de la apropiación cultural o la discriminación? ¿La dependencia del sistema para la toma de decisiones excluye o margina los vínculos seccionales culturalmente relevantes de la sociedad?
🔴 Educación pública	¿Hay algún efecto sobre las funciones de los docentes o las instituciones educativas? ¿El sistema enfatiza o reduce la brecha digital y la inequidad entre los estudiantes? ¿Se promueve o se socava el valor intrínseco del conocimiento o la comprensión crítica?
🟢 Realidades distorsionadas	¿Siguen siendo aplicables los métodos utilizados para discernir lo que es verdad? ¿Está comprometida la percepción de la realidad?

Dimensiones del impacto: contexto económico (comercio)

Criterios	Ejemplos de cómo esto puede reflejarse en el análisis
🟡 Sector industrial	¿En qué sector industrial se implementa el sistema (finanzas, agricultura, atención médica, educación, defensa, etc.)?
🟡 Modelo de negocio	¿En qué función empresarial se emplea el sistema y en qué capacidad? ¿Dónde se utiliza el sistema (privado, público, sin fines de lucro)?
🟡 Impactos en actividades críticas	¿Una interrupción de la función o actividad del sistema afectaría los servicios esenciales o las infraestructuras críticas?
🟡Amplitud de implementación	¿Cómo se implementa el sistema (uso limitado dentro de la unidad versus generalizado a nivel nacional/internacional)?
🟡 Madurez técnica	¿Qué tan maduro es técnicamente el sistema?
🟢 Interoperabilidad	¿Es probable que existan silos, a nivel nacional o global, que inhiban el libre comercio y afecten la cooperación con los socios?
🟢 Soberanía tecnológica	¿El deseo de soberanía tecnológica impulsa comportamientos, incluido el control sobre toda la cadena de suministro de IA?
🔴 Redistribución del ingreso y palancas fiscales nacionales	¿Podrían verse comprometidos los roles centrales del Estado soberano (por ejemplo, los bancos de reserva)? ¿Se mejorará o se reducirá la capacidad del Estado para satisfacer las expectativas y las implicaciones (sociales, económicas, políticas, etc.) de los ciudadanos?
🟢 Brecha digital (brecha de IA)	¿Se exacerban las desigualdades digitales existentes o se crean otras nuevas?

Dimensiones del impacto: vida cívica

Criterios	Ejemplos de cómo esto puede reflejarse en el análisis
🔴 Gobernanza y servicio público	¿Podrían verse afectados positiva o negativamente los mecanismos de gobernanza y el sistema de gobernanza global?
🔴 Medios de comunicación	¿Es probable que el discurso público se polarice y se arraigue a nivel poblacional? ¿Habrá algún efecto en los niveles de confianza en el Cuarto Poder? ¿Se verán aún más afectados los estándares convencionales de ética e integridad de los periodistas?
🔴 Estado de derecho	¿Habrá un efecto en la capacidad de identificar individuos u organizaciones a quienes responsabilizar (por ejemplo, qué tipo de responsabilidad asignar a un algoritmo por resultados adversos)? ¿Se crea una pérdida de soberanía (ambiental, fiscal, política social, ética, etc.)?
🔴Política y cohesión social	¿Existe la posibilidad de que haya opiniones políticas más arraigadas y menos oportunidades para lograr un consenso? ¿Existe la posibilidad de marginar aún más a los grupos? ¿Se hacen más o menos probables los estilos políticos contradictorios?
🟢 Licencia social	¿Existen preocupaciones de privacidad, cuestiones de confianza y preocupaciones morales que deban considerarse para la aceptación del uso por parte de las partes interesadas?
🟢 Conocimiento indígena	¿Podrían corromperse o apropiarse indebidamente el conocimiento y los datos indígenas? ¿Existen medidas adecuadas para proteger contra la tergiversación, la desinformación y la explotación?
🟢 Sistema científico	¿Está comprometida la integridad académica y de la investigación? ¿Hay una pérdida de confianza en la ciencia? ¿Existen posibilidades de mal uso, uso excesivo o abuso? ¿Cuál es la consecuencia de la práctica de la ciencia?

Dimensiones del impacto: contexto geoestratégico/geopolítico

Criterios	Ejemplos de cómo esto puede reflejarse en el análisis
🟢 Vigilancia de precisión	¿Están los sistemas entrenados en datos biológicos y de comportamiento individual y podrían usarse para explotar a individuos o grupos?
🟢 Concurso digital	¿Podrían los actores estatales o no estatales (por ejemplo, las grandes empresas de tecnología) aprovechar los sistemas y los datos para comprender y controlar las poblaciones y los ecosistemas de otros países, o socavar el control jurisdiccional?
🟢 Competencia geopolítica	¿Podría el sistema fomentar la competencia entre naciones sobre el aprovechamiento de datos individuales y grupales para intereses económicos, médicos y de seguridad?
🟢 Cambio de potencias globales	¿Está amenazado el estatus de los Estados-nación como principales actores geopolíticos del mundo? ¿Las empresas de tecnología ejercen un poder que antes estaba reservado a los Estados-nación y se han convertido en actores independientes y soberanos (orden mundial tecnopolar emergente)?
🟢 Desinformación	¿Facilitaría el sistema la producción y difusión de desinformación por parte de actores estatales y no estatales con un impacto en la cohesión social, la confianza y la democracia?
🟢 Aplicaciones de doble uso	¿Existe la posibilidad tanto de aplicación militar como de uso civil?
🟢 Fragmentación del orden global	¿Podrían desarrollarse silos o grupos de regulación y cumplimiento que obstaculicen la cooperación, generen inconsistencias en la aplicación y creen espacio para el conflicto?

Dimensiones del impacto: Ambiental

Criterios	Ejemplos de cómo esto puede reflejarse en el análisis
🟢 Consumo de energía y recursos (huella de carbono)	¿El sistema y los requisitos aumentan la absorción de energía y el consumo de recursos por encima de las ganancias de eficiencia obtenidas a través de la aplicación?
🟢Fuente de energía	¿De dónde proviene la energía para el sistema (combustibles renovables versus fósiles, etc.)?

Dimensiones del impacto: datos y aportaciones

Criterios	Ejemplos de cómo esto puede reflejarse en el análisis
🟡 Dirección y colección	¿Los datos y las entradas son recopilados por humanos, sensores automatizados o ambos?
🟡 Procedencia de los datos	¿Los datos y aportes de los expertos son proporcionados, observados, sintéticos o derivados? ¿Existen protecciones de marca de agua para confirmar la procedencia?
🟡 Naturaleza dinámica de los datos.	¿Los datos son dinámicos, estáticos, dinámicos y se actualizan periódicamente o en tiempo real?
🟡 Derechos	¿Los datos son propietarios, públicos o personales (relacionados con personas identificables)?
🟡 Identificabilidad y datos personales	Si son personales, ¿los datos son anonimizados o seudonimizados?
🟡 Estructura de los datos	¿Los datos están estructurados, semiestructurados, estructurados complejos o no estructurados?
🟡 Formato de los datos	¿El formato de los datos y metadatos está estandarizado o no estandarizado?
🟡 Escala de los datos	¿Cuál es la escala del conjunto de datos?
🟡 Idoneidad y calidad de los datos	¿El conjunto de datos es adecuado para su propósito? ¿El tamaño de la muestra es adecuado? ¿Es lo suficientemente representativo y completo? ¿Qué tan ruidosos son los datos? ¿Es propenso a errores?

Dimensiones del impacto: Modelo

Criterios	Ejemplos de cómo esto puede reflejarse en el análisis
🟡 Disponibilidad de información	¿Hay alguna información disponible sobre el modelo del sistema?
🟡 Tipo de modelo de IA	¿El modelo es simbólico (reglas generadas por humanos), estadístico (utiliza datos) o híbrido?
🟡 Derechos asociados al modelo	¿El modelo es de código abierto o propietario, administrado por uno mismo o por terceros?
🟡 Único de múltiples modelos	¿El sistema está compuesto por un modelo o por varios modelos interconectados?
🟡 Generativo o discriminativo	¿El modelo es generativo, discriminativo o ambos?
🟡 Construcción de modelos	¿El sistema aprende basándose en reglas escritas por humanos, a partir de datos, mediante aprendizaje supervisado o mediante aprendizaje por refuerzo?
🟡 Evolución del modelo (deriva de la IA)	¿El modelo evoluciona y/o adquiere habilidades al interactuar con datos en el campo?
🟡 Aprendizaje federado o central	¿El modelo está entrenado de forma centralizada o en varios servidores locales o dispositivos "periféricos"?
🟡 Desarrollo/mantenimiento	¿El modelo es universal, personalizable o adaptado a los datos del actor de IA?
🟡 Determinista o probabilístico	¿Se utiliza el modelo de manera determinista o probabilística?
🟡 Transparencia del modelo	¿Hay información disponible para los usuarios que les permita comprender los resultados y las limitaciones del modelo o las restricciones de uso?
🟢 Limitación computacional	¿Existen limitaciones computacionales para el sistema? ¿Es posible predecir saltos de capacidad o leyes de escala?

Dimensiones del impacto: tarea y resultado

Criterios	Ejemplos de cómo esto puede reflejarse en el análisis
🟡 Tarea(s) realizada por el sistema	¿Qué tareas realiza el sistema (reconocimiento, detección de eventos, previsión, etc.)?
🟡 Combinando tareas y acciones	¿El sistema combina varias tareas y acciones (sistemas de generación de contenidos, sistemas autónomos, sistemas de control, etc.)?
🟡 Nivel de autonomía del sistema	¿Cuán autónomas son las acciones del sistema y qué papel desempeñan los humanos?
🟡 Grado de implicación humana	¿Existe alguna participación humana para supervisar la actividad general del sistema de IA y la capacidad de decidir cuándo y cómo utilizar el sistema de IA en cualquier situación?
🟡 Aplicación principal	¿Pertenece el sistema a un área de aplicación central como tecnologías del lenguaje humano, visión por computadora, automatización y/u optimización o robótica?
🟡 Evaluación	¿Hay estándares o métodos disponibles para evaluar el resultado del sistema?

Este marco podría usarse de muchas maneras, incluyendo:

• Cerrar la brecha entre los principios de alto nivel y la evaluación con fines regulatorios o de gobernanza. El marco puede respaldar esto estableciendo una taxonomía común validada de la variedad de cuestiones que merecen consideración por parte de las partes interesadas relevantes como base para informar y dar forma a futuras reflexiones. Por ejemplo, a nivel nacional, el gobierno podría utilizar el marco como herramienta a medida que desarrolla una estrategia y políticas nacionales de IA para establecer una base común de los riesgos y oportunidades entre los grupos de partes interesadas.
• Informar las evaluaciones de impacto. La Ley de IA de la UE exige que las organizaciones que proporcionan herramientas de IA o la adoptan en sus procesos realicen una evaluación de impacto para identificar el riesgo de sus iniciativas y aplicar un enfoque de gestión de riesgos adecuado. El marco presentado aquí podría usarse como base para esto.
• Para informar el escaneo de horizontes en busca de riesgos y escenarios futuros. La categorización de riesgos en el Informe Provisional del Órgano Asesor de AI de la ONU6 está alineada en términos generales con el marco presentado en el marco aquí. Existe la oportunidad de utilizar el marco para generar consenso y probar la gravedad de los riesgos emergentes, así como para prevenirlos.
• Mejorar los principios éticos necesarios para guiar y regir el uso de la IA. El marco puede lograr esto proporcionando una base flexible sobre la cual se puedan desarrollar sistemas confiables y garantizando el uso legal, ético, sólido y responsable de la tecnología. Estos principios podrían probarse frente a toda la gama de impactos presentados en este marco.
• Facilitar un balance de las medidas existentes y en evolución (regulatorias, legislativas, políticas, estándares, gobernanza, etc.) e identificar brechas que necesitan mayor consideración. Estos podrían mapearse con las categorías del marco a nivel nacional o multinacional para determinar brechas e identificar medidas adecuadas para mitigar los riesgos.
• Apoyar el uso gubernamental de la IA. A medida que muchos gobiernos determinan sus respectivas estrategias para el uso de la IA dentro de agencias y sistemas, el marco podría usarse para definir umbrales de riesgo apropiados e identificar partes interesadas y responsabilidades clave.
• Apoyar el discurso público y establecer una licencia social sobre cómo se utiliza la IA y los datos subyacentes que se utilizarán en los servicios gubernamentales o de manera más amplia en la sociedad.

Un camino a seguir
En resumen, el marco analítico se proporciona como base de un conjunto de herramientas que las partes interesadas podrían utilizar para examinar de manera integral cualquier desarrollo significativo, ya sea de plataformas o de uso, de manera consistente y sistemática. Las dimensiones presentadas en este marco tienen relevancia desde la evaluación de tecnología hasta las políticas públicas, desde el desarrollo humano hasta la sociología y los estudios de futuros y tecnología. Si bien se desarrolló para la IA, este marco analítico tiene una aplicación mucho más amplia para cualquier otra tecnología emergente.

6 Junta Asesora de IA de la ONU. 2023. Informe provisional: Gobernando la IA para la humanidad. https://www.un.org/sites/un2.un.org/files/ai_advisory_body_interim_report.pd

Se ha consultado a muchas personas y se les han brindado comentarios durante el desarrollo del documento de discusión inicial y comentarios después de su publicación. Ambos artículos fueron redactados por Sir Peter Gluckman, presidente del ISC, y Hema Sridhar, ex asesor científico jefe del Ministerio de Defensa de Nueva Zelanda y ahora investigador principal de la Universidad de Auckland, Nueva Zelanda.

En particular, el ISC Lord Martin Rees, expresidente de la Royal Society y cofundador del Centro para el Estudio de Riesgos Existenciales de la Universidad de Cambridge; Profesor Shivaji Sondhi, Catedrático de Física, Universidad de Oxford; el Profesor K Vijay Raghavan, ex Asesor Científico Principal del Gobierno de la India; Amandeep Singh Gill, enviado del Secretario General de la ONU para Tecnología; Seán Ó hÉigeartaigh, Director Ejecutivo, Centro para el Estudio de Riesgos Existenciales, Universidad de Cambridge; Sir David Spiegelhalter, Profesor Winton de Comprensión Pública del Riesgo, Universidad
de Cambridge; Amanda-June Brawner, Asesora Principal de Políticas e Ian Wiggins, Director de Asuntos Internacionales, Royal Society, Reino Unido; el Dr. Jerome Duberry, Director General y la Dra. Marie-Laure Salles, Directora del Instituto Universitario de Ginebra; Chor Pharn Lee, Centro para Futuros Estratégicos, Oficina del Primer Ministro, Singapur; Barend Mons y Dr. Simon Hodson, el Comité de Datos (CoDATA); Profesor Yuko Harayama, exdirector ejecutivo de RIKEN; Profesor
Rémi Quirion, Presidente, INGSA; Dra. Claire Craig, Universidad de Oxford y ex jefa de Previsión de la Oficina Gubernamental de Ciencias; el profesor Yoshua Bengio, del Consejo Asesor Científico del Secretario General de las Naciones Unidas y de la Universidad de Montreal; y a muchos otros que brindaron comentarios al ISC sobre el documento de discusión inicial.