Um guia para decisores políticos: Avaliando tecnologias em rápido desenvolvimento, incluindo IA, grandes modelos de linguagem e muito mais

As tecnologias emergentes rapidamente apresentam questões desafiadoras no que diz respeito à sua utilização, governação e potencial regulamentação. Os debates políticos e públicos em curso sobre a inteligência artificial (IA) e a sua utilização colocaram estas questões em destaque. Princípios gerais para a IA foram anunciados pela UNESCO, pela OCDE, pela ONU e outros, incluindo a Declaração de Bletchley do Reino Unido, e existem tentativas jurisdicionais emergentes de regulamentação de aspectos da tecnologia através, por exemplo, da IA ​​da União Europeia (UE). Lei ou a recente Ordem Executiva de IA dos Estados Unidos.

Embora a utilização da IA ​​seja amplamente discutida nestes e noutros fóruns, através de divisões geopolíticas e em países de todos os níveis de rendimento, continua a existir uma lacuna ontológica entre o desenvolvimento de princípios de alto nível e a sua incorporação na prática através de medidas regulamentares, políticas, de governação. ou abordagens de administração. O caminho do princípio à prática está mal definido, mas dada a natureza e a cadência do desenvolvimento e aplicação da IA, a variedade de interesses envolvidos e a gama de aplicações possíveis, qualquer abordagem não pode ser excessivamente genérica ou prescritiva.

Por estas razões, a comunidade científica não governamental continua a desempenhar um papel particular. O Conselho Científico Internacional (ISC) – com os seus membros pluralistas das ciências sociais e naturais – publicou um documento de discussão em Outubro de 2023 apresentando um quadro analítico preliminar que considerou os riscos, benefícios, ameaças e oportunidades associados à tecnologia digital em rápida evolução. Embora tenha sido desenvolvido para considerar a IA, é inerentemente independente da tecnologia e pode ser aplicado a uma série de tecnologias emergentes e disruptivas, como a biologia sintética e a quântica. Esse documento de discussão solicitou feedback de acadêmicos e decisores políticos. O feedback esmagador tornou necessária a realização de tal análise e representou uma abordagem valiosa para abordar tecnologias emergentes como a IA.

O objectivo do quadro é fornecer uma ferramenta para informar todas as partes interessadas – incluindo governos, negociadores comerciais, reguladores, sociedade civil e indústria – sobre a evolução destas tecnologias para ajudá-los a enquadrar a forma como podem considerar as implicações, positivas ou negativas, de a tecnologia em si e, mais especificamente, a sua aplicação específica. Esta estrutura analítica foi desenvolvida independentemente dos interesses do governo e da indústria. É extremamente pluralista nas suas perspectivas, abrangendo todos os aspectos da tecnologia e suas implicações com base em extensas consultas e feedback.

Este documento de discussão para os decisores políticos não se destina a proibir um regime regulamentar, mas sim a sugerir um quadro analítico adaptativo e evolutivo que possa sustentar quaisquer processos de avaliação e regulamentares que possam ser desenvolvidos pelas partes interessadas, incluindo os governos e o sistema multilateral.

À medida que os decisores a nível mundial e nacional consideram configurações e alavancas políticas adequadas para equilibrar os riscos e recompensas de uma nova tecnologia como a IA, o quadro analítico pretende ser uma ferramenta complementar para garantir que todo o conjunto de potenciais implicações seja adequadamente refletido.

A rápida emergência de tecnologias com a complexidade e as implicações da IA ​​está a gerar muitas reivindicações de grandes benefícios. No entanto, também provoca receios de riscos significativos, desde o nível individual até ao nível geoestratégico.¹ Grande parte da discussão até à data tem sido considerada num sentido binário, uma vez que as opiniões expressas publicamente tendem a ocorrer nos extremos do espectro. As alegações feitas a favor ou contra a IA são muitas vezes hiperbólicas e – dada a natureza da tecnologia – difíceis de avaliar.

É necessária uma abordagem mais pragmática onde a hipérbole é substituída por avaliações calibradas e mais granulares. A tecnologia de IA continuará a evoluir e a história mostra que praticamente todas as tecnologias têm utilizações benéficas e prejudiciais. A questão é, portanto: como podemos alcançar os resultados benéficos desta tecnologia, reduzindo ao mesmo tempo o risco de consequências prejudiciais, algumas das quais poderão ser de magnitude existencial?

O futuro é sempre incerto, mas existem vozes credíveis e especializadas suficientes em relação à IA e à IA generativa para encorajar uma abordagem relativamente cautelosa. Além disso, é necessária uma abordagem sistémica, uma vez que a IA é uma classe de tecnologias com ampla utilização e aplicação por vários tipos de utilizadores. Isto significa que todo o contexto deve ser considerado ao considerar as implicações de qualquer utilização da IA ​​para os indivíduos, a vida social, a vida cívica, a vida social e no contexto global.

Ao contrário da maioria das outras tecnologias, para as tecnologias digitais e relacionadas, o tempo entre o desenvolvimento, o lançamento e a aplicação é extremamente curto, em grande parte determinado pelos interesses das empresas ou agências de produção. Pela sua própria natureza – e dado que se baseia na espinha dorsal digital – a IA terá aplicações que se difundirão rapidamente, como já foi visto com o desenvolvimento de grandes modelos de linguagem. Como resultado, algumas propriedades só podem tornar-se aparentes após a libertação, o que significa que existe o risco de consequências imprevistas, tanto malévolas como benevolentes.

Dimensões importantes de valores sociais, especialmente em diferentes regiões e culturas, influenciarão a forma como qualquer uso é percebido e aceito. Além disso, os interesses geoestratégicos já dominam a discussão, com interesses soberanos e multilaterais a cruzarem-se continuamente, impulsionando assim a concorrência e a divisão.

Até à data, grande parte da regulamentação de uma tecnologia virtual tem sido amplamente vista através das lentes dos “princípios” e da conformidade voluntária, embora com a Lei da UE sobre IA² e semelhantes, estamos a assistir a uma mudança para regulamentos mais aplicáveis, mas um tanto restritos. Estabelecer uma governação tecnológica e/ou um sistema regulamentar eficaz a nível global ou nacional continua a ser um desafio e não existe uma solução óbvia. Serão necessários vários níveis de tomada de decisões informadas sobre os riscos ao longo da cadeia, do inventor ao produtor, ao utilizador, ao governo e ao sistema multilateral.

Embora princípios de alto nível tenham sido promulgados pela UNESCO, pela OCDE, pela Comissão Europeia e pela ONU, entre outros, e continuem a decorrer vários debates de alto nível sobre questões de governação, regulação, ética e segurança potenciais, existe um grande fosso entre esses princípios. princípios e um quadro de governação ou regulamentar. Isto precisa ser endereçado.

Como ponto de partida, o ISC considera desenvolver uma taxonomia de considerações que qualquer desenvolvedor, regulador, consultor político, consumidor ou tomador de decisão possa consultar. Dadas as amplas implicações destas tecnologias, tal taxonomia deve considerar a totalidade das implicações, em vez de um enquadramento estritamente focado. A fragmentação global está a aumentar devido à influência dos interesses geoestratégicos na tomada de decisões e, dada a urgência desta tecnologia, é essencial que vozes independentes e neutras defendam persistentemente uma abordagem unificada e inclusiva.

---

1) Tempos do Hindustão. 2023. O G20 deve criar um painel internacional sobre a mudança tecnológica.
https://www.hindustantimes.com/opinion/g20-must-set-up-an-international-panel-on-technological-change-101679237287848.html
2) A Lei da Inteligência Artificial da UE. 2023. https://artificialintelligenceact.eu

O ISC é a principal organização não governamental global que integra ciências naturais e sociais. O seu alcance global e disciplinar significa que está bem colocado para gerar aconselhamento independente e globalmente relevante para informar as escolhas complexas que temos pela frente, especialmente porque as vozes actuais nesta arena são em grande parte da indústria ou das comunidades políticas e políticas das principais potências tecnológicas.

Após um período de extensa discussão, que incluiu a consideração de um processo de avaliação não governamental, o ISC concluiu que sua contribuição mais útil seria produzir uma estrutura analítica adaptativa que pudesse ser usada como base para o discurso e a tomada de decisões por todos. partes interessadas, inclusive durante quaisquer processos formais de avaliação que surjam.

O quadro analítico preliminar, que foi lançado para discussão e feedback em Outubro de 2023, assumiu a forma de uma lista de verificação abrangente concebida para ser utilizada por instituições governamentais e não governamentais. O quadro identificou e explorou o potencial de uma tecnologia como a IA e os seus derivados através de uma perspectiva ampla que abrange o bem-estar humano e social, bem como factores externos como a economia, a política, o ambiente e a segurança. Alguns aspectos da lista de verificação podem ser mais relevantes do que outros, dependendo do contexto, mas decisões melhores parecem mais prováveis ​​se todos os domínios forem considerados, mesmo que alguns possam ser rapidamente identificados como irrelevantes em casos específicos. Este é o valor inerente de uma abordagem de lista de verificação.

O quadro preliminar foi derivado de trabalhos e reflexões anteriores, incluindo o relatório da Rede Internacional de Aconselhamento Científico Governamental (INGSA) sobre o bem-estar digital3 e o Quadro da OCDE para a Classificação de Sistemas de IA,4 para apresentar a totalidade das potenciais oportunidades, riscos e impactos de IA. Esses produtos anteriores eram mais restritos em sua intenção devido ao seu tempo e contexto; é necessário um quadro abrangente que apresente toda a gama de questões, tanto a curto como a longo prazo.

Desde o seu lançamento, o documento de discussão recebeu apoio significativo de muitos especialistas e decisores políticos. Muitos endossaram especificamente a recomendação de desenvolver um quadro adaptativo que permita a consideração deliberada e proactiva dos riscos e implicações da tecnologia e, ao fazê-lo, considere sempre a totalidade das dimensões, desde o indivíduo até à sociedade e aos sistemas.

Uma observação importante feita através do feedback foi o reconhecimento de que várias das implicações consideradas no quadro são inerentemente multifacetadas e estendem-se por múltiplas categorias. Por exemplo, a desinformação poderia ser considerada tanto do ponto de vista individual como geoestratégico; portanto, as consequências seriam amplas.

Também foi sugerida a opção de incluir estudos de caso ou exemplares para testar o framework. Isto poderia ser usado para desenvolver diretrizes para demonstrar como poderia ser usado na prática em diferentes contextos. No entanto, isto seria um empreendimento significativo e pode limitar a forma como diferentes grupos percebem a utilização deste quadro. A melhor forma de a realizar é que os decisores políticos trabalhem com especialistas em jurisdições ou contextos específicos.

Desde Outubro de 2023, têm havido várias iniciativas nacionais e multilaterais significativas com maior consideração pela ética e segurança da IA. As implicações da IA ​​na integridade de alguns dos nossos sistemas críticos, incluindo o financeiro, governamental, jurídico e educacional, bem como diferentes sistemas de conhecimento (incluindo o conhecimento científico e indígena), são cada vez mais preocupantes. O quadro revisto reflecte ainda mais estes aspectos.

O feedback recebido até à data reflecte-se na versão revista do quadro analítico, que é agora divulgado como um guia para os decisores políticos.

Embora o quadro seja apresentado no contexto da IA ​​e tecnologias relacionadas, é imediatamente transferível para considerações de outras tecnologias emergentes, como a biologia quântica e sintética.

---

3) Gluckman, P. e Allen, K. 2018. Compreender o bem-estar no contexto de rápidas transformações digitais e associadas. INGSA.
https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf
4) OCDE. 2022. Quadro da OCDE para a classificação dos sistemas de IA. Documentos da OCDE sobre Economia Digital, nº 323,#. Paris, Publicação da OCDE.
https://oecd.ai/en/classificatio

A tabela a seguir apresenta as dimensões de uma suposta estrutura analítica. São fornecidos exemplos para ilustrar por que cada domínio pode ser importante; no contexto, a estrutura exigiria uma expansão contextualmente relevante. Também é importante distinguir entre as questões genéricas que surgem durante o desenvolvimento da plataforma e aquelas que podem surgir durante aplicações específicas. Nenhuma consideração aqui incluída deve ser tratada como prioridade e, como tal, todas devem ser examinadas.

Os problemas são amplamente agrupados nas seguintes categorias, conforme descrito abaixo:

• Bem-estar (incluindo o dos indivíduos ou de si mesmo, da sociedade, da vida social e da vida cívica)
• Comércio e economia
• Ambiental 
• Geoestratégico e geopolítico
• Tecnológico (características do sistema, design e uso)

A tabela detalha as dimensões que podem precisar ser consideradas ao avaliar uma nova tecnologia.

🔴INGSA. 2018. Compreender o bem-estar no contexto das rápidas transformações digitais e associadas.
https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf

🟢 Novos descritores (obtidos por meio de extensa consulta, feedback e revisão da literatura)

🟡 Quadro da OCDE para a Classificação de Sistemas de IA: uma ferramenta para políticas de IA eficazes.
https://oecd.ai/en/classification

Dimensões de impacto: Individual/próprio

Critérios	Exemplos de como isso pode ser refletido na análise
🟡Competência de IA dos usuários	Quão competentes e conscientes das propriedades do sistema são os prováveis ​​usuários que irão interagir com o sistema? Como eles receberão as informações e cuidados relevantes do usuário?
🟡 Parte interessada impactada	Quem são as principais partes interessadas que serão impactadas pelo sistema (indivíduos, comunidades, vulneráveis, trabalhadores sectoriais, crianças, decisores políticos, profissionais, etc.)?
🟡 Opcionalidade	Os usuários têm a oportunidade de optar por sair do sistema ou têm a oportunidade de contestar ou corrigir o resultado?
🟡Riscos aos direitos humanos e aos valores democráticos	O sistema tem um impacto fundamental nos direitos humanos, incluindo, entre outros, a privacidade, a liberdade de expressão, a justiça, a não discriminação, etc.?
🟡Efeitos potenciais no bem-estar das pessoas	As áreas de impacto do sistema estão relacionadas com o bem-estar do utilizador individual (qualidade do trabalho, educação, interações sociais, saúde mental, identidade, ambiente, etc.)?
🟡 Potencial de deslocamento de trabalho humano	Existe potencial para o sistema automatizar tarefas ou funções que estavam sendo executadas por humanos? Em caso afirmativo, quais são as consequências a jusante?
🟡 Potencial para manipulação de identidade, valores ou conhecimento	O sistema foi projetado ou potencialmente capaz de manipular a identidade ou definir valores ou espalhar desinformação?
🔴 Oportunidades de autoexpressão e autoatualização	Existe potencial para artifício e dúvida? Existe um potencial para informações falsas ou alegações inverificáveis ​​de experiência?
🔴 Medidas de autoestima	Existe pressão para retratar o eu idealizado? A automação poderia substituir um sentido de realização pessoal? Existe pressão para competir com o sistema no ambiente de trabalho? É mais difícil proteger a reputação individual contra a desinformação?
🔴 Privacidade	Existem responsabilidades difusas para salvaguardar a privacidade e há alguma suposições feitas sobre como os dados pessoais são usados?
🔴 Autonomia	Poderia o sistema de IA afetar a autonomia humana, gerando dependência excessiva por usuários finais?
🔴 Desenvolvimento humano	Existe um impacto na aquisição de competências essenciais para o desenvolvimento humano, tais como funções executivas ou habilidades interpessoais, ou mudanças no tempo de atenção que afetam aprendizagem, desenvolvimento da personalidade, preocupações com a saúde mental, etc.?
🔴 Cuidados de saúde pessoal	Existem alegações de autodiagnóstico ou soluções personalizadas de cuidados de saúde? Se for assim, eles são validados de acordo com os padrões regulatórios?
🔴 Saúde mental	Existe risco de aumento da ansiedade, solidão ou outros problemas de saúde mental, ou a tecnologia pode melhorar esses impactos?
🟢 Evolução humana	Os grandes modelos de linguagem e a inteligência artificial geral poderiam mudar o curso da evolução humana?
🟢 Interação homem-máquina	O uso poderia levar à desqualificação e à dependência dos indivíduos ao longo do tempo? São há impactos na interação humana?

Dimensões do impacto: Sociedade/vida social

Critérios	Exemplos de como isso pode ser refletido na análise
🔴 Valores sociais	O sistema altera fundamentalmente a natureza da sociedade, permite a normalização de ideias anteriormente consideradas anti-sociais ou viola os valores sociais da cultura em que está a ser aplicado?
🔴 Interações sociais	Existe um efeito no contato humano significativo, incluindo relacionamentos emocionais?
🔴 Saúde da população	Existe potencial para o sistema avançar ou minar as intenções de saúde da população?
🔴 Expressão cultural	É provável ou mais difícil resolver um aumento na apropriação cultural ou na discriminação? A confiança no sistema de tomada de decisões exclui ou marginaliza os laços seccionais culturalmente relevantes da sociedade?
🔴 Educação pública	Existe um efeito nas funções dos professores ou nas instituições de ensino? O sistema enfatiza ou reduz a exclusão digital e a desigualdade entre os estudantes? O valor intrínseco do conhecimento ou da compreensão crítica está avançado ou prejudicado?
🟢 Realidades distorcidas	Os métodos usados ​​para discernir o que é verdadeiro ainda são aplicáveis? A percepção da realidade está comprometida?

Dimensões do impacto: Contexto económico (comércio)

Critérios	Exemplos de como isso pode ser refletido na análise
🟡 Setor industrial	Em que setor industrial o sistema está implantado (finanças, agricultura, saúde, educação, defesa, etc.)?
🟡 Modelo de negócio	Em que função empresarial o sistema é empregado e em que capacidade? Onde o sistema é usado (privado, público, sem fins lucrativos)?
🟡 Impactos em atividades críticas	Uma perturbação do funcionamento ou da atividade do sistema afetaria serviços essenciais ou infraestruturas críticas?
🟡Amplitude de implantação	Como o sistema é implantado (uso restrito dentro da unidade versus uso generalizado nacional/internacional)?
🟡 Maturidade técnica	Quão tecnicamente maduro é o sistema?
🟢 Interoperabilidade	Será provável que existam silos, a nível nacional ou global, que inibam o livre comércio e tenham impacto na cooperação com os parceiros?
🟢 Soberania tecnológica	Estará o desejo de soberania tecnológica a impulsionar comportamentos, incluindo o controlo sobre toda a cadeia de abastecimento de IA?
🔴 Redistribuição de renda e alavancas fiscais nacionais	Poderiam os papéis centrais do Estado soberano ser comprometidos (por exemplo, bancos de reserva)? Será que a capacidade do Estado para satisfazer as expectativas e implicações (sociais, económicas, políticas, etc.) dos cidadãos será aumentada ou reduzida?
🟢 Divisão digital (divisão de IA)	As desigualdades digitais existentes são exacerbadas ou são criadas novas?

Dimensões do impacto: Vida cívica

Critérios	Exemplos de como isso pode ser refletido na análise
🔴 Governança e serviço público	Os mecanismos de governação e o sistema de governação global poderão ser afetados positiva ou negativamente?
🔴 Mídia de notícias	Será provável que o discurso público se torne polarizado e enraizado a nível da população? Haverá um efeito nos níveis de confiança no Quarto Poder? Os padrões convencionais de ética e integridade dos jornalistas serão ainda mais afetados?
🔴 Estado de direito	Haverá um efeito na capacidade de identificar indivíduos ou organizações para responsabilizar (por exemplo, que tipo de responsabilidade atribuir a um algoritmo para resultados adversos)? Cria-se uma perda de soberania (ambiental, fiscal, política social, ética, etc.)?
🔴Política e coesão social	Existe a possibilidade de opiniões políticas mais arraigadas e menos oportunidades para a construção de consenso? Existe a possibilidade de marginalizar ainda mais os grupos? Os estilos políticos adversários tornam-se mais ou menos prováveis?
🟢 Licença social	Existem preocupações com a privacidade, questões de confiança e preocupações morais que precisam ser consideradas para a aceitação do uso pelas partes interessadas?
🟢 Conhecimento indígena	O conhecimento e os dados indígenas poderiam ser corrompidos ou apropriados indevidamente? Existem medidas adequadas para proteger contra declarações falsas, desinformação e exploração?
🟢 Sistema científico	A integridade acadêmica e de pesquisa está comprometida? Existe uma perda de confiança na ciência? Existem possibilidades de uso indevido, uso excessivo ou abuso? Qual é a consequência da prática da ciência?

Dimensões do impacto: Contexto geoestratégico/geopolítico

Critérios	Exemplos de como isso pode ser refletido na análise
🟢 Vigilância de precisão	Os sistemas são treinados em dados comportamentais e biológicos individuais e poderiam ser usados ​​para explorar indivíduos ou grupos?
🟢 Competição digital	Poderiam os intervenientes estatais ou não estatais (por exemplo, grandes empresas tecnológicas) aproveitar sistemas e dados para compreender e controlar as populações e ecossistemas de outros países, ou minar o controlo jurisdicional?
🟢 Competição geopolítica	Poderia o sistema estimular a concorrência entre as nações sobre o aproveitamento de dados individuais e de grupo para interesses económicos, médicos e de segurança?
🟢 Mudança nas potências globais	Estará o estatuto dos Estados-nação como principais atores geopolíticos do mundo sob ameaça? As empresas de tecnologia exercem o poder antes reservado aos Estados-nação e tornaram-se atores independentes e soberanos (ordem mundial tecnopolar emergente)?
🟢 Desinformação	O sistema facilitaria a produção e disseminação de desinformação por parte de intervenientes estatais e não estatais, com impacto na coesão social, na confiança e na democracia?
🟢 Aplicativos de dupla utilização	Existe a possibilidade tanto de aplicação militar como de uso civil?
🟢 Fragmentação da ordem global	Poderiam desenvolver-se silos ou agrupamentos de regulamentação e conformidade que dificultassem a cooperação, conduzissem a inconsistências na aplicação e criassem espaço para conflitos?

Dimensões do impacto: Ambiental

Critérios	Exemplos de como isso pode ser refletido na análise
🟢 Consumo de energia e recursos (pegada de carbono)	O sistema e os requisitos aumentam a absorção do consumo de energia e recursos além dos ganhos de eficiência obtidos através da aplicação?
🟢Fonte de energia	De onde vem a energia para o sistema (combustíveis renováveis ​​vs. combustíveis fósseis, etc.)?

Dimensões do impacto: Dados e insumos

Critérios	Exemplos de como isso pode ser refletido na análise
🟡 Direção e arrecadação	Os dados e informações são coletados por humanos, sensores automatizados ou ambos?
🟡 Proveniência dos dados	Os dados e contribuições de especialistas são fornecidos, observados, sintéticos ou derivados? Existem proteções de marca d’água para confirmar a procedência?
🟡 Natureza dinâmica dos dados	Os dados são dinâmicos, estáticos, dinâmicos atualizados de tempos em tempos ou em tempo real?
🟡 Direitos	Os dados são proprietários, públicos ou pessoais (relacionados a indivíduos identificáveis)?
🟡 Identificabilidade e dados pessoais	Se forem pessoais, os dados são anonimizados ou pseudonimizados?
🟡 Estrutura dos dados	Os dados são estruturados, semiestruturados, complexos, estruturados ou não estruturados?
🟡 Formato dos dados	O formato dos dados e metadados é padronizado ou não padronizado?
🟡 Escala dos dados	Qual é a escala do conjunto de dados?
🟡 Adequação e qualidade dos dados	O conjunto de dados é adequado ao propósito? O tamanho da amostra é adequado? É representativo e completo o suficiente? Quão barulhentos são os dados? É propenso a erros?

Dimensões de impacto: Modelo

Critérios	Exemplos de como isso pode ser refletido na análise
🟡 Disponibilidade de informações	Existe alguma informação disponível sobre o modelo do sistema?
🟡 Tipo de modelo de IA	O modelo é simbólico (regras geradas por humanos), estatístico (usa dados) ou híbrido?
🟡 Direitos associados ao modelo	O modelo é de código aberto ou proprietário, gerenciado por terceiros ou por terceiros?
🟡 Único de vários modelos	O sistema é composto por um modelo ou por vários modelos interligados?
🟡 Generativo ou discriminativo	O modelo é generativo, discriminativo ou ambos?
🟡 Construção de modelo	O sistema aprende com base em regras escritas por humanos, a partir de dados, através de aprendizagem supervisionada ou através de aprendizagem por reforço?
🟡 Evolução do modelo (desvio de IA)	O modelo evolui e/ou adquire habilidades ao interagir com os dados em campo?
🟡 Aprendizagem federada ou central	O modelo é treinado centralmente ou em vários servidores locais ou dispositivos de “borda”?
🟡 Desenvolvimento/manutenção	O modelo é universal, personalizável ou adaptado aos dados do ator de IA?
🟡 Determinístico ou probabilístico	O modelo é utilizado de forma determinística ou probabilística?
🟡 Transparência do modelo	As informações estão disponíveis aos usuários para permitir que eles entendam os resultados e limitações do modelo ou usem restrições?
🟢 Limitação computacional	Existem limitações computacionais para o sistema? É possível prever saltos de capacidade ou leis de escala?

Dimensões de impacto: tarefa e resultado

Critérios	Exemplos de como isso pode ser refletido na análise
🟡 Tarefa(s) executada(s) pelo sistema	Que tarefas o sistema executa (reconhecimento, detecção de eventos, previsão, etc.)?
🟡 Combinando tarefas e ações	O sistema combina diversas tarefas e ações (sistemas de geração de conteúdo, sistemas autônomos, sistemas de controle etc.)?
🟡 Nível de autonomia do sistema	Quão autônomas são as ações do sistema e qual o papel que os humanos desempenham?
🟡 Grau de envolvimento humano	Existe algum envolvimento humano para supervisionar a atividade global do sistema de IA e a capacidade de decidir quando e como utilizar o sistema de IA em qualquer situação?
🟡 Aplicativo principal	O sistema pertence a uma área de aplicação central, como tecnologias de linguagem humana, visão computacional, automação e/ou otimização ou robótica?
🟡 Avaliação	Existem padrões ou métodos disponíveis para avaliar a saída do sistema?

Esta estrutura pode ser usada de várias maneiras, incluindo:

• Colmatar a lacuna entre os princípios de alto nível e a avaliação para fins regulamentares ou de governação. O quadro pode apoiar isto estabelecendo uma taxonomia comum validada da gama de questões que merecem consideração pelas partes interessadas relevantes como base para informar e moldar pensamentos futuros. Por exemplo, a nível nacional, o quadro poderia ser utilizado como uma ferramenta pelo governo à medida que desenvolve uma estratégia e políticas nacionais de IA para estabelecer uma base comum dos riscos e oportunidades entre os grupos de partes interessadas.
• Para informar avaliações de impacto. A Lei da UE sobre IA exige que as organizações que fornecem ferramentas de IA ou adotam IA nos seus processos realizem uma avaliação de impacto para identificar o risco das suas iniciativas e aplicar uma abordagem de gestão de risco adequada. A estrutura aqui apresentada poderia ser usada como base para isso.
• Para informar a verificação do horizonte em busca de riscos e cenários futuros. A categorização dos riscos no Relatório Provisório do Órgão Consultivo da ONU para a IA6 está amplamente alinhada com o enquadramento aqui apresentado. Existe uma oportunidade para o quadro ser utilizado para construir consenso e testar a gravidade dos riscos emergentes, bem como preveni-los.
• Melhorar os princípios éticos necessários para orientar e governar o uso da IA. A estrutura pode fazer isso fornecendo uma base flexível sobre a qual sistemas confiáveis ​​podem ser desenvolvidos e garantindo o uso legal, ético, robusto e responsável da tecnologia. Estes princípios poderiam ser testados em relação a toda a gama de impactos apresentados neste quadro.
• Facilitar um balanço das medidas existentes e em evolução (regulamentares, legislativas, políticas, normas, governação, etc.) e identificar lacunas que necessitam de uma análise mais aprofundada. Estes poderiam ser mapeados em relação às categorias-quadro a nível nacional ou multinacional para determinar lacunas e identificar medidas adequadas para mitigar os riscos.
• Para apoiar o uso governamental de IA. À medida que muitos governos determinam as suas respetivas estratégias para a utilização da IA ​​nas agências e sistemas, o quadro poderia ser utilizado para definir limiares de risco apropriados e identificar as principais partes interessadas e responsabilidades.
• Apoiar o discurso público e estabelecer licença social sobre a forma como a IA é utilizada e os dados subjacentes que serão utilizados nos serviços governamentais ou, de forma mais ampla, na sociedade.

Um caminho a seguir
Em resumo, o quadro analítico é fornecido como base de um conjunto de ferramentas que pode ser utilizado pelas partes interessadas para analisar de forma abrangente quaisquer desenvolvimentos significativos, quer das plataformas, quer da utilização, de uma forma consistente e sistemática. As dimensões apresentadas neste quadro têm relevância desde a avaliação tecnológica às políticas públicas, do desenvolvimento humano à sociologia, e aos estudos de futuro e tecnologia. Embora desenvolvida para IA, esta estrutura analítica tem uma aplicação muito mais ampla a qualquer outra tecnologia emergente.

6 Conselho Consultivo de IA da ONU. 2023. Relatório Provisório: Governando a IA para a Humanidade. https://www.un.org/sites/un2.un.org/files/ai_advisory_body_interim_report.pd

Muitas pessoas foram consultadas e forneceram feedback no desenvolvimento do documento de discussão inicial e no feedback após seu lançamento. Ambos os artigos foram redigidos por Sir Peter Gluckman, presidente do ISC, e Hema Sridhar, ex-conselheiro-chefe de ciência do Ministério da Defesa da Nova Zelândia e agora pesquisador sênior da Universidade de Auckland, Nova Zelândia.

Em particular, o ISC Lord Martin Rees, ex-presidente da Royal Society e cofundador do Centro para o Estudo de Riscos Existenciais da Universidade de Cambridge; Professor Shivaji Sondhi, Professor de Física, Universidade de Oxford; Professor K Vijay Raghavan, ex-Conselheiro Científico Principal do Governo da Índia; Amandeep Singh Gill, Enviado do Secretário-Geral da ONU para Tecnologia; Seán Ó hÉigeartaigh, Diretor Executivo, Centro para o Estudo de Riscos Existenciais, Universidade de Cambridge; Sir David Spiegelhalter, Professor Winton de Compreensão Pública do Risco, Universidade
de Cambridge; Amanda-June Brawner, Conselheira Sênior de Políticas e Ian Wiggins, Diretor de Assuntos Internacionais, Royal Society, Reino Unido; Dr. Jerome Duberry, Diretor Geral e Dra. Marie-Laure Salles, Diretora, Instituto de Pós-Graduação de Genebra; Chor Pharn Lee, Centro para Futuros Estratégicos, Gabinete do Primeiro Ministro, Singapura; Barend Mons e Dr. Simon Hodson, o Comitê de Dados (CoDATA); Professor Yuko Harayama, ex-diretor executivo, RIKEN; Professor
Rémi Quirion, Presidente, INGSA; Dra. Claire Craig, Universidade de Oxford e Ex-Chefe de Prospectiva, Gabinete Governamental de Ciência; Prof Yoshua Bengio, Conselho Consultivo Científico do Secretário Geral da ONU e da Universidade de Montreal; e muitos outros que forneceram feedback ao ISC sobre o documento de discussão inicial.