Uma estrutura para avaliar tecnologias digitais e relacionadas em rápido desenvolvimento: IA, grandes modelos de linguagem e muito mais

• Introdução  
• BACKGROUND 
• O desenvolvimento de um quadro analítico 
• Usando a estrutura analítica 
• Dimensões a considerar ao avaliar uma nova tecnologia 
• Um caminho a seguir 
• Agradecimentos

As tecnologias emergentes rapidamente apresentam questões desafiadoras no que diz respeito à sua governação e potencial regulamentação. Os debates políticos e públicos sobre a inteligência artificial (IA) e a sua utilização colocaram estas questões em destaque. Embora princípios gerais para a IA tenham sido promulgados pela UNESCO, pela OCDE e outros, e existam discussões emergentes sobre a regulamentação global ou jurisdicional da tecnologia, existe uma lacuna ontológica entre o desenvolvimento de princípios de alto nível e a sua incorporação em regulamentos, políticas, abordagens de governança e administração. É aqui que a comunidade científica não governamental poderia ter um papel particular. 

Foi proposto por vários académicos e especialistas em política que o Conselho Científico Internacional (ISC) – com os seus membros pluralistas das ciências sociais e naturais – estabeleça um processo para produzir e manter uma estrutura/lista de verificação anotada dos riscos, benefícios, ameaças e oportunidades associadas às tecnologias digitais em rápida evolução, incluindo – mas não se limitando a – IA. O objectivo da lista de verificação seria informar todas as partes interessadas – incluindo governos, negociadores comerciais, reguladores, sociedade civil e indústria – sobre potenciais cenários futuros, e enquadrar a forma como poderão considerar as oportunidades, benefícios, riscos e outras questões. 

Os resultados não funcionariam como um órgão de avaliação, mas como um quadro analítico adaptativo e evolutivo que poderia sustentar quaisquer processos de avaliação e regulamentação que pudessem ser desenvolvidos pelas partes interessadas, incluindo os governos e o sistema multilateral. Qualquer quadro analítico deveria idealmente ser desenvolvido independentemente das reivindicações governamentais e da indústria, dados os seus interesses compreensíveis. Deve também ser o mais pluralista nas suas perspectivas, abrangendo assim todos os aspectos da tecnologia e suas implicações. 

Este documento de discussão fornece o esboço de uma estrutura inicial para informar as múltiplas discussões globais e nacionais que ocorrem relacionadas à IA. 

O rápido surgimento de uma tecnologia com a complexidade e as implicações da IA ​​está a gerar muitas reivindicações de grandes benefícios. No entanto, também provoca receios de riscos significativos, desde o nível individual até ao nível geoestratégico. Grande parte da discussão tende a ocorrer nos extremos do espectro de pontos de vista, e é necessária uma abordagem mais pragmática. A tecnologia de IA continuará a evoluir e a história mostra que praticamente todas as tecnologias têm utilizações benéficas e prejudiciais. A questão é, portanto: como podemos alcançar resultados benéficos com esta tecnologia, reduzindo ao mesmo tempo o risco de consequências prejudiciais, algumas das quais poderão ser de magnitude existencial? 

O futuro é sempre incerto, mas existem vozes credíveis e especializadas suficientes em relação à IA e à IA generativa para encorajar uma abordagem relativamente cautelosa. Além disso, é necessária uma abordagem sistémica, porque a IA é uma classe de tecnologias com ampla utilização e aplicação por vários tipos de utilizadores. Isto significa que todo o contexto deve ser tido em conta ao considerar as implicações da IA ​​para os indivíduos, a vida social, a vida cívica, a vida social e no contexto global. 

Ao contrário da maioria das tecnologias anteriores, as tecnologias digitais e relacionadas têm um período de tempo muito curto desde o desenvolvimento até ao lançamento, em grande parte impulsionadas pelos interesses das empresas ou agências de produção. A IA é rapidamente difundida; algumas propriedades só podem se tornar aparentes após o lançamento, e a tecnologia pode ter aplicações tanto malévolas quanto benevolentes. Dimensões de valores importantes influenciarão a forma como qualquer uso é percebido. Além disso, pode haver interesses geoestratégicos em jogo. 

Até à data, a regulamentação de uma tecnologia virtual tem sido amplamente vista através das lentes dos “princípios” e da conformidade voluntária. Mais recentemente, porém, a discussão voltou-se para questões de governação nacional e multilateral, incluindo a utilização de instrumentos regulamentares e outros instrumentos políticos. As alegações feitas a favor ou contra a IA são muitas vezes hiperbólicas e – dada a natureza da tecnologia – difíceis de avaliar. Estabelecer um sistema eficaz de regulação tecnológica global ou nacional será um desafio, e serão necessários vários níveis de tomada de decisões informadas sobre os riscos ao longo da cadeia, do inventor ao produtor, ao utilizador, ao governo e ao sistema multilateral. 

Embora princípios de alto nível tenham sido promulgados pela UNESCO, pela OCDE e pela Comissão Europeia, entre outros, e estejam em curso vários debates de alto nível sobre questões de potencial regulação, existe uma grande lacuna ontológica entre esses princípios e um quadro de governação ou regulamentar. Qual é a taxonomia de considerações que um regulador pode precisar considerar? Um enquadramento estritamente focado seria imprudente, dadas as amplas implicações destas tecnologias. Este potencial tem sido objecto de muitos comentários, tanto positivos como negativos.

O ISC é a principal ONG global que integra ciências naturais e sociais. O seu alcance global e disciplinar significa que está bem posicionado para gerar aconselhamento independente e globalmente relevante para informar as escolhas complexas que temos pela frente, especialmente porque as vozes actuais nesta arena são em grande parte da indústria ou das grandes potências tecnológicas. Após extensa discussão nos últimos meses, incluindo a consideração de um processo de avaliação não governamental, o ISC concluiu que a sua contribuição mais útil seria produzir e manter uma estrutura analítica adaptativa que possa ser usada como base para o discurso e a tomada de decisões por parte dos todas as partes interessadas, inclusive durante qualquer processo de avaliação formal que surja. 

Este quadro assumiria a forma de uma lista de verificação abrangente que poderia ser utilizada tanto por instituições governamentais como não governamentais. A estrutura identifica e explora o potencial de uma tecnologia como a IA e seus derivados através de uma perspectiva ampla que abrange o bem-estar humano e social, bem como factores externos, como a economia, a política, o ambiente e a segurança. Alguns aspectos da lista de verificação podem ser mais relevantes do que outros, dependendo do contexto, mas é mais provável que sejam tomadas melhores decisões se todos os domínios forem considerados. Este é o valor inerente de uma abordagem de lista de verificação. 

A estrutura proposta é derivada de trabalhos e reflexões anteriores, incluindo o relatório de bem-estar digital da Rede Internacional de Aconselhamento Científico Governamental (INGSA).¹ e o Quadro de Classificação de IA da OCDE² apresentar a totalidade das potenciais oportunidades, riscos e impactos da IA. Estes produtos anteriores tinham uma intenção mais restrita devido ao seu tempo e contexto, sendo necessário um quadro abrangente que apresente toda a gama de questões, tanto a curto como a longo prazo. 

Embora desenvolvido para consideração da IA, este quadro analítico poderia ser aplicado a qualquer tecnologia emergente rapidamente. As questões são amplamente agrupadas nas seguintes categorias para análise mais aprofundada: 

• Bem-estar (incluindo o dos indivíduos ou de si mesmo, da sociedade e da vida social e da vida cívica) 
• Comércio e economia 
• Ambiental  
• Geoestratégico e geopolítico 
• Tecnológico (características do sistema, design e uso) 

Uma lista de considerações para cada uma das categorias acima está incluída juntamente com suas respectivas oportunidades e consequências. Alguns são relevantes para instâncias ou aplicações específicas de IA, enquanto outros são genéricos e independentes de plataforma ou uso. Nenhuma consideração aqui incluída deve ser tratada como prioridade e, como tal, todas devem ser examinadas. 

Esta estrutura pode ser utilizada, mas não se limitando, às seguintes maneiras: 

• Colmatar a lacuna entre os princípios e a avaliação, estabelecendo uma taxonomia comum validada da gama de considerações que poderiam ser utilizadas pelas partes interessadas relevantes como base para informar e moldar o pensamento futuro, incluindo qualquer quadro de avaliação que possa ser desenvolvido pelas autoridades. 

• Para informar avaliações de impacto. A Lei da UE sobre IA exige que as organizações que fornecem ferramentas de IA ou adotam IA nos seus processos realizem uma avaliação de impacto para identificar o risco das suas iniciativas e aplicar uma abordagem de gestão de risco adequada. A estrutura aqui apresentada poderia ser usada como base para isso. 

• Melhorar os princípios éticos necessários para orientar e governar o uso da IA. A estrutura pode fazer isso fornecendo uma base flexível sobre a qual sistemas confiáveis ​​podem ser desenvolvidos e garantindo o uso legal, ético, robusto e responsável da tecnologia. Estes princípios poderiam ser testados em relação a toda a gama de impactos apresentados neste quadro. 
• Para facilitar um balanço das medidas existentes (ou seja, regulamentares, legislativas, políticas) e identificar quaisquer lacunas que necessitem de mais consideração. 

• A estrutura é independente da tecnologia e de seu uso. Poderia, portanto, ser usado em áreas bastante distintas, como a biologia sintética. 

A tabela a seguir é uma definição inicial das dimensões de uma estrutura analítica. Dependendo da tecnologia e da sua utilização, alguns componentes serão mais relevantes que outros. Os exemplos são fornecidos para ilustrar por que cada domínio pode ser importante; no contexto, a estrutura exigiria uma expansão contextualmente relevante. Também é importante distinguir entre o desenvolvimento de plataformas e as questões genéricas que podem surgir durante aplicações específicas.  

Rascunho inicial das dimensões que podem precisar ser consideradas ao avaliar uma nova tecnologia
Dimensões de impacto	Critérios	Exemplos de como isso pode ser refletido na análise
Indivíduo/próprio	Competência de IA dos usuários	Quão competentes e conscientes das propriedades do sistema são os prováveis ​​usuários que irão interagir com o sistema? Como eles receberão as informações e cuidados relevantes do usuário?
	Partes interessadas impactadas	Quem são os principais intervenientes que serão impactados pelo sistema (ou seja, indivíduos, comunidades, trabalhadores vulneráveis, sectoriais, crianças, decisores políticos, profissionais)?
	Opcionalidade	Os usuários têm a opção de cancelar o sistema; devem ser-lhes dadas oportunidades para desafiar ou corrigir o resultado?
	Riscos para os direitos humanos e os valores democráticos	Poderá o sistema ter impacto (e em que direção) nos direitos humanos, incluindo, entre outros, privacidade, liberdade de expressão, justiça, risco de discriminação, etc.?
	Efeitos potenciais no bem-estar das pessoas	O sistema poderia impactar (e em que direção) o bem-estar do usuário individual (isto é, qualidade do trabalho, educação, interações sociais, saúde mental, identidade, meio ambiente)?
	Potencial de deslocamento de trabalho humano	Existe potencial para o sistema automatizar tarefas ou funções que estavam sendo executadas por humanos? Em caso afirmativo, quais são as consequências a jusante?
	Potencial para manipulação de identidade, valores ou conhecimento	O sistema foi projetado ou potencialmente capaz de manipular a identidade ou os valores definidos do usuário, ou espalhar desinformação? Existe potencial para alegações de especialização falsas ou não verificáveis?
	Medidas de autoestima	Existe pressão para retratar um eu idealizado? A automação poderia substituir um sentimento de realização pessoal? Existe pressão para competir com o sistema no local de trabalho? A reputação individual é mais difícil de proteger contra a desinformação?
	Privacidade	Existem responsabilidades difusas para salvaguardar a privacidade e existem suposições sobre como os dados pessoais são utilizados?
	Autonomia	Poderia o sistema afetar a autonomia humana ao gerar uma dependência excessiva da tecnologia por parte dos utilizadores finais?
	Desenvolvimento Humano	Existe um impacto na aquisição de competências essenciais para o desenvolvimento humano, tais como funções executivas, competências interpessoais, mudanças no tempo de atenção que afetam a aprendizagem, o desenvolvimento da personalidade, preocupações de saúde mental, etc.?
	Cuidados pessoais de saúde	Existem reivindicações de soluções personalizadas de cuidados de saúde? Em caso afirmativo, eles são validados de acordo com os padrões regulatórios?
	A saúde mental	Existe risco de aumento da ansiedade, solidão ou outros problemas de saúde mental, ou a tecnologia pode mitigar tais impactos?
	Evolução humana	A tecnologia poderia levar a mudanças na evolução humana?
Dimensões de impacto	Critérios	Descrição
Sociedade/vida social	valores sociais	O sistema altera fundamentalmente a natureza da sociedade ou permite a normalização de ideias anteriormente consideradas anti-sociais, ou viola os valores sociais da cultura em que está a ser aplicado?
	Interação social	Existe um efeito no contato humano significativo, incluindo relacionamentos emocionais?
	Equidade	É provável que a aplicação/tecnologia reduza ou aumente as desigualdades (ou seja, económicas, sociais, educativas, geográficas)?
	Saúde da população	Existe potencial para o sistema avançar ou minar as intenções de saúde da população?
	expressão cultural	É provável ou mais difícil resolver um aumento na apropriação cultural ou na discriminação? A confiança no sistema para a tomada de decisões potencialmente exclui ou marginaliza setores da sociedade?
	Educação pública	Existe um efeito nas funções dos professores ou nas instituições de ensino? O sistema enfatiza ou reduz a desigualdade entre os estudantes e a exclusão digital? O valor intrínseco do conhecimento ou da compreensão crítica está avançado ou prejudicado?
	Realidades distorcidas	Os métodos que usamos para discernir o que é verdadeiro ainda são aplicáveis? A percepção da realidade está comprometida?
Contexto econômico (comércio)	Setor industrial	Em que setor industrial o sistema está implantado (ou seja, finanças, agricultura, saúde, educação, defesa)?
	Modelo de negócio	Em que função empresarial o sistema é empregado e em que capacidade? Onde o sistema é usado (privado, público, sem fins lucrativos)?
	Impacto em atividades críticas	Uma perturbação do funcionamento ou da atividade do sistema afetaria serviços essenciais ou infraestruturas críticas?
	Respiração de implantação	Como o sistema é implantado (estritamente dentro de uma organização versus difundido nacionalmente/internacionalmente)?
	Maturidade técnica (TRL)	Quão tecnicamente maduro é o sistema?
	soberania tecnológica	A tecnologia impulsiona maior concentração da soberania tecnológica.
	Redistribuição de renda e alavancas fiscais nacionais	Poderiam os papéis centrais do Estado soberano ser comprometidos (isto é, os bancos de reserva)? Será que a capacidade do Estado para satisfazer as expectativas e implicações (isto é, sociais, económicas, políticas) dos cidadãos será aumentada ou reduzida?
Dimensões de impacto	Critérios	Descrição
vida cívica	Governança e serviço público	Os mecanismos de governação e os sistemas de governação global poderiam ser afetados positiva ou negativamente?
	Meios de comunicação	Será provável que o discurso público se torne mais ou menos polarizado e enraizado a nível da população? Haverá um efeito nos níveis de confiança nos meios de comunicação social? Os padrões de ética e integridade do jornalismo convencional serão ainda mais afetados?
	Estado de Direito	Haverá um efeito na capacidade de identificar indivíduos ou organizações para responsabilizar (ou seja, que tipo de responsabilidade atribuir a um algoritmo para resultados adversos)? Isto cria uma perda de soberania (ou seja, ambiental, fiscal, política social, ética)?
	Política e coesão social	Existe a possibilidade de opiniões políticas mais arraigadas e menos oportunidades para a construção de consenso? Existe a possibilidade de marginalizar ainda mais os grupos? Os estilos políticos adversários tornam-se mais ou menos prováveis?
Contexto geoestratégico/geopolítico	Vigilância de precisão	Os sistemas são treinados em dados comportamentais e biológicos individuais e, em caso afirmativo, poderiam ser usados ​​para explorar indivíduos ou grupos?
	Colonização digital	Serão os intervenientes estatais ou não estatais capazes de aproveitar sistemas e dados para compreender e controlar as populações e ecossistemas de outros países, ou para minar o controlo jurisdicional?
	Competição geopolítica	O sistema afecta a concorrência entre nações e plataformas tecnológicas para acesso a dados individuais e colectivos para fins económicos ou estratégicos?
	Comércio e acordos comerciais	O sistema tem implicações para os acordos comerciais internacionais?
	Mudança nas potências globais	Estará o estatuto dos Estados-nação como principais atores geopolíticos do mundo sob ameaça? Será que as empresas tecnológicas exercerão o poder antes reservado aos Estados-nação e estarão a tornar-se actores soberanos independentes?
	Desinformação	É mais fácil para os intervenientes estatais e não estatais produzirem e disseminarem desinformação que tenha impacto na coesão social, na confiança e na democracia?
Ambiental	Consumo de energia e recursos (pegada de carbono)	O sistema e os requisitos aumentam a absorção do consumo de energia e recursos além dos ganhos de eficiência obtidos através da aplicação?
Dimensões de impacto	Critérios	Descrição
Dados e entrada	Detecção e coleta	Os dados e informações são coletados por humanos, sensores automatizados ou ambos?
	Proveniência dos dados	Quanto aos dados, estes são fornecidos, observados, sintéticos ou derivados? Existem proteções de marca d’água para confirmar a procedência?
	Natureza dinâmica dos dados	Os dados são dinâmicos, estáticos, atualizados periodicamente ou em tempo real?
	Direitos	Os dados são proprietários, públicos ou pessoais (ou seja, relacionados a indivíduos identificáveis)?
	Identificabilidade dos dados pessoais	Se forem dados pessoais, são anonimizados ou pseudonimizados?
	Estrutura dos dados	Os dados são estruturados, semiestruturados, complexos, estruturados ou não estruturados?
	Formato dos dados	O formato dos dados e metadados é padronizado ou não padronizado?
	Escala dos dados	Qual é a escala do conjunto de dados?
	Adequação e qualidade dos dados	O conjunto de dados é adequado ao propósito? O tamanho da amostra é adequado? É representativo e completo o suficiente? Quão barulhentos são os dados? É propenso a erros?
Modelo	Disponibilidade de informações	Estão disponíveis informações sobre o modelo do sistema?
	Tipo de modelo de IA	O modelo é simbólico (regras geradas por humanos), estatístico (usa dados) ou híbrido?
	Direitos associados ao modelo	O modelo é de código aberto ou proprietário, gerenciado por terceiros ou por terceiros?
	Modelos únicos ou múltiplos	O sistema é composto por um modelo ou por vários modelos interligados?
	Generativo ou discriminativo	O modelo é generativo, discriminativo ou ambos?
	Construção de modelo	O sistema aprende com base em regras escritas por humanos, a partir de dados, através de aprendizagem supervisionada ou através de aprendizagem por reforço?
	Evolução do modelo (desvio de IA)	O modelo evolui e/ou adquire habilidades ao interagir com os dados em campo?
	Aprendizagem federada ou central	O modelo é treinado centralmente ou em vários servidores locais ou dispositivos de “borda”?
	Desenvolvimento e manutenção	O modelo é universal, personalizável ou adaptado aos dados do ator de IA?
	Determinístico ou probabilístico	O modelo é utilizado de forma determinística ou probabilística?
	Transparência do modelo	As informações estão disponíveis aos usuários para permitir que eles entendam os resultados e limitações do modelo ou usem restrições?
	Limitação computacional	Existem limitações computacionais para o sistema? Podemos prever saltos de capacidade ou leis de escala?
Dimensões de impacto	Critérios	Descrição
Tarefa e saída	Tarefa(s) executada(s) pelo sistema	Quais tarefas o sistema executa (isto é, reconhecimento, detecção de eventos, previsão)?
	Combinando tarefas e ações	O sistema combina diversas tarefas e ações (isto é, sistemas de geração de conteúdo, sistemas autônomos, sistemas de controle)?
	Nível de autonomia do sistema	Quão autônomas são as ações do sistema e qual o papel que os humanos desempenham?
	Grau de envolvimento humano	Existe algum envolvimento humano para supervisionar a atividade global do sistema de IA e a capacidade de decidir quando e como utilizar o sistema em qualquer situação?
	Aplicativo principal	O sistema pertence a uma área de aplicação central, como tecnologias de linguagem humana, visão computacional, automação e/ou otimização ou robótica?
	Avaliação	Existem padrões ou métodos disponíveis para avaliar a saída do sistema ou lidar com propriedades emergentes imprevistas?

Chave para fontes dos descritores

Texto simples:
Gluckman, P. e Allen, K. 2018. Compreender o bem-estar no contexto de rápidas transformações digitais e associadas. INGSA. https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf 

Texto em negrito:
OCDE. 2022. Quadro da OCDE para a classificação de sistemas de IA. Documentos da OCDE sobre Economia Digital, n.º 323, OCDE Publishing, Paris. https://oecd.ai/en/classification 

Texto em itálico:
Novos descritores (de múltiplas fontes) 

Dependendo da resposta a este documento de discussão, um grupo de trabalho de especialistas seria formado pelo ISC para desenvolver ou alterar a estrutura analítica acima, por meio da qual as partes interessadas poderiam analisar de forma abrangente quaisquer desenvolvimentos significativos, tanto de plataformas quanto de dimensões de uso. O grupo de trabalho seria disciplinarmente, geográfica e demograficamente diversificado, com conhecimentos que abrangem desde a avaliação tecnológica às políticas públicas, do desenvolvimento humano à sociologia e aos estudos futuros e tecnológicos. 

Para participar deste documento de discussão, visite Council.science/publications/framework-digital-technologies 

Muitas pessoas foram consultadas no desenvolvimento deste artigo, que foi elaborado por Sir Peter Gluckman, presidente do ISC e Hema Sridhar, ex-cientista-chefe do Ministério da Defesa e agora pesquisador sênior da Universidade de Auckland, Nova Zelândia. 

Agradecemos especialmente a Lord Martin Rees, ex-presidente da Royal Society e cofundador do Centro para o Estudo de Riscos Existenciais da Universidade de Cambridge; Professor Shivaji Sondhi, Professor de Física, Universidade de Oxford; Professor K Vijay Raghavan, ex-conselheiro científico principal do Governo da Índia; Amandeep Singh Gill, Enviado do Secretário-Geral da ONU para Tecnologia; Dr. Seán Óh Éigeartaigh, Diretor Executivo, Centro para o Estudo de Riscos Existenciais, Universidade de Cambridge; Amanda-June Brawner, Conselheira Sênior de Políticas e Ian Wiggins, Diretor de Assuntos Internacionais, Royal Society UK; Dr. Jerome Duberry, Dra. Marie-Laure Salles, Diretora, Instituto de Pós-Graduação de Genebra; Sr. Chor Pharn Lee, Centro para Futuros Estratégicos, Gabinete do Primeiro Ministro, Singapura; Barend Mons e Dr. Simon Hodson, o Comitê de Dados (CoDATA); Prof Yuko Harayama, Japão; Professor Rémi Quirion, Presidente, INGSA; Dra. Claire Craig, Universidade de Oxford e Ex-Chefe de Prospectiva, Gabinete Governamental de Ciência; e Prof Yoshua Bengio, Conselho Consultivo Científico do Secretário Geral da ONU e da Universidade de Montreal. A abordagem da lista de verificação foi geralmente endossada e a oportunidade de qualquer ação do ISC foi enfatizada.