用于评估快速发展的数字及相关技术的框架：人工智能、大型语言模型等

• 介绍 
• 背景 
• 分析框架的开发 
• 使用分析框架 
• 评估新技术时要考虑的维度 
• 前进的道路 
• 致谢

快速新兴的技术在治理和潜在监管方面提出了具有挑战性的问题。 关于人工智能（AI）及其使用的政策和公众辩论使这些问题成为人们关注的焦点。 虽然联合国教科文组织、经合组织和其他组织已经颁布了人工智能的广泛原则，并且关于该技术的全球或司法监管的讨论也刚刚起步，但高级原则的制定与将其纳入监管、政策、法律和法规之间存在本体论差距。治理和管理方法。 这就是非政府科学界可以发挥特殊作用的地方。 

许多学者和政策专家建议，国际科学理事会（ISC）——其成员来自社会科学和自然科学领域——建立一个流程，以制定和维护风险、收益、风险和收益的带注释的框架/清单。与快速发展的数字技术相关的威胁和机遇，包括但不限于人工智能。 该清单的目的是向所有利益相关者（包括政府、贸易谈判代表、监管机构、民间社会和行业）通报未来可能出现的情况，并框架他们如何考虑机会、收益、风险和其他问题。 

产出不会充当评估机构，而是作为一个适应性和不断发展的分析框架，可以支持包括政府和多边体系在内的利益攸关方可能制定的任何评估和监管流程。 理想情况下，任何分析框架的制定都应独立于政府和行业的主张，因为它们的利益是可以理解的。 它的视角也必须最大限度地多元化，从而涵盖技术及其影响的所有方面。 

本讨论文件提供了初步框架的轮廓，为正在进行的与人工智能相关的多个全球和国家讨论提供信息。 

具有人工智能复杂性和影响力的技术的迅速出现正在推动许多声称具有巨大好处的说法。 然而，它也引发了对从个人到地缘战略层面的重大风险的担忧。 许多讨论往往发生在观点范围的极端，因此需要采取更务实的方法。 人工智能技术将继续发展，历史表明，几乎每项技术都有有益和有害的用途。 因此，问题是：我们如何才能从这项技术中获得有益的结果，同时降低有害后果的风险，其中一些后果可能是严重的？ 

未来总是不确定的，但关于人工智能和生成式人工智能，有足够的可信和专家的声音来鼓励采取相对预防性的方法。 此外，还需要一种系统方法，因为人工智能是一类被多种类型的用户广泛使用和应用的技术。 这意味着在考虑人工智能对个人、社会生活、公民生活、社会生活以及全球背景的影响时，必须考虑到整个背景。 

与大多数过去的技术不同，数字及相关技术从开发到发布的时间很短，很大程度上是由制作公司或机构的利益驱动的。 人工智能正在迅速普及； 有些特性可能只有在发布后才会显现出来，并且该技术可能具有恶意和善意的应用。 重要的价值维度将影响任何使用的感知方式。 此外，可能还有地缘战略利益在起作用。 

迄今为止，虚拟技术的监管很大程度上是从“原则”和自愿合规的角度来看待的。 然而，最近，讨论转向了国家和多边治理问题，包括监管和其他政策工具的使用。 支持或反对人工智能的主张往往是夸张的，而且鉴于该技术的性质，很难评估。 建立有效的全球或国家技术监管体系将具有挑战性，从发明者到生产者，到用户，到政府和多边体系，整个链条上需要多层风险知情决策。 

尽管教科文组织、经合组织和欧盟委员会等已颁布了高层原则，并且就潜在监管问题正在进行各种高层讨论，但这些原则与治理或监管框架之间存在巨大的本体论差距。 监管机构可能需要考虑的因素分类是什么？ 考虑到这些技术的广泛影响，狭隘的框架是不明智的。 这种潜力一直是许多正面和负面评论的主题。

ISC 是整合自然科学和社会科学的主要全球非政府组织。 其全球和学科影响力意味着它有能力提供独立且全球相关的建议，为未来的复杂选择提供信息，特别是因为当前这一领域的声音主要来自行业或主要技术强国。 经过近几个月的广泛讨论，包括考虑非政府评估流程，ISC 得出的结论是，其最有用的贡献将是产生和维护一个适应性分析框架，该框架可用作各方讨论和决策的基础。所有利益相关者，包括在出现的任何正式评估过程中。 

该框架将采取政府和非政府机构均可使用的总体清单的形式。 该框架通过涵盖人类和社会福祉以及经济、政治、环境和安全等外部因素的广泛视角，识别和探索人工智能及其衍生品等技术的潜力。 根据上下文，清单的某些方面可能比其他方面更相关，但如果考虑所有领域，则更有可能做出更好的决策。 这是清单方法的内在价值。 

拟议的框架源自之前的工作和思考，包括国际政府科学咨询网络 (INGSA) 的数字福祉报告¹ 和经合组织人工智能分类框架² 呈现人工智能的潜在机遇、风险和影响的整体。 鉴于其时间和背景，这些以前的产品在其意图上受到更多限制，因此需要一个总体框架来呈现短期和长期的全方位问题。 

虽然是为了考虑人工智能而开发的，但该分析框架可以应用于任何快速新兴的技术。 这些问题大致分为以下几类，以供进一步审查： 

• 福祉（包括个人或自我的福祉、社会和社会生活以及公民生活） 
• 贸易经济 
• 环境 
• 地缘战略和地缘政治 
• 技术（系统特性、设计和使用） 

上述每个类别的注意事项列表及其各自的机会和后果均包含在内。 有些与人工智能的特定实例或应用相关，而另一些则是通用的，与平台或用途无关。 这里所包含的任何单一考虑因素都不应该被视为优先事项，因此，所有的考虑因素都应该被审查。 

该框架可以但不限于以下方式使用： 

• 通过建立经过验证的考虑因素的通用分类法来弥合原则和评估之间的差距，相关利益攸关方可以将其用作告知和形成进一步思考的基础，包括当局可能制定的任何评估框架。 

• 为影响评估提供信息。 欧盟人工智能法案要求提供人工智能工具或在其流程中采用人工智能的组织进行影响评估，以识别其举措的风险并应用适当的风险管理方法。 这里提出的框架可以用作此的基础。 

• 加强指导和管理人工智能使用所需的道德原则。 该框架可以通过提供灵活的基础来实现这一点，在此基础上可以开发值得信赖的系统，并确保合法、道德、稳健和负责任地使用该技术。 这些原则可以根据该框架中提出的全方位影响进行测试。 
• 促进对现有措施（即监管、立法、政策）的盘点，并找出需要进一步考虑的差距。 

• 该框架与技术及其使用无关。 因此，它可以用于合成生物学等截然不同的领域。 

下表是分析框架维度的早期塑造。 根据技术及其用途，某些组件将比其他组件更相关。 提供的示例是为了说明为什么每个域可能都很重要； 在具体情况下，该框架需要根据具体情况进行扩展。 区分平台开发和特定应用程序中可能出现的一般问题也很重要。  

评估新技术时可能需要考虑的维度初稿
影响的维度	标准	如何在分析中反映这一点的示例
个人/自我	用户的AI能力	与系统交互的可能用户的能力和对系统属性的了解程度如何？ 如何向他们提供相关的用户信息和注意事项？
	受影响的利益相关者	谁是受该系统影响的主要利益相关者（即个人、社区、弱势群体、部门工人、儿童、政策制定者、专业人员）？
	可选性	用户是否可以选择退出系统； 他们是否应该有机会挑战或纠正输出？
	人权和民主价值观面临的风险	该制度是否会（以及向什么方向）影响人权，包括但不限于隐私、言论自由、公平、歧视风险等？
	对人们福祉的潜在影响	该系统是否会（以及在什么方向上）影响个人用户的福祉（即工作质量、教育、社交互动、心理健康、身份、环境）？
	人类劳动力流失的可能性	系统是否有可能自动执行人类执行的任务或功能？ 如果是这样，下游的后果是什么？
	身份、价值观或知识操纵的潜力	该系统是否旨在或可能能够操纵用户的身份或价值观，或传播虚假信息？ 是否存在虚假或无法证实的专业知识主张？
	自我价值衡量标准	塑造理想化的自我是否有压力？ 自动化能否取代个人成就感？ 职场上是否有与体制竞争的压力？ 个人声誉是否变得更难以防范虚假信息？
	隐私政策	保护隐私的责任是否分散？是否对个人数据的使用方式做出任何假设？
	自治	该系统是否会导致最终用户对技术的过度依赖，从而影响人类的自主权？
	人类发展	是否会对人类发展关键技能的获得产生影响，例如执行功能、人际交往能力、影响学习的注意力时间变化、个性发展、心理健康问题等？
	个人保健	是否有个性化医疗保健解决方案的声称？ 如果是，它们是否符合监管标准？
	心理健康	是否存在增加焦虑、孤独或其他心理健康问题的风险，或者该技术可以减轻此类影响吗？
	人类进化	该技术能否改变人类进化？
影响的维度	标准	产品描述
社会/社会生活	社会价值观	该制度是否从根本上改变了社会的本质，或者使以前被认为是反社会的思想得以正常化，或者它是否违反了其所应用的文化的社会价值观？
	社交联系	是否会对有意义的人际交往（包括情感关系）产生影响？
	公平	应用/技术是否可能减少或加剧不平等（即经济、社会、教育、地理）？
	人口健康	该系统是否有可能促进或破坏人口健康意图？
	文化表达	文化挪用或歧视的增加是否可能或更难以解决？ 对决策系统的依赖是否可能会排斥或边缘化社会阶层？
	公共教育	对教师角色或教育机构有影响吗？ 该系统是否强调或减少了学生之间的不平等和数字鸿沟？ 知识或批判性理解的内在价值是被提升还是被削弱？
	扭曲的现实	我们用来辨别真伪的方法还适用吗？ 对现实的感知是否受到损害？
经济背景（贸易）	工业部门	该系统部署在哪个工业部门（即金融、农业、医疗保健、教育、国防）？
	商业模式	该系统用于哪些业务功能以及以什么身份使用？ 该系统在哪里使用（私人、公共、非营利）？
	对关键活动的影响	系统功能或活动的中断是否会影响基本服务或关键基础设施？
	部署的气息	系统是如何部署的（狭隘地在组织内部署还是在国内/国际上广泛部署）？
	技术成熟度（TRL）	该系统技术成熟度如何？
	技术主权	技术是否会推动技术主权更加集中？
	收入再分配和国家财政杠杆	主权国家（即储备银行）的核心作用是否会受到损害？ 国家满足公民期望和影响（即社会、经济、政治）的能力会提高还是降低？
影响的维度	标准	产品描述
公民生活	治理和公共服务	治理机制和全球治理体系会受到积极还是消极影响？
	新闻媒体	公共话语是否可能会或多或少变得两极分化并在人口层面上根深蒂固？ 会对媒体的信任程度产生影响吗？ 传统的新闻道德和诚信标准是否会受到进一步影响？
	法律规则	是否会影响识别个人或组织承担责任的能力（即，针对不良结果分配给算法什么样的责任）？ 这是否会造成主权（即环境、财政、社会政策、道德）的丧失？
	政治和社会凝聚力	是否有可能出现更加根深蒂固的政治观点和更少的建立共识的机会？ 是否有可能进一步边缘化群体？ 对抗性政治风格的可能性会增加还是减少？
地缘战略/地缘政治背景	精准监控	这些系统是否接受过个人行为和生物数据的训练？如果是，它们是否可以用来剥削个人或群体？
	数字殖民	国家或非国家行为者是否能够利用系统和数据来了解和控制其他国家的人口和生态系统，或破坏司法控制？
	地缘政治竞争	该系统是否会影响国家和技术平台之间为经济或战略目的获取个人和集体数据的竞争？
	贸易和贸易协定	该体系对国际贸易协定有影响吗？
	全球权力的转移	民族国家作为世界主要地缘政治参与者的地位是否受到威胁？ 科技公司是否会行使曾经为民族国家保留的权力，并且它们是否会成为独立的主权参与者？
	造谣	国家和非国家行为者是否更容易制作和传播影响社会凝聚力、信任和民主的虚假信息？
环境	能源和资源消耗（碳足迹）	系统和要求是否增加了能源和资源消耗的消耗，超过了通过应用程序获得的效率增益？
影响的维度	标准	产品描述
数据和输入	检测与采集	数据和输入是由人类、自动传感器还是两者收集的？
	数据来源	至于数据是提供的、观察到的、合成的还是派生的？ 是否有水印保护来确认出处？
	数据的动态性质	数据是动态的、静态的、不时更新的还是实时更新的？
	权利	数据是专有的、公共的还是个人的（即与可识别的个人相关）？
	个人数据的可识别性	如果是个人数据，它们是否是匿名或假名的？
	数据结构	数据是结构化、半结构化、复杂结构化还是非结构化？
	数据格式	数据和元数据的格式是标准化的还是非标准化的？
	数据规模	数据集的规模是多少？
	数据的适当性和质量	数据集是否适合目的？ 样本量是否足够？ 是否足够具有代表性和完整性？ 数据的噪音有多大？ 是否容易出错？
型号	信息可用性	是否有有关系统型号的信息？
	AI模型类型	该模型是象征性的（人类生成的规则）、统计性的（使用数据）还是混合的？
	与模型相关的权利	该模型是开源的、还是专有的、自我管理的还是第三方管理的？
	单个或多个模型	系统是由一个模型还是由多个相互关联的模型组成？
	生成性或歧视性	该模型是生成型、判别型还是两者兼而有之？
	建筑模型	系统是根据人类编写的规则、数据、监督学习还是强化学习进行学习？
	模型演化（AI 漂移）	模型是否通过与现场数据交互而进化和/或获得能力？
	联邦或中央学习	模型是集中训练还是在多个本地服务器或“边缘”设备中训练？
	开发与维护	该模型是通用的、可定制的还是根据人工智能参与者的数据量身定制的？
	确定性或概率性	该模型是以确定性方式还是概率性方式使用的？
	模型透明度	用户是否可以使用信息来了解模型输出和限制或使用约束？
	计算限制	系统有计算限制吗？ 我们可以预测能力跳跃或缩放定律吗？
影响的维度	标准	产品描述
任务和输出	系统执行的任务	系统执行哪些任务（即识别、事件检测、预测）？
	结合任务和行动	该系统是否结合了多项任务和操作（即内容生成系统、自主系统、控制系统）？
	系统的自治程度	系统行为的自主性如何？人类扮演什么角色？
	人类参与程度	是否有人参与监督人工智能系统的整体活动，以及在任何情况下决定何时以及如何使用该系统的能力？
	核心应用	该系统是否属于核心应用领域，例如人类语言技术、计算机视觉、自动化和/或优化或机器人技术？
	评价	是否有标准或方法可用于评估系统输出或处理不可预见的紧急属性？

关键 描述符的来源

纯文本：
格鲁克曼，P. 和艾伦，K. 2018。 了解快速数字化和相关转型背景下的福祉。 英格萨。 https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf 

粗体：
经合组织。 2022 年。 经合组织人工智能系统分类框架。 经合组织数字经济论文，第 323 期，经合组织出版社，巴黎。 https://oecd.ai/en/classification 

斜体文字:
新描述符（来自多个来源） 

根据对本讨论文件的回应，ISC 将成立一个专家工作组，以进一步制定或修订上述分析框架，利益相关者可以通过该框架全面审视平台或使用维度的任何重大发展。 该工作组将在学科、地域和人口方面具有多样性，其专业知识涵盖从技术评估到公共政策、从人类发展到社会学以及未来和技术研究。 

要参与此讨论文件，请访问 Council.science/publications/framework-digital-technologies 

这篇论文的起草过程中咨询了很多人，该论文由 ISC 主席 Peter Gluckman 爵士和前国防部首席科学家、现任新西兰奥克兰大学高级研究员 Hema Sridhar 起草。 

我们特别感谢英国皇家学会前主席、剑桥大学生存风险研究中心联合创始人马丁·里斯勋爵； Shivaji Sondhi 教授，牛津大学物理学教授； K Vijay Raghavan 教授，印度政府前首席科学顾问； 联合国秘书长技术特使阿曼迪普·辛格·吉尔（Amandeep Singh Gill）； Seán Óh Éigeartaigh 博士，剑桥大学生存风险研究中心执行主任； 英国皇家学会高级政策顾问 Amanda-June Brawner 和国际事务主任 Ian Wiggins； Jerome Duberry 博士、Marie-Laure Salles 博士，日内瓦研究生院院长； Chor Pharn Lee 先生，新加坡总理办公室战略未来中心； Barend Mons 和 Simon Hodson 博士，数据委员会 (CoDATA)； Yuko Harayama 教授，日本； Rémi Quirion 教授，INGSA 主席； 克莱尔·克雷格 (Claire Craig) 博士，牛津大学、政府科学办公室前瞻主管； 以及联合国秘书长科学顾问委员会和蒙特利尔大学的 Yoshua Bengio 教授。 清单方法得到了普遍认可，并强调了 ISC 任何行动的及时性。