政策制定者指南：评估快速发展的技术，包括人工智能、大型语言模型等

快速新兴的技术在使用、治理和潜在监管方面提出了具有挑战性的问题。关于人工智能（AI）及其使用的持续政策和公众辩论使这些问题成为人们关注的焦点。联合国教科文组织、经济合作与发展组织、联合国和其他机构已经宣布了人工智能的广泛原则，包括英国的《布莱切利宣言》，并且正在出现通过欧盟（EU）人工智能等方式对该技术的各个方面进行监管的司法尝试。法案或最近的美国人工智能行政命令。

尽管在这些论坛和其他论坛上，跨越地缘政治分歧和所有收入水平的国家，对人工智能的使用进行了详细讨论，但高层原则的制定与通过监管、政策、治理将其纳入实践之间仍然存在本体论差距。或管理方法。从原则到实践的路径尚不明确，但考虑到人工智能开发和应用的性质和节奏、涉及的兴趣的多样性以及可能应用的范围，任何方法都不能过于通用或规定性。

由于这些原因，非政府科学界继续发挥着特殊的作用。国际科学理事会 (ISC) 拥有来自社会和自然科学领域的多元化成员，于 2023 年 XNUMX 月发布了一份讨论文件，提出了一个初步分析框架，该框架考虑了与快速发展的数字技术相关的风险、收益、威胁和机遇。虽然它是为了考虑人工智能而开发的，但它本质上与技术无关，可以应用于一系列新兴和颠覆性技术，例如合成生物学和量子技术。该讨论文件邀请了学者和政策制定者的反馈。压倒性的反馈使得进行这样的分析是必要的，并且是解决人工智能等新兴技术的一种有价值的方法。

该框架的目的是提供一个工具，让所有利益相关者（包括政府、贸易谈判代表、监管机构、民间社会和行业）了解这些技术的演变，帮助他们考虑如何考虑这些技术的积极或消极影响。技术本身，更具体地说是其特定的应用。该分析框架的开发独立于政府和行业利益。它的观点是最大限度的多元化，涵盖了技术的所有方面及其基于广泛咨询和反馈的影响。

这份供政策制定者使用的讨论文件并非旨在禁止监管制度，而是提出一个适应性和不断发展的分析框架，该框架可以支撑包括政府和多边体系在内的利益相关者可能制定的任何评估和监管流程。

随着全球和国家决策者考虑适当的政策设置和杠杆来平衡人工智能等新技术的风险和回报，分析框架旨在作为补充工具，以确保充分反映全套潜在影响。

具有人工智能复杂性和影响力的技术的迅速出现正在推动许多具有巨大好处的说法。然而，它也引发了对从个人到地缘战略层面的重大风险的担忧。¹ 迄今为止的大部分讨论都是从二元意义上考虑的，因为公开表达的观点往往发生在光谱的极端。支持或反对人工智能的主张往往是夸张的，而且鉴于该技术的性质，很难评估。

需要采取更加务实的方法，用经过校准和更细化的评估来取代夸张。人工智能技术将继续发展，历史表明，几乎每项技术都有有益和有害的用途。因此，问题是：我们如何才能从这项技术中获得有益成果，同时降低产生有害后果的风险，其中一些后果可能是生死攸关的？

未来总是不确定的，但关于人工智能和生成人工智能有足够的可信和专家的声音来鼓励采取相对预防性的方法。此外，由于人工智能是一类被多种类型的用户广泛使用和应用的技术，因此系统方法是必要的。这意味着在考虑人工智能的使用对个人、社会生活、公民生活和全球背景的影响时，必须考虑整个背景。

与大多数其他技术不同，对于数字及相关技术来说，开发、发布和应用之间的时间极短，很大程度上是由制作公司或机构的利益驱动的。就其本质而言——并且鉴于它基于数字主干——人工智能的应用将迅速普及，正如大型语言模型的发展所看到的那样。因此，某些特性可能只有在释放后才会显现出来，这意味着存在出现不可预见后果的风险，无论是恶意的还是仁慈的。

重要的社会价值观维度，特别是在不同地区和文化之间，将影响任何使用的感知和接受方式。此外，地缘战略利益已成为主导讨论，主权利益与多边利益不断交叉，引发竞争与分裂。

迄今为止，虚拟技术的大部分监管在很大程度上都是通过“原则”和自愿合规的视角来看待的，尽管欧盟人工智能法案² 类似地，我们看到了向更具可执行性但有些狭窄的法规的转变。建立有效的全球或国家技术治理和/或监管体系仍然具有挑战性，并且没有明显的解决方案。从发明者到生产者，到用户，到政府和多边体系，整个链条都需要多层的风险知情决策。

尽管教科文组织、经合组织、欧盟委员会和联合国等都颁布了高层原则，并且就潜在的治理、监管、道德和安全问题进行了各种高层讨论，但这些原则之间仍存在很大差距。原则和治理或监管框架。这需要解决。

作为起点，ISC 考虑制定一种考虑因素分类法，供任何开发商、监管机构、政策顾问、消费者或决策者参考。考虑到这些技术的广泛影响，这种分类必须考虑影响的整体性，而不是狭隘的框架。由于地缘战略利益对决策的影响，全球碎片化正在加剧，鉴于这项技术的紧迫性，独立和中立的声音必须坚持不懈地倡导统一和包容的方法。

---

1）印度斯坦时报。 2023年。G20必须成立国际技术变革小组。
https://www.hindustantimes.com/opinion/g20-must-set-up-an-international-panel-on-technological-change-101679237287848.html
2) 欧盟人工智能法案。 2023. https://artificialintelligenceact.eu

ISC是主要的融合自然科学和社会科学的全球非政府组织。其全球和学科影响力意味着它有能力提出独立且全球相关的建议，为未来的复杂选择提供信息，特别是因为当前这一领域的声音主要来自行业或主要技术大国的政策和政治界。

经过一段时间的广泛讨论（其中包括考虑非政府评估流程），ISC 得出结论认为，其最有用的贡献将是产生一个适应性分析框架，可以作为所有人讨论和决策的基础。利益相关者，包括在出现的任何正式评估过程中。

初步分析框架于 2023 年 XNUMX 月发布供讨论和反馈，采用了供政府和非政府机构使用的总体清单的形式。该框架通过涵盖人类和社会福祉以及经济、政治、环境和安全等外部因素的广泛视角，确定并探索了人工智能及其衍生品等技术的潜力。根据具体情况，清单的某些方面可能比其他方面更相关，但如果考虑到所有领域，似乎更有可能做出更好的决策，即使某些领域在特定情况下可以快速识别为不相关。这是清单方法的内在价值。

初步框架源自之前的工作和思考，包括国际政府科学咨询网络 (INGSA) 关于数字福祉的报告3和经合组织人工智能系统分类框架4，以呈现潜在机遇、风险和影响的总体情况人工智能。考虑到它们的时间和背景，这些以前的产品在其意图上受到更多限制；需要有一个涵盖短期和长期问题的总体框架。

自发布以来，该讨论文件得到了许多专家和政策制定者的大力支持。许多人特别赞同开发一个适应性框架的建议，该框架允许对技术的风险和影响进行深思熟虑和主动考虑，并在此过程中始终考虑从个人到社会和系统的整体维度。

通过反馈得出的一个关键观察结果是，我们承认框架中考虑的一些影响本质上是多方面的，并且跨越多个类别。例如，可以从个人和地缘战略角度考虑虚假信息；因此，其后果将是广泛的。

还建议选择包括案例研究或范例来测试框架。这可以用来制定指导方针，以展示如何在不同的情况下在实践中使用它。然而，这将是一项重大任务，并且可能会限制不同群体对该框架的使用的看法。最好由政策制定者与特定司法管辖区或背景的专家合作来完成。

自 2023 年 XNUMX 月以来，出现了几项重要的国家和多边举措，进一步考虑人工智能的道德和安全。人工智能对我们一些关键系统的完整性的影响，包括金融、政府、法律和教育，以及不同的知识系统（包括科学和本土知识），越来越受到人们的关注。修订后的框架进一步反映了这些方面。

迄今为止收到的反馈反映在分析框架的修订版中，该框架现已作为决策者指南发布。

虽然该框架是在人工智能和相关技术的背景下提出的，但它可以立即转移到量子和合成生物学等其他快速新兴技术的考虑中。

---

3) Gluckman, P. 和 Allen, K. 2018。了解快速数字化和相关转型背景下的福祉。英格萨。
https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf
4）经合组织。 2022 年。经合组织人工智能系统分类框架。经合组织数字经济论文，第 323 号，#。巴黎，经合组织出版。
https://oecd.ai/en/classificatio

下表列出了假定的分析框架的维度。提供示例来说明为什么每个域可能都很重要；在具体情况下，该框架需要根据具体情况进行扩展。区分平台开发期间出现的一般问题和特定应用程序期间可能出现的问题也很重要。这里所包含的任何单一考虑因素都不应该被视为优先事项，因此，所有的考虑因素都应该被审查。

这些问题大致分为以下几类，概述如下：

• 福祉（包括个人或自我、社会、社会生活和公民生活的福祉）
• 贸易经济
• 环境
• 地缘战略和地缘政治
• 技术（系统特性、设计和使用）

该表详细介绍了评估新技术时可能需要考虑的维度。

🔴英萨。 2018。了解快速数字化和相关转型背景下的福祉。
https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf

🟢新的描述符（通过广泛的咨询、反馈和文献综述获得）

🟡 经合组织人工智能系统分类框架：有效人工智能政策的工具。
https://oecd.ai/en/classification

影响维度：个人/自我

标准	如何在分析中反映这一点的示例
🟡用户的AI能力	与系统交互的可能用户的能力和对系统属性的了解程度如何？ 如何向他们提供相关的用户信息和注意事项？
🟡 受影响的利益相关者	谁是受该系统影响的主要利益相关者（个人、社区、弱势群体、部门工人、儿童、政策制定者、专业人员等）？
🟡 选择性	用户是否有机会选择退出系统，或者是否有机会质疑或纠正输出？
🟡对人权和民主价值观的风险	该制度是否从根本上影响人权，包括但不限于隐私、言论自由、公平、非歧视等？
🟡对人们福祉的潜在影响	系统影响领域是否与个人用户的福祉相关（工作质量、教育、社交互动、心理健康、身份、环境等）？
🟡 人类劳动力流失的可能性	系统是否有可能自动执行人类执行的任务或功能？ 如果是这样，下游的后果是什么？
🟡 身份、价值观或知识操纵的潜力	系统是否被设计或可能能够操纵用户的身份或 设定价值观，还是传播虚假信息？
🔴自我表达和自我实现的机会	是否存在诡计和自我怀疑的可能性？是否有可能出现虚假或 无法证实的专业知识主张？
🔴自我价值衡量标准	塑造理想化的自我是否有压力？自动化能否取代感知 个人成就感？是否有与系统竞争的压力 工作场所？保护个人声誉免受虚假信息侵害是否更困难？
🔴隐私	保护隐私的责任是否分散？ 对如何使用个人数据做出假设？
🔴自治	人工智能系统是否会通过产生过度依赖来影响人类自主性 终端用户？
🔴人类发展	是否会对人类发展关键技能的获取产生影响，例如 执行功能或人际交往能力，或注意力时间的变化影响 学习、个性发展、心理健康问题等？
🔴个人健康护理	是否有自我诊断或个性化医疗保健解决方案的声称？如果是这样， 它们是否符合监管标准？
🔴心理健康	是否有增加焦虑、孤独或其他心理健康问题的风险，或者 该技术可以改善这种影响吗？
🟢 人类进化	大型语言模型和通用人工智能能否改变 人类进化的过程？
🟢 人机交互	随着时间的推移，这种使用是否会导致个人技能下降和依赖？是 对人际交往有影响吗？

影响维度：社会/社会生活

标准	如何在分析中反映这一点的示例
🔴社会价值观	该制度是否从根本上改变了社会的本质，使以前被认为是反社会的思想正常化，或者违反了其所应用的文化的社会价值观？
🔴社交互动	是否会对有意义的人际交往（包括情感关系）产生影响？
🔴人口健康	该系统是否有可能促进或破坏人口健康意图？
🔴文化表达	文化挪用或歧视的增加是否可能或更难以解决？对决策系统的依赖是否会排除或边缘化社会中与文化相关的部门联系？
🔴公共教育	对教师角色或教育机构有影响吗？该系统是否强调或减少了学生之间的数字鸿沟和不平等？知识或批判性理解的内在价值是被提升还是被削弱？
🟢 扭曲的现实	用来辨别真伪的方法还适用吗？对现实的感知是否受到损害？

影响维度：经济背景（贸易）

标准	如何在分析中反映这一点的示例
🟡工业领域	该系统部署在哪个工业部门（金融、农业、医疗保健、教育、国防等）？
🟡商业模式	该系统用于哪些业务功能以及以什么身份使用？该系统在哪里使用（私人、公共、非营利）？
🟡 对关键活动的影响	系统功能或活动的中断是否会影响基本服务或关键基础设施？
🟡部署广度	系统是如何部署的（单位内部的狭窄使用与国内/国际的广泛使用）？
🟡技术成熟度	该系统技术成熟度如何？
🟢 互操作性	国内或全球范围内是否可能存在阻碍自由贸易并影响与合作伙伴合作的孤岛？
🟢 技术主权	对技术主权的渴望是否会驱动行为，包括对整个人工智能供应链的控制？
🔴收入再分配和国家财政杠杆	主权国家的核心作用（例如储备银行）是否会受到损害？国家满足公民期望和影响（社会、经济、政治等）的能力会提高还是降低？
🟢 数字鸿沟（人工智能鸿沟）	现有的数字不平等是否会加剧，还是会产生新的不平等？

影响维度：公民生活

标准	如何在分析中反映这一点的示例
🔴治理和公共服务	治理机制和全球治理体系会受到积极还是消极影响？
🔴新闻媒体	公共话语是否可能会变得两极分化并在人口层面上根深蒂固？会对第四阶层的信任水平产生影响吗？传统的记者道德和诚信标准是否会受到进一步影响？
🔴法治	是否会影响识别个人或组织的责任（例如，针对不良结果分配给算法什么样的责任）？是否会造成主权丧失（环境、财政、社会政策、道德等）？
🔴政治和社会凝聚力	是否有可能出现更加根深蒂固的政治观点和更少的建立共识的机会？ 是否有可能进一步边缘化群体？ 对抗性政治风格的可能性会增加还是减少？
🟢 社会许可	利益相关者接受使用是否需要考虑隐私问题、信任问题和道德问题？
🟢本土知识	土著知识和数据是否会被破坏或盗用？是否有足够的措施来防止虚假陈述、错误信息和剥削？
🟢科学体系	学术和研究诚信是否受到损害？人们对科学失去信任了吗？是否存在误用、过度使用或滥用的可能性？科学实践的结果是什么？

影响维度：地缘战略/地缘政治背景

标准	如何在分析中反映这一点的示例
🟢 精准监控	这些系统是否接受过个人行为和生物数据的训练？它们是否可以用来剥削个人或群体？
🟢 数字竞赛	国家或非国家行为者（例如大型科技公司）能否利用系统和数据来了解和控制其他国家的人口和生态系统，或破坏司法控制？
🟢 地缘政治竞争	该系统是否会激起国家之间利用个人和团体数据来实现经济、医疗和安全利益的竞争？
🟢 全球权力转移	民族国家作为世界主要地缘政治参与者的地位是否受到威胁？科技公司是否掌握了曾经为民族国家保留的权力，并成为独立的主权参与者（新兴的技术极世界秩序）？
🟢 虚假信息	该系统是否会促进国家和非国家行为者制作和传播虚假信息，从而影响社会凝聚力、信任和民主？
🟢 两用应用程序	是否有可能同时用于军事用途和民用？
🟢 全球秩序碎片化	监管和合规的孤岛或集群是否会阻碍合作、导致应用不一致并产生冲突？

影响维度：环境

标准	如何在分析中反映这一点的示例
🟢 能源和资源消耗（碳足迹）	系统和要求是否增加了能源和资源消耗的消耗，超过了通过应用程序获得的效率增益？
🟢能源	系统的能源来自哪里（可再生能源与化石燃料等）？

影响维度：数据和输入

标准	如何在分析中反映这一点的示例
🟡 方向与收集	数据和输入是由人类、自动传感器还是两者收集的？
🟡数据来源	专家的数据和输入是提供的、观察到的、合成的还是派生的？是否有水印保护来确认出处？
🟡 数据的动态性质	数据是动态的、静态的、时时动态更新的还是实时的？
🟡 权利	这些数据是专有的、公开的还是个人的（与可识别的个人相关）？
🟡 身份和个人数据	如果是个人数据，数据是否经过匿名或假名处理？
🟡 数据结构	数据是结构化、半结构化、复杂结构化还是非结构化？
🟡 数据格式	数据和元数据的格式是标准化的还是非标准化的？
🟡 数据规模	数据集的规模是多少？
🟡 数据的适当性和质量	数据集是否适合目的？样本量是否足够？是否足够具有代表性和完整性？数据的噪音有多大？是否容易出错？

影响维度：模型

标准	如何在分析中反映这一点的示例
🟡 信息可用性	有关于系统型号的信息吗？
🟡AI模型类型	该模型是象征性的（人类生成的规则）、统计性的（使用数据）还是混合的？
🟡 与模型相关的权利	该模型是开源的还是专有的、自我管理的还是第三方管理的？
🟡 多个型号中的单个	系统是由一个模型还是由多个相互关联的模型组成？
🟡 生成性或歧视性	该模型是生成型、判别型还是两者兼而有之？
🟡 模型搭建	系统是根据人类编写的规则、数据、监督学习还是强化学习进行学习？
🟡 模型进化（AI 漂移）	模型是否通过与现场数据交互而进化和/或获得能力？
🟡 联邦或中央学习	模型是集中训练还是在多个本地服务器或“边缘”设备中训练？
🟡 开发/维护	该模型是通用的、可定制的还是根据人工智能参与者的数据量身定制的？
🟡 确定性或概率性	该模型是以确定性方式还是概率性方式使用的？
🟡 模型透明度	用户是否可以使用信息来了解模型输出和限制或使用约束？
🟢 计算限制	系统有计算限制吗？是否可以预测能力跳跃或缩放规律？

影响维度：任务和产出

标准	如何在分析中反映这一点的示例
🟡 系统执行的任务	系统执行哪些任务（识别、事件检测、预测等）？
🟡 结合任务和行动	该系统是否结合了多个任务和操作（内容生成系统、自主系统、控制系统等）？
🟡 系统的自治程度	系统行为的自主性如何？人类扮演什么角色？
🟡 人类参与程度	是否有人参与监督人工智能系统的整体活动，以及在任何情况下决定何时以及如何使用人工智能系统的能力？
🟡 核心应用程序	该系统是否属于核心应用领域，例如人类语言技术、计算机视觉、自动化和/或优化或机器人技术？
🟡评价	是否有可用于评估系统输出的标准或方法？

该框架可以通过多种方式使用，包括：

• 弥合高层原则与监管或治理目的评估之间的差距。该框架可以通过建立经过验证的一系列问题的通用分类法来支持这一点，这些问题值得相关利益相关者考虑，作为告知和形成进一步思考的基础。例如，在国家层面，政府可以将该框架用作制定国家人工智能战略和政策的工具，以建立跨利益相关者群体的风险和机遇的共同基础。
• 为影响评估提供信息。 欧盟人工智能法案要求提供人工智能工具或在其流程中采用人工智能的组织进行影响评估，以识别其举措的风险并应用适当的风险管理方法。 这里提出的框架可以用作此的基础。
• 为风险和未来情景的水平扫描提供信息。联合国人工智能咨询机构中期报告6中的风险分类与此处框架中提出的框架大体一致。该框架有机会用于建立共识、测试新兴风险的严重性以及预防这些风险。
• 加强指导和管理人工智能使用所需的道德原则。 该框架可以通过提供灵活的基础来实现这一点，在此基础上可以开发值得信赖的系统，并确保合法、道德、稳健和负责任地使用该技术。 这些原则可以根据该框架中提出的全方位影响进行测试。
• 促进对现有和不断发展的措施（监管、立法、政策、标准、治理等）进行盘点，并找出需要进一步考虑的差距。这些可以根据国家或跨国层面的框架类别进行映射，以确定差距并确定适当的措施来减轻风险。
• 支持政府使用人工智能。随着许多政府确定各自在机构和系统内使用人工智能的策略，该框架可用于定义适当的风险阈值并确定关键利益相关者和责任。
• 支持公众讨论并就如何使用人工智能以及将在政府服务或更广泛的社会中使用的基础数据建立社会许可。

前进的道路
总之，分析框架是作为工具包的基础提供的，利益相关者可以使用该工具包以一致和系统的方式全面审视平台或使用的任何重大发展。该框架中提出的维度涉及从技术评估到公共政策、从人类发展到社会学、以及未来和技术研究。虽然该分析框架是为人工智能开发的，但它对任何其他新兴技术都有更广泛的应用。

6 联合国人工智能咨询委员会。 2023 年。中期报告：为人类治理人工智能。 https://www.un.org/sites/un2.un.org/files/ai_advisory_body_interim_report.pd

在最初的讨论文件的制定和发布后的反馈过程中，我们咨询了许多人并提供了反馈。这两篇论文均由 ISC 主席 Peter Gluckman 爵士和新西兰国防部前首席科学顾问、现任新西兰奥克兰大学高级研究员 Hema Sridhar 起草。

特别是英国皇家学会前主席、剑桥大学存在风险研究中心联合创始人 ISC Lord Martin Rees； Shivaji Sondhi 教授，牛津大学物理学教授； K Vijay Raghavan 教授，印度政府前首席科学顾问；联合国秘书长技术特使阿曼迪普·辛格·吉尔（Amandeep Singh Gill）； Seán Ó hÉigeartaigh，剑桥大学生存风险研究中心执行主任； David Spiegelhalter 爵士，温顿大学公共风险理解教授
剑桥大学；英国皇家学会高级政策顾问 Amanda-June Brawner 和国际事务主任 Ian Wiggins；日内瓦研究生院董事总经理 Jerome Duberry 博士和主任 Marie-Laure Salles 博士； Chor Pharn Lee，新加坡总理办公室战略未来中心； Barend Mons 和 Simon Hodson 博士，数据委员会 (CoDATA)；原山裕子教授，日本理化学研究所前执行董事；教授
Rémi Quirion，INGSA 总裁；克莱尔·克雷格 (Claire Craig) 博士，牛津大学、政府科学办公室前瞻主管； Yoshua Bengio 教授，联合国秘书长科学顾问委员会和蒙特利尔大学；以及许多其他人就最初的讨论文件向 ISC 提供了反馈。