Структура для оценки быстро развивающихся цифровых и связанных с ними технологий: ИИ, большие языковые модели и многое другое.

• Введение 
• проверка данных  
• Разработка аналитической основы 
• Использование аналитической структуры 
• Размеры, которые следует учитывать при оценке новой технологии 
• Путь вперед 
• Благодарности

Быстро развивающиеся технологии создают сложные проблемы, когда речь идет об их управлении и потенциальном регулировании. Политика и общественные дебаты по поводу искусственного интеллекта (ИИ) и его использования поставили эти вопросы в центр внимания. Несмотря на то, что широкие принципы ИИ были провозглашены ЮНЕСКО, ОЭСР и другими организациями, а также зарождаются дискуссии относительно глобального или юрисдикционного регулирования технологии, существует онтологический разрыв между разработкой принципов высокого уровня и их включением в нормативную, политику, подходы к управлению и управлению. Именно здесь неправительственное научное сообщество могло бы сыграть особую роль. 

Ряд ученых и политических экспертов предложили, чтобы Международный научный совет (ISC) – с его плюралистическим составом представителей социальных и естественных наук – установил процесс создания и поддержания аннотированной структуры/контрольного списка рисков, выгод, угрозы и возможности, связанные с быстро развивающимися цифровыми технологиями, включая, помимо прочего, искусственный интеллект. Целью контрольного списка будет информирование всех заинтересованных сторон – включая правительства, участников торговых переговоров, регулирующие органы, гражданское общество и промышленность – о потенциальных сценариях будущего, а также определение того, как они могут рассматривать возможности, выгоды, риски и другие вопросы. 

Результаты будут действовать не как орган оценки, а как адаптивная и развивающаяся аналитическая структура, которая может лежать в основе любых процессов оценки и регулирования, которые могут быть разработаны заинтересованными сторонами, включая правительства и многостороннюю систему. Любая аналитическая основа в идеале должна разрабатываться независимо от заявлений правительства и промышленности, учитывая их понятные интересы. Он также должен быть максимально плюралистическим в своих взглядах, охватывая таким образом все аспекты технологии и ее последствия. 

В этом дискуссионном документе изложена первоначальная основа для информирования многочисленных глобальных и национальных дискуссий, связанных с ИИ. 

Быстрое появление технологии со сложностью и последствиями искусственного интеллекта вызывает множество заявлений об огромных преимуществах. Однако это также провоцирует опасения значительных рисков, от индивидуального до геостратегического уровня. Большая часть дискуссий имеет тенденцию происходить с крайними точками спектра, и необходим более прагматичный подход. Технология искусственного интеллекта будет продолжать развиваться, и история показывает, что практически каждая технология имеет как полезное, так и вредное применение. Поэтому вопрос заключается в следующем: как мы можем добиться полезных результатов от этой технологии, одновременно снижая риск вредных последствий, некоторые из которых могут иметь экзистенциальные масштабы? 

Будущее всегда неопределенно, но существует достаточно авторитетных и экспертных мнений относительно искусственного интеллекта и генеративного искусственного интеллекта, чтобы поощрять относительно осторожный подход. Кроме того, необходим системный подход, поскольку ИИ — это класс технологий, широко используемый и применяемый разными типами пользователей. Это означает, что при рассмотрении последствий ИИ для отдельных людей, социальной жизни, гражданской жизни, общественной жизни и в глобальном контексте необходимо учитывать весь контекст. 

В отличие от большинства прошлых технологий, цифровые и связанные с ними технологии проходят очень короткий период времени от разработки до выпуска, что во многом обусловлено интересами производственных компаний или агентств. ИИ быстро распространяется; некоторые свойства могут стать очевидными только после выпуска, и технология может иметь как злонамеренное, так и доброжелательное применение. Важные аспекты ценностей будут влиять на восприятие любого использования. Более того, здесь могут иметь место геостратегические интересы. 

На сегодняшний день регулирование виртуальных технологий в основном рассматривается через призму «принципов» и добровольного соблюдения. Однако совсем недавно дискуссия перешла к вопросам национального и многостороннего управления, включая использование регулятивных и других инструментов политики. Заявления, выдвигаемые за или против ИИ, часто преувеличены, и, учитывая природу технологии, их трудно оценить. Создание эффективной глобальной или национальной системы регулирования технологий будет сложной задачей, и потребуются многочисленные уровни принятия решений с учетом рисков по всей цепочке: от изобретателя к производителю, пользователю, правительству и многосторонней системе. 

Хотя принципы высокого уровня были провозглашены, среди прочего, ЮНЕСКО, ОЭСР и Европейской комиссией, а также проводятся различные дискуссии на высоком уровне относительно вопросов потенциального регулирования, существует большой онтологический разрыв между такими принципами и структурой управления или регулирования. Какова классификация соображений, которые, возможно, придется принять во внимание регулирующему органу? Узко сфокусированная формулировка была бы неразумной, учитывая широкие последствия этих технологий. Этот потенциал стал предметом множества комментариев, как положительных, так и отрицательных.

ISC является основной глобальной неправительственной организацией, объединяющей естественные и социальные науки. Его глобальный и дисциплинарный охват означает, что он имеет хорошие возможности для выработки независимых и глобально актуальных рекомендаций для информирования о предстоящих сложных решениях, особенно с учетом того, что нынешние голоса на этой арене исходят в основном от промышленности или крупных технологических держав. После обширного обсуждения, проходившего в последние месяцы, включая рассмотрение процесса неправительственной оценки, ISC пришел к выводу, что его наиболее полезным вкладом будет создание и поддержание адаптивной аналитической структуры, которая может использоваться в качестве основы для обсуждения и принятия решений всех заинтересованных сторон, в том числе в ходе любого формального процесса оценки. 

Эта структура будет иметь форму всеобъемлющего контрольного списка, который может использоваться как правительственными, так и неправительственными учреждениями. Рамочная основа определяет и исследует потенциал такой технологии, как ИИ и его производные, через широкую призму, охватывающую благополучие человека и общества, а также внешние факторы, такие как экономика, политика, окружающая среда и безопасность. Некоторые аспекты контрольного списка могут быть более актуальными, чем другие, в зависимости от контекста, но лучшие решения более вероятны, если будут рассмотрены все области. В этом заключается неотъемлемая ценность подхода, основанного на контрольном списке. 

Предлагаемая структура основана на предыдущей работе и размышлениях, включая отчет Международной сети правительственных научных консультаций (INGSA) о цифровом благополучии.¹ и Система классификации искусственного интеллекта ОЭСР.² представить всю совокупность потенциальных возможностей, рисков и последствий ИИ. Эти предыдущие продукты были более ограниченными в своих целях, учитывая их время и контекст, поэтому существует потребность в всеобъемлющей структуре, которая представляет полный спектр проблем как в краткосрочной, так и в долгосрочной перспективе. 

Хотя эта аналитическая основа была разработана для рассмотрения ИИ, она может быть применена к любой быстро развивающейся технологии. Вопросы в целом сгруппированы по следующим категориям для дальнейшего изучения: 

• Благополучие (включая благополучие отдельных лиц или самого себя, общества и социальной жизни, а также гражданской жизни) 
• Торговля и экономика 
• Экологические исследования георадаром 
• Геостратегические и геополитические 
• Технологические (характеристики системы, конструкция и применение) 

Включен список соображений для каждой из вышеперечисленных категорий, а также их соответствующие возможности и последствия. Некоторые из них актуальны для конкретных случаев или приложений ИИ, тогда как другие носят общий характер и не зависят от платформы или использования. Ни одно из включенных здесь соображений не должно рассматриваться как приоритетное, и поэтому следует рассмотреть все. 

Эту структуру можно использовать, помимо прочего, следующими способами: 

• Устранить разрыв между принципами и оценкой путем создания проверенной общей таксономии ряда соображений, которая могла бы использоваться соответствующими заинтересованными сторонами в качестве основы для информирования и формирования дальнейшего мышления, включая любую структуру оценки, которая может быть разработана властями. 

• Для информирования об оценках воздействия. Закон ЕС об искусственном интеллекте требует от организаций, которые предоставляют инструменты искусственного интеллекта или внедряют искусственный интеллект в свои процессы, проводить оценку воздействия, чтобы определить риск своих инициатив и применять соответствующий подход к управлению рисками. Представленная здесь структура может быть использована в качестве основы для этого. 

• Укрепить этические принципы, необходимые для руководства и регулирования использования ИИ. Эта структура может сделать это, предоставив гибкую основу для разработки надежных систем и гарантируя законное, этичное, надежное и ответственное использование технологии. Эти принципы можно было бы проверить на фоне всего спектра воздействий, представленных в данной схеме. 
• Содействовать подведению итогов существующих мер (т.е. нормативных, законодательных, политических) и выявлению любых пробелов, которые требуют дальнейшего рассмотрения. 

• Фреймворк не зависит от технологии и ее использования. Поэтому его можно использовать в совершенно разных областях, таких как синтетическая биология. 

Следующая таблица представляет собой раннее определение размеров аналитической структуры. В зависимости от технологии и ее использования некоторые компоненты будут более актуальными, чем другие. Примеры приведены для иллюстрации того, почему каждый домен может иметь значение; в контексте рамки потребуют контекстуально соответствующего расширения. Также важно различать разработки платформ и общие проблемы, которые могут возникнуть в ходе конкретных приложений.  

Первоначальный проект размеров, которые, возможно, придется учитывать при оценке новой технологии.
Размеры воздействия	Критерии	Примеры того, как это может быть отражено в анализе
Индивидуальный/самостоятельный	Компетенция пользователей в области искусственного интеллекта	Насколько компетентны и осведомлены о свойствах системы вероятные пользователи, которые будут с ней взаимодействовать? Как им будет предоставлена ​​соответствующая пользовательская информация и предупреждения?
	Затронутые заинтересованные стороны	Кто является основными заинтересованными сторонами, на которых будет воздействовать система (т.е. отдельные лица, сообщества, уязвимые группы, отраслевые работники, дети, политики, специалисты)?
	Факультативность	Предоставляется ли пользователям возможность отказаться от системы; следует ли им предоставить возможность оспорить или исправить результаты?
	Риски для прав человека и демократических ценностей	Может ли система повлиять (и в каком направлении) на права человека, включая, помимо прочего, неприкосновенность частной жизни, свободу выражения мнений, справедливость, риск дискриминации и т. д.?
	Потенциальное воздействие на благосостояние людей	Может ли система повлиять (и в каком направлении) на благополучие отдельного пользователя (т. е. на качество работы, образование, социальное взаимодействие, психическое здоровье, идентичность, окружающую среду)?
	Потенциал перемещения рабочей силы	Есть ли у системы потенциал для автоматизации задач или функций, которые выполнялись людьми? Если да, то каковы последующие последствия?
	Возможность манипулирования идентичностью, ценностями или знаниями	Разработана ли система для манипулирования личностью или набором ценностей пользователя или потенциально способна ли она манипулировать личностью или набором ценностей или распространять дезинформацию? Существует ли вероятность ложных или непроверяемых заявлений об экспертных знаниях?
	Меры самооценки	Есть ли необходимость изображать идеализированное «я»? Может ли автоматизация заменить чувство личного удовлетворения? Есть ли необходимость конкурировать с системой на рабочем месте? Стало ли сложнее защитить индивидуальную репутацию от дезинформации?
	Политика	Распределены ли обязанности по обеспечению конфиденциальности и делаются ли какие-либо предположения относительно того, как используются персональные данные?
	Автономия	Может ли система повлиять на автономию человека, вызывая чрезмерную зависимость конечных пользователей от технологии?
	Развитие человека	Оказывает ли влияние на приобретение ключевых навыков человеческого развития, таких как исполнительные функции, навыки межличностного общения, изменения во времени внимания, влияющие на обучение, развитие личности, проблемы психического здоровья и т. д.?
	Личная гигиена	Есть ли претензии на персонализированные решения в области здравоохранения? Если да, то проверены ли они на соответствие нормативным стандартам?
	Психическое здоровье	Существует ли риск повышенной тревожности, одиночества или других проблем с психическим здоровьем, или могут ли технологии смягчить такие последствия?
	Эволюция человека	Может ли технология привести к изменениям в эволюции человека?
Размеры воздействия	Критерии	Описание
Общество/социальная жизнь	Общественные ценности	Меняет ли система фундаментально природу общества или позволяет нормализовать идеи, ранее считавшиеся антисоциальными, или же она нарушает социальные ценности культуры, в которой она применяется?
	Социальное взаимодействие	Есть ли влияние на значимые человеческие контакты, включая эмоциональные отношения?
	Капитал	Способно ли приложение/технология сократить или усилить неравенство (т.е. экономическое, социальное, образовательное, географическое)?
	Здоровье населения	Есть ли у системы потенциал способствовать или подрывать намерения населения в отношении здоровья?
	Культурное выражение	Является ли увеличение культурного присвоения или дискриминации вероятным или более трудным для решения проблемы? Может ли использование системы принятия решений потенциально исключать или маргинализировать слои общества?
	Народное образование	Есть ли влияние на роли учителей или учебных заведений? Подчеркивает или уменьшает ли система неравенство среди студентов и цифровой разрыв? Повышается или ослабляется внутренняя ценность знаний или критического понимания?
	Искаженные реалии	Применимы ли еще методы, которые мы используем, чтобы распознать истину? Нарушено ли восприятие реальности?
Экономический контекст (торговля)	Производственный сектор	В каком промышленном секторе развернута система (например, финансы, сельское хозяйство, здравоохранение, образование, оборона)?
	Бизнес модель	В какой бизнес-функции используется система и в каком качестве? Где используется система (частная, государственная, некоммерческая)?
	Влияние на критическую деятельность	Повлияет ли нарушение функционирования или деятельности системы на основные услуги или критически важную инфраструктуру?
	Дыхание развертывания	Как развертывается система (узко внутри организации или широко распространена на национальном/международном уровне)?
	Техническая зрелость (TRL)	Насколько технически развита система?
	Технологический суверенитет	Способствуют ли технологии большей концентрации технологического суверенитета?
	Перераспределение доходов и национальные фискальные рычаги	Могут ли быть поставлены под угрозу основные функции суверенного государства (т.е. резервных банков)? Будет ли способность государства удовлетворять ожидания граждан и последствия (т.е. социальные, экономические, политические) увеличиваться или уменьшаться?
Размеры воздействия	Критерии	Описание
Гражданская жизнь	Управление и государственная служба	Могут ли механизмы управления и глобальные системы управления подвергнуться положительному или отрицательному воздействию?
	Новости СМИ	Станет ли общественный дискурс более или менее поляризованным и укоренившимся на уровне населения? Будет ли это влиять на уровень доверия к СМИ? Будут ли затронуты традиционные стандарты журналистской этики и добросовестности?
	Верховенство закона	Будет ли это влиять на способность выявлять отдельных лиц или организации для привлечения к ответственности (т. е. какую ответственность возложить на алгоритм за неблагоприятные результаты)? Создает ли это потерю суверенитета (т.е. экологической, финансовой, социальной политики, этики)?
	Политика и социальная сплоченность	Существует ли возможность более укоренившихся политических взглядов и меньше возможностей для достижения консенсуса? Существует ли возможность дальнейшей маргинализации групп? Состязательные стили политики становятся более или менее вероятными?
Геостратегический/геополитический контекст	Точное наблюдение	Обучены ли системы на индивидуальных поведенческих и биологических данных, и если да, могут ли они использоваться для эксплуатации отдельных лиц или групп?
	Цифровая колонизация	Могут ли государственные и негосударственные субъекты использовать системы и данные для понимания и контроля над населением и экосистемами других стран или для подрыва юрисдикционного контроля?
	Геополитическая конкуренция	Влияет ли система на конкуренцию между странами и технологическими платформами за доступ к индивидуальным и коллективным данным для экономических или стратегических целей?
	Торговля и торговые соглашения	Имеет ли эта система последствия для международных торговых соглашений?
	Сдвиг в мировых державах	Находится ли под угрозой статус национальных государств как основных мировых геополитических акторов? Будут ли технологические компании обладать властью, когда-то принадлежавшей национальным государствам, и станут ли они независимыми суверенными субъектами?
	дезинформация	Легче ли государственным и негосударственным субъектам производить и распространять дезинформацию, которая влияет на социальную сплоченность, доверие и демократию?
Экологические исследования георадаром	Потребление энергии и ресурсов (углеродный след)	Увеличивают ли система и требования потребление энергии и ресурсов сверх повышения эффективности, полученного за счет применения?
Размеры воздействия	Критерии	Описание
Данные и ввод	Обнаружение и сбор	Собираются ли данные и вводимые данные людьми, автоматическими датчиками или и тем, и другим?
	Происхождение данных	Что касается данных, являются ли они предоставленными, наблюдаемыми, синтетическими или производными? Существуют ли водяные знаки для подтверждения происхождения?
	Динамический характер данных	Являются ли данные динамическими, статическими, обновляются время от времени или обновляются в режиме реального времени?
	прав	Являются ли данные собственностью, общедоступными или личными (т. е. относятся ли они к идентифицируемым лицам)?
	Идентификация персональных данных	Если персональные данные, они анонимизированы или псевдонимизированы?
	Структура данных	Являются ли данные структурированными, полуструктурированными, сложноструктурированными или неструктурированными?
	Формат данных	Является ли формат данных и метаданных стандартизированным или нестандартизованным?
	Масштаб данных	Каков масштаб набора данных?
	Соответствие и качество данных	Соответствует ли набор данных поставленной цели? Адекватен ли размер выборки? Является ли он репрезентативным и достаточно полным? Насколько зашумлены данные? Это подвержено ошибкам?
Модель	Доступность информации	Доступна ли информация о модели системы?
	Тип модели ИИ	Является ли модель символической (правила, созданные человеком), статистической (использует данные) или гибридной?
	Права, связанные с моделью	Является ли модель открытым исходным кодом или является частной собственностью, управляемой самостоятельно или третьей стороной?
	Одна или несколько моделей	Состоит ли система из одной модели или из нескольких взаимосвязанных моделей?
	Генеративный или дискриминационный	Является ли модель генеративной, дискриминационной или и той, и другой?
	Построение модели	Обучается ли система на основе правил, написанных человеком, на основе данных, посредством контролируемого обучения или обучения с подкреплением?
	Эволюция модели (дрейф ИИ)	Развивается ли модель и/или приобретает ли она способности в результате взаимодействия с полевыми данными?
	Федеративное или централизованное обучение	Обучается ли модель централизованно или на нескольких локальных серверах или «граничных» устройствах?
	Разработка и обслуживание	Является ли модель универсальной, настраиваемой или адаптированной к данным субъекта ИИ?
	Детерминированный или вероятностный	Используется ли модель детерминистическим или вероятностным образом?
	Прозрачность модели	Доступна ли пользователям информация, позволяющая им понять выходные данные и ограничения модели или ограничения использования?
	Вычислительное ограничение	Существуют ли вычислительные ограничения системы? Можем ли мы предсказать скачки возможностей или законы масштабирования?
Размеры воздействия	Критерии	Описание
Задача и результат	Задача(и), выполняемая системой	Какие задачи выполняет система (например, распознавание, обнаружение событий, прогнозирование)?
	Объединение задач и действий	Сочетает ли система несколько задач и действий (например, системы генерации контента, автономные системы, системы управления)?
	Уровень автономности системы	Насколько автономны действия системы и какую роль играют люди?
	Степень участия человека	Есть ли участие человека для наблюдения за общей деятельностью системы ИИ и возможности решать, когда и как использовать систему в любой ситуации?
	Основное приложение	Относится ли система к основной области применения, такой как технологии человеческого языка, компьютерное зрение, автоматизация и/или оптимизация или робототехника?
	Оценка	Доступны ли стандарты или методы для оценки результатов работы системы или борьбы с непредвиденными возникающими свойствами?

Ключ к источники дескрипторов

Простой текст:
Глюкман П. и Аллен К. 2018. Понимание благополучия в контексте быстрых цифровых и связанных с ними преобразований. ИНГСА. https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf 

Жирный текст:
ОЭСР. 2022. Структура ОЭСР для классификации систем искусственного интеллекта. Документы ОЭСР по цифровой экономике, № 323, Издательство ОЭСР, Париж. https://oecd.ai/en/classification 

Курсив:
Новые дескрипторы (из нескольких источников) 

В зависимости от ответа на этот дискуссионный документ ISC сформирует экспертную рабочую группу для дальнейшей разработки или внесения изменений в вышеуказанную аналитическую структуру, с помощью которой заинтересованные стороны смогут всесторонне рассмотреть любые существенные изменения как в платформах, так и в аспектах использования. Рабочая группа будет разнообразной в дисциплинарном, географическом и демографическом отношении, ее опыт будет простираться от оценки технологий до государственной политики, от человеческого развития до социологии, исследований будущего и технологий. 

Чтобы принять участие в обсуждении этого документа, посетите совет.наука/публикации/фреймворк-цифровые-технологии 

При разработке этого документа, составленного сэром Питером Глюкманом, президентом ISC, и Хемой Шридхар, бывшим главным научным сотрудником Министерства обороны, а ныне старшим научным сотрудником Оклендского университета, Новая Зеландия, консультировались многие люди. 

В частности, мы благодарим лорда Мартина Риса, бывшего президента Королевского общества и соучредителя Центра изучения экзистенциальных рисков Кембриджского университета; профессор Шиваджи Сондхи, профессор физики Оксфордского университета; профессор К. Виджай Рагхаван, бывший главный научный советник правительства Индии; Амандип Сингх Гилл, посланник Генерального секретаря ООН по технологиям; д-р Шон О Эйгертай, исполнительный директор Центра изучения экзистенциальных рисков Кембриджского университета; Аманда-Джун Браунер, старший советник по вопросам политики, и Ян Виггинс, директор по международным делам Королевского общества Великобритании; д-р Жером Дюберри, д-р Мари-Лор Саллес, директор Женевского института последипломного образования; г-н Чор Фарн Ли, Центр стратегического будущего, канцелярия премьер-министра, Сингапур; Баренд Монс и д-р Саймон Ходсон, Комитет по данным (CoDATA); профессор Юко Хараяма, Япония; профессор Реми Кирион, президент INGSA; д-р Клэр Крейг, Оксфордский университет, бывший руководитель отдела прогнозирования Государственного управления науки; и профессор Йошуа Бенджио, Научно-консультативный совет Генерального секретаря ООН и Университет Монреаля. Подход, основанный на контрольном списке, в целом был одобрен, и была подчеркнута своевременность любых действий со стороны ISC.