研究評価の未来: 現在の議論と発展の総合

ダイナミックで包括的な研究システムは、科学と社会の両方にとって、基礎的な知識と理解を促進し、ますます緊急性が高まる地球規模の課題に対処するために非常に重要です。 しかし、研究システムは、複数の関係者（資金提供者、政府、出版業界を含む）からの期待の高まり、競争と協力の力関係の間の緊張、進化する学術コミュニケーションシステム、攻撃的な（時には）出版業界やデータ分析業界などにより、プレッシャーにさらされています。そして限られた資源。 研究企業は、研究の質を維持し、研究の誠実性を維持し、包括的で多様性を持ち、基礎研究と応用研究の両方を保護しながら、これらの要求と緊張に対処する必要があります。

過去 XNUMX 年間にわたり、科学システムに対するこうした圧力と科学システムへの対応の必要性は、研究評価と業績測定のシステムに対するより批判的な反映を伴ってきました。 研究の質と影響を評価するための適切で状況に応じた方法論は重要ですが、現在の評価基準と指標が研究の質と文化、政策決定に情報を与える証拠の質、研究と研究資金、個人のキャリアの軌跡、研究者の幸福における優先事項。 世界の一部の地域では、狭くて単純化された評価指標や指標では研究の質、有用性、完全性、多様性を十分に捉えることができないという認識が広まってきています。 日常的に使用される（多くの場合雑誌ベースの）指標は、指導、データ共有、一般大衆との関わり、次世代の学者の育成、過小評価されているグループの特定と機会の付与など、質の高い研究の重要な追加側面を捉えることができません。 範囲が狭すぎることに加えて、指標や指標の誤用の問題は、達成へのインセンティブを歪め、一部の分野（重要な学際的研究や学際的研究を含む）に不利益をもたらし、略奪的で非倫理的な出版慣行を助長しているとも見られています。

指標の誤用を抑制し、品質基準を拡大し、マニフェストや声明、原則、改革を通じて研究文化をより体系的に変革するキャンペーンは、研究評価を改革する必要性についての世界的な議論の舞台を整えました。 こうした声は今、マニフェストから行動への移行を求めています。 これは、研究が実施され伝達される方法における変革的な変化を背景に起こっています。 オープンな研究フレームワークとソーシャルメディアの台頭、ミッション指向で学際的な科学への移行、オープンな査読の​​増加、人工知能（AI）と機械学習の変革の可能性により、研究と研究者の評価方法について新たな考え方が必要となっています。 。

このような背景に対して、 グローバルヤングアカデミー（GYA） インターアカデミーパートナーシップ（IAP） と 国際学術会議（ISC） 科学者からなる調査グループと一連の地域協議を活用して、世界中の研究評価における議論と展開を評価するために力を合わせた。 世界の一部の地域では、高等教育機関や研究資金提供者によって新しいアプローチが開発および試験的に導入されており、そのいくつかがこの文書に含まれています。 世界の他の地域では、こうした議論や行動は始まったばかりであるか、存在していないことさえあります。 研究システムはさまざまな速度で進化しているため、分岐や断片化が生じるリスクがあります。 このような相違は、研究協力を可能にし、異なる地域、分野、分野間での研究者の流動性を促進するために必要な均質性を損なう可能性があります。 しかし、XNUMX つのサイズですべてに対応できるわけではなく、地域の課題を認識して評価を改革するための状況に応じた取り組みが必要です。

公共部門の研究と研究と研究者の評価に焦点を当てたこのディスカッションペーパーは、その視点が世界的であり、通常はヨーロッパと北アメリカの開発が大半を占める議題をカバーしています。地域的な視点と国家開発と制度改革の例は以下のとおりです。強調表示されました。 GYA、IAP、ISC の世界的かつ集合的なメンバーシップは、研究エコシステムの幅広い断面を表しており、その多様な使命により真の組織的変化を促進することができます。 この文書は、相互学習、実験、革新のためのプラットフォームとして、GYA、IAP、および ISC がそのメンバー、他の科学機関、世界中の主要な関係者と協力し、会話を開始および進行させ、より包括的な人々を動員するための刺激となるよう努めています。そして共同行動。

GYA、IAP、ISC とそのメンバーに対する推奨事項 (セクション 5 を参照) は、提唱者、模範者、革新者、資金提供者、発行者、評価者、協力者としての役割を中心に構成されており、行動の目安となる時間枠も示されています。 これらのアクションには、これまでの関連する取り組みからの教訓と成果を共有するためのスペースを作成することが含まれます（実践コミュニティを構築するため）。 中期的には、実行可能で状況に応じた包括的な方法で研究評価を再設計し、実施するために、主要な関係者とマルチステークホルダーのフォーラムを共同開催する。 そして長期的には、AI テクノロジー、ピアレビューの方法論と改革、通信メディアの急速な発展に敏感な、未来の考え方に貢献する新しい研究を推進します。

　 グローバルヤングアカデミー（GYA）, インターアカデミーパートナーシップ（IAP） と 国際学術会議（ISC） 2021年に結集したのは、多様な研究文化やシステムにわたる世界中の研究評価/評価における課題、議論、展開を棚卸しし、世界の研究評価/評価の再構想に参加し、影響を与える方法を模索するためです。 21世紀は、オープンで包括的な方法で。

国際調査グループ（付録 A）は、現場を調査し、研究評価を改革する既存の取り組みをどのように強化できるかについて 1 つの組織に助言するために招集されました。 この研究の中心となったのは、(2) 研究者主導の協調的な取り組みにより、研究評価の将来を形成する上で世界の研究コミュニティにより強い発言力が与えられること、(XNUMX) 「評価されるものと一緒に評価する」ことには利点がある、という前提であった。 したがって、評価の文化と実践における持続的で体系的な変化への道筋を描くのに役立ちます。

机上調査を補足するため、スコープグループおよびパートナーによって特定された専門家との一連の地域協議が2021年末に実施されました。ディスカッションペーパーはこの作業の主な成果物です。 これは、複数の関係者、特に世界的な研究コミュニティ自体との探索的な会話のための目論見書として機能することを目的としています。

研究評価の実践は複数の目的を果たし、複数の利害関係者によって実施されます。 これらは、資金提供決定のための研究提案、出版のための研究論文、採用または昇進のための研究者、研究機関や大学の業績を評価するために使用されます。 この論文は主に研究者と研究の評価に焦点を当てており、機関の評価やランキングについては扱っていませんが、これらすべての評価分野は密接に関連しています。 現在の実践は、ジャーナルインパクトファクター（JIF）、論文数、引用数、h-index、論文影響力スコア（AIS）などの定量的かつ主にジャーナルベースの指標に大きく依存しています。 他の指標には、助成金収入目標、インプットの尺度（研究資金や研究チームの規模など）、登録特許数、そして最近ではソーシャルメディアのシェアやダウンロードなどのソーシャルメディア指標（以前は「オルトメトリクス」）が含まれます。 これらの指標は総合すると、機関、研究グループ、個人の評判、個人および共同研究の課題、キャリアの軌跡、リソースの配分に大きく影響します。

過去 2 年間で、世界の研究開発 (R&D) への投資は 1980 倍に増加し、年間約 19 兆米ドルに達しました。 過去数年だけを見ても、研究開発費は 2021 年代半ば以来の急速な伸びを示し、約 1% 増加しました (ユネスコ、XNUMX 年) [XNUMX]。 このような研究への追加投資は、研究機関や個人に圧力をかける責任の文化をもたらし、それに応じて逸脱や倒錯的なインセンティブを生み出す可能性があります。 それはまた、品質を維持し、研究の無駄、エラー、非効率を削減するという、より大きな目標にもつながりました。 インクルージョンと多様性を最大限に高める。 世界的な公共財として研究を最適化する。 そして、よりオープンで積極的な学問を推進します。 改革がなければ、研究の質、完全性、多様性、有用性が脅威にさらされます。

定量的指標は、よりオープンで説明責任のある公開型の研究システムへの移行において、研究評価の重要な部分を形成する可能性があります (王立協会、2012）[2]。 しかし、それらはまた、世界中に存在する「出版するか消滅するか」の研究文化を助長し、研究成果の質、研究システムの完全性と信頼性、研究コミュニティの多様性に悪影響を与えることにも部分的に責任を負っています。 ハウスタンとラリヴィエール、2014）[3]。 これは、指標は機関、政策立案者、研究資金提供者などによって研究の質の代用として使用されますが、それらは成果の尺度であり、研究の質や影響そのものを表すものではないためです。 そのため、これらの主体は研究が行われる社会的および文化的背景を設定することに大きく貢献しており、学術界の報酬と昇進システムが科学者のキャリアのあらゆる段階での選択を形成します（マクラウド他、2014）[4]。

「研究者のパフォーマンスの代理指標としての書誌指標の使用は、評価の便利な指標ですが、大きな欠陥があります。 ほとんどの機関は、個人の業績を執拗に重視し、影響力の大きい指標に対する大学の関心を通じて研究支援を間引き、全員に「チェックボックス」を押して同調するよう圧力をかけている一方で、ジャーナル出版市場を歪める上で重要な役割を果たしている。 早急に改革が必要だ。」

科学記録を開く (2021)、国際科学会議

研究コミュニケーションと知識生産に対して大きな権力と影響力を持っているもう XNUMX つの利害関係者コミュニティは、出版部門です。 ジャーナルベースの指標は、商業ジャーナルに掲載する強力な動機となっており、重大な副作用を引き起こす可能性のある行動を奨励する可能性があります。 研究の結果を科学的メリットで判断するのではなく、科学的品質の証拠として日常的に受け入れられるのは、その研究が掲載されるジャーナルの認識された品質であり、科学ではなく評判に基づいて商業性の高い出版市場を推進しています。 オープンアクセスのコストは主に著者処理手数料 (APC) によって発生します。これは、特に世界の一部の地域では法外に高額になる可能性があり、リソースに乏しい研究者にとって研究出版への障壁となり、国際科学コミュニティの分裂を招く可能性があります。 研究プロセスのあらゆる段階において、商用プロバイダーとその利用規約への依存がますます高まるリスクにより、非営利の代替手段が必要となる強力な根拠が生まれます。 さらに、書誌計量指標が大学における主なインセンティブ源となっているため、教育やその他の形式の科学的取り組み（教育や政策に関するアドバイスなど）の価値が低下しています。 研究評価システムは、多額の助成金を獲得し、インパクトファクターの高いジャーナルに発表した研究者を優遇する傾向があるため、すでに成功した研究者は再び成功する可能性が高いことを示唆する証拠があります（「マシュー効果」、 ボルほか、2018）[5]。

学術出版がコミュニケーションではなく評価の手段になると、他の有意義な方法で研究をコミュニケーションすることを選択した人にとって不利になります（ISC の 2021 年レポート）[6]。 これには、グローバル ヤング アカデミー (GYA)、インターアカデミー パートナーシップ (IAP)、および国際科学会議 (ISC) の共通の成果物 (そしておそらく主要な通貨) が含まれます: 報告書、ワーキング ペーパー、共同声明、意見論説、ニュース項目、ウェビナー。 一部の分野も不利な立場にあります。たとえば、工学やコンピュータ サイエンスの研究者では、会議やその議事録を通じた (通常はより高速な) コミュニケーションが重要です。 そして、通常単行本、書籍、専門雑誌を使用する人文科学および社会科学の人々。

研究に特化したジャーナルや地元のジャーナルに発表することを選択する人もいます。あるいは、高いインパクトファクター（およびそれに伴う高い APC ）を持つオープンアクセスジャーナルに自分の研究（たとえ質が高くても）を発表する余裕がない人もいます。 後者は、低所得国の人々、特に初期キャリア研究者（ECR）にとって不利になります。 これらの同じ研究者は、終身在職権を持つ学術ポストを求める強いプレッシャーにさらされており、彼らの行動は、研究資金提供機関や機関の採用・昇進委員会が使用する定量的基準によって強く条件付けられています。 指標を使って考えたいという誘惑 (ミュラーとデ・ライケ、2017) [7]、さらにはシステムを「ゲーム」することは、世界中のすべての研究者にとって現実です (例: アンセデ、2023 年）[8]。

このゲームの兆候には、研究者が（故意に、または無意識に）出版数を増やすために略奪的な雑誌や会議を利用することが含まれます。 (IAP、2022 年 [9] エリオット他、2022 [10])、自己引用や査読の改ざん、盗作、インパクトファクターの水増し、「サラミスライス」（単一の研究論文で報告できたであろう大規模な研究を、より小さな出版論文に分割すること）に耽溺する（コリアー、2019）[11]。 プレッシャーにさらされると、研究者は、博士号の取得、雇用や昇進、あるいは研究プロジェクトへの資金提供だけを目的として、略奪的なサービスに頼ろうとする誘惑に駆られるかもしれません（例: アバド＝ガルシア、2018 [12] オモボワレ他、2014）[13]。 指標主導の学術界と学術出版システムは、陰湿なインセンティブを推進します。研究者が何を出版するかよりも、どこで出版するかが重要です。

研究の質と完全性への影響は非常に懸念されます。 研究や出版上の不正行為、データセットの貧弱または不正が原因で、撤回された学術論文の数は近年劇的に増加しています。 ジャーナルが信頼性の低い研究を撤回するには数か月から数年かかる場合があり、その時点ですでに何度も引用され、パブリックドメインになっている可能性があります（オードウェイ、2021年）[14]。

指標に基づく研究評価が優勢であることは明白であり、評価改革に関しては世界的に異なる傾向があり、研究コミュニティの一部が置き去りにされる危険性があります。 研究評価の世界的な状況の分析において (カリーほか、2020 [15]; 提出済み)、高所得国/地域の多くの研究機関や資金提供機関は、定性的な「影響」尺度などのより広範な指標を組み込み始めているようですが、「グローバル・サウス」の機関では依然として書誌学が主流である[16]。 ]、あらゆる分野にわたって。 より包括的な行動がなければ、国の評価システムが乖離し、研究、評価、資金提供、出版システムにさらなるシステム的偏りや潜在的な非互換性が導入される可能性があります。 これにより、国際的な研究協力や研究者の流動性が阻害される可能性があります。 南北協力に対する障壁が生まれると、それに伴うグローバル・サウスの研究エコシステムの強化も阻害される可能性があります。堅牢な研究評価は研究エコシステムとその信頼を強化し、頭脳流出の可能性を減らし、持続可能な研究のための強力な人的資本の確立に役立ちます。発達。 それにもかかわらず、優れたパフォーマンスを構成するものの画一的なバージョンは、必ずしも卓越性、公平性、透明性、包括性につながるとは限らない行動形態を生み出します。 敵対的で支援のない環境で課題と闘い、ハードルを乗り越えてきた学者と同じ方法で、支援的で資源が豊富で機会が豊富な環境で成長した学者の業績を評価することは、よく言っても疑わしい（GYA、2022年）[17]。 多くの学者は、研究コミュニティから歴史的、地理的に疎外されていると感じており、その主な原因はキャリア全体を通じての評価の仕方にあります。 一部の形式の研究を排除し、世界中で多様なアイデアを活用できていない場合、現在の研究評価の実践は、西側諸国が考えた支配的なモデルの主流/追随文化を促進するリスクがあります。

低所得国の研究者やキャリアの初期段階にある研究者は、目的に適し、日々直面する課題を考慮した、状況に応じた方法で新しい評価モデルの形成を支援できるよう、発言力を必要としています。日単位。 GYA と増え続ける国立ヤングアカデミーは ECR にこの声を与え、 GYA の科学的卓越性に関するワーキング グループ [18] は、研究評価の改革についての見解を示しています（以下の本文を参照）。

初期キャリア研究者コミュニティからの意見

初期キャリア研究者 (ECR) は、キャリアの見通しと研究課題の追求がどのように評価されるかに大きく左右されるため、研究評価の実践について特に懸念しています。 これは、資金調達、雇用、昇進の慣行に、必ずしも公平かつ公平であるとは限らない方法で反映されます。

資金提供と人事の決定が研究者の労働力構成に影響を与えることは明らかですが、研究評価が資金提供への影響を通じて、機関や研究者が特定の研究軌道、研究活動を追求するインセンティブを形成するということは必ずしも認識されているわけではありません。特定の分野で活動したり、他のネットワークを超えていくつかのネットワークに参加したりできます。 このように、研究評価は科学そのものの発展を形作りますが、これは特に ECR の見通しや期待に対する評価の不均衡な影響に当てはまります。

科学は世界的な事業ですが、一部の学者は、生まれた場所、アイデンティティ、社会経済的背景のせいで、研究コミュニティに参入し、関与するのに高い障壁に直面しています。 これは科学業界の組織の問題であり、研究評価そのものの問題ではないが、多くの ECR は、評価基準が研究者の経験という現実を無視すべきではなく、さまざまな状況に一律で標準化された基準を押し付けるべきではないと感じている。

GYA の科学卓越作業部会が実施した調査（次期報告書）によると、研究の評価は文化的または科学的な議論よりも、国の研究政策によって左右される可能性が高いことが示されています。 この報告書は、学界における正教授職（または同等の職）への昇進基準に焦点を当てており、国の政策や機関が研究評価の基準を定めた特定の文書を持っている傾向があることを示している。 これらの文書は、研究者についての包括的な見解を形成するために使用できる大規模で多様な基準を網羅するのではなく、単一の側面または優先順位に焦点を当てる傾向があります。 たとえば、一部の文書は研究者の奉仕活動 (教育やメンタリングなど) の評価に焦点を当てたり、一部の文書は研究者の蓄積された成果 (たとえば、雑誌論文の数など) に焦点を当てたりしますが、両方であることはほとんどありません。

この発見には主に XNUMX つの意味があります。 まず、研究評価は階層的でトップダウンです。 指標と定性的手法の両方が研究者の多様性、つまり背景とキャリアパスの両方、そして同様に重要である研究手法とアイデアの多様性を無視していることが多いため、これはリスクを生み出します。 対照的に、GYA に代表される ECR は、研究事業に必要な活動の多様性を認識し、適合性や認証を義務付けるのではなく、多様性と多元性を促進する研究評価スキームを考案することが重要であると感じている。

第二に、分野間の違いは、研究者が働いている国の経済的地位による違いほど重要ではありません。 低所得国は定量的な指標に依存し、「生産性」に報酬を与えているようですが、高所得国では影響の定性的評価にますますオープンになっています。 この乖離がさらに進行した場合、学者の国際的な流動性に対するさらなる障害となる可能性があり、これは ECR にとって特に重要です。

結論として、GYA 報告書は、特効薬はない、つまり研究評価は評価の目的、そして最終的には機関や国の研究政策の目標に合わせるべきであると強調しています。 評価では、研究者のプロフィールやキャリアの多様性を考慮し、評価の目的に応じて異なる焦点を採用する必要があります。 科学はグローバルで自己批判的な会話であるため、外部からの評価が必ずしも必要というわけではありません。 実際、（人々、機関、メディア、さらには国全体の）不審なランキングの使用と実際の価値については、しばしば議論されます。

今日の地球規模の課題の多くは、国連 (UN) の持続可能な開発目標 (SDGs) に明記されており、革新的で学際的かつ学際的な研究を必要とし、それ自体、研究の実施と協力の新たな様式を必要とします (ISC、2021 年）[19]。 包括的、参加型、変革的、学際的研究の緊急性は、研究の支援、評価、資金提供の方法と一致していません。研究が社会への約束を果たすためには、よりオープンで包括的で状況に応じた評価システムが必要です（グラックマン、2022）[20]。 学者、資金提供者、出版社の根深い行動により変化が困難になる可能性があり、投資が最も必要とされている分野から逸れてしまう可能性があります。

学際的および学際的研究と参加型または市民科学の成長は重要な発展であり、地球規模の課題に対処する上で不可欠です。 研究が分野や制度の境界を越え、社会への緊急の研究課題を共同設計するユーザーコミュニティを含む幅広い利害関係者が関与するため、従来の学術研究の評価基準では不十分であり、学際的な研究の開発と利用を制約する可能性さえあります（Belcher他、2021）[21]。 学際的な研究の実践と評価を導くためには、より適切な原則と基準が必要です。質評価フレームワークの初期の例は、関連性、信頼性、正当性、有用性の原則を中心に構築されています (Belcher他、2016）[22]。

研究の委託、資金提供、実施、伝達の方法は急速に進化しており、研究評価改革の加速が必要です。 それらには次のものが含まれます。

(1) オープンサイエンスへの移行

オープンサイエンス運動には、公開性と透明性を向上させるために、研究評価システムの改革も同時に必要とされています。 研究のパフォーマンスを測定するために使用される指標や指標の多くは、それ自体が不透明であり、密室で計算されることがよくあります。 この透明性の欠如は研究コミュニティの自主性を損ない、研究指標の評価、テスト、検証、改善の選択肢を制限します（ウィルズドンら、2015 [23])。 たとえば、国連教育科学文化機関 (ユネスコ) のオープン サイエンスに関する勧告 (ユネスコ、2021 [24]) – これには、メンバーが研究キャリアの評価と評価基準を見直し、改革するのに役立つオープン サイエンス ツールキットの開発が含まれます [25]。

(2) 査読の進展

オープン査読の拡大は、査読レポートの発行や査読者の公的識別のいずれであっても、研究評価の重要な進展です(バロガ、2020 [26] Woodsら、2022 [27])。 データ インフラストラクチャの成長により、出版社は査読レポート用のデジタル オブジェクト識別子 (DOI) を生成し、査読レポートを個々の Open Researcher and Contributor ID (ORCID) にリンクし、論文をプレプリントとして出版できるようになりました。 新型コロナウイルスの世界的なパンデミック中にプレプリントの数が大幅に増加し、迅速な対応モードで研究を評価する際に生じる課題が明らかになりました。 それにもかかわらず、出版前であろうと出版後であろうと、オープンな査読の​​実践は、商業出版社が研究コミュニケーションや知識生産プロセスに対して持つコントロールを混乱させるのに役立ち、科学ジャーナルやJIFなどの関連指標の力を低下させる可能性がある。 査読活動のオープン記録はまた、査読活動を文書化するためのインフラストラクチャを提供し、やがてより大きな価値を生み出す可能性があります。査読活動は学術評価においてほとんど目に見えず、過小評価されることが多い重要な専門サービスです（カルテンブルナー他、2022 [28]) 。

(3) 人工知能と機械学習の応用

人工知能 (AI) と機械学習における技術の進歩は、研究評価をサポートする査読プロセス (例: ホルムら、2022 [29] プロクターら、2020 [30])。 AI はすでに査読の合理化と強化に使用されています (ネイチャー、2015 [31]。 自然、2022 [32])、査読の質をテストする (セヴェリン他、2022 [33])、引用の品質をテストします (ガッド、2020 [34])、盗作の検出 (フォルティネックほか、2020 [35])、データを改ざんしている研究者を捕まえます (クワッチ、2022年 [36]) そして査読者を探しますが、この研究は研究者の評価において正当な評価を得ていないため、査読者はますます不足しています。 ChatGPT (Chat Generative Pre-Trained Transformer) などの「会話型 AI」は、実験を設計し、原稿を書いて完成させ、査読を実施し、原稿を受理するか拒否するかの編集上の決定をサポートする能力を備えています (自然、2023 [37])。 AI には、研究成果の査読者としての査読者の負担を軽減するアルゴリズムを使用することで、査読の効率を向上させる可能性もあります (自然、2022 ）。 中国では審判員を見つけるためにAIの使用がすでに試験的に導入されている（自然、2019 [39]）。

これらの AI アプリケーションはすべて、この負担を軽減し、経験豊富な専門家が研究の品質とより複雑な評価に集中して判断できるようにします (セルウォール、2022 [40])。 しかし、それらはバイアスを伝播する危険性もあります。なぜなら、これらは（性別、国籍、民族、年齢などによって）バイアスがかかっている可能性のある既存のデータを補強する予測技術だからです。実際、AI の使用自体は、「品質」を構成するものについてのより深い理解から恩恵を受ける可能性があります。 ' 研究 （チョムスキーら、2023 [41] ISI、2022年 [42]）。

ただし、重要なのは、あらゆる形式の AI と機械学習が悪用される可能性があることです (Blauth 他、2022 [43]; ベンジオ、2019 [44])。 学術および研究コミュニティは、この分野を管理する政府、業界、市民社会のリーダーと協力して、これに対する備えと回復力を構築する必要があります。

(4) ソーシャルメディアの台頭

研究への影響を測る従来の定量的尺度では、ソーシャル メディアへの参加やソーシャル ネットワークに接続された研究者や学者の増加を説明できません (ジョーダン、2022 [45])。 多くの学者は、研究プロジェクトの全期間を通じて、ソーシャル メディア プラットフォームを利用してコミュニティ、政策立案者、一般の人々と関わりを持っています。 最終的な成果物を既成事実として単に受信者に公開するのではなく、研究に積極的に取り組み、テストし、情報を提供し、多様なアイデアやインプットをもたらすこと。 この取り組みは、従来の形式の研究評価では取り上げられませんが、より広範な影響力と支援の機会につながる可能性があります。 ソーシャル メディア メトリクス (「オルトメトリクス」) は、責任あるメトリクスへの貢献として開発されています (ウーターズら、2019 [4])、たとえば、Twitter または Facebook のメンションと ResearchGate のフォロワー数が含まれます。 一方で、これらのオルトメトリクスは、空間を広げ、スペースを生み出し、評価を広げるのに役立ちます（ラフォルスとスターリング、2021 [47]) しかし、その一方で、他の指標と同様に、無責任に使用されたり、評価システムに別の指標層を課すために使用されたりする可能性もあります。

研究評価の改革には多くの課題があります。 最も重要なもののいくつかをここで説明します。

より質的な手段を含むいかなる改革も、同時に基礎研究と応用研究の質を保護しなければなりません。 一部の科学者自身が改革に反対している可能性があるという逸話的証拠があり、おそらく特に現行制度で成功してきた高度なキャリアを持つ研究者は、平凡な研究を助長する危険性や、より定性的な評価形式が基礎研究よりも応用を優先する可能性を恐れているためである。 研究評価基準の改革は、目に見えにくい基礎研究や青天の霹靂研究とは異なり、国民や政治の支持を訴える、使命志向で社会に影響力のある研究への動きを中心に組み立てられる傾向にある。 将来的には基礎的で好奇心主導の研究への継続的な投資と、地球規模の課題に対応する能力において研究が果たす重要な役割のより広範な認識が必要となるため、イノベーションを支えるには研究の「価値」をより微妙に解釈する必要があると主張する人もいます（GYA、2022年 [48]）。

より一般的には、研究用語の意味と使用に一貫性がないことが、変化の障害となります。 研究評価の概念的枠組みは時が経っても実質的に変わっておらず、それをサポートする言語も変わっていない。研究システムは依然として「基礎」科学と「応用」科学、「影響」「質」などの用語などの古い二分法に囚われている。 （役立たずに生産性と同一視される）と「優秀さ」は、地理的、分野的、キャリア段階、性別による偏見を回避する形で明確に定義されていない (Jong 他、2021 [49]): これは、多様性に欠ける意思決定委員会で特に深刻になる可能性があります (ハッチとカレー、2020 ）[50]。

指標に基づく評価と同様、より定性的な形式の評価も不完全です。 査読プロセスと専門家の判断が少なくとも書誌学的評価と同じくらい重要であるという主張をするのは簡単ではありません。 査読プロセスにおける明確性と透明性の欠如により、偏見が生じる可能性があります。 例えば、ピアレビュー委員会は、「オールドボーイズネットワーク」と同性愛（自分と同じような人を求める評価者）の存続を可能にすることで、確立された権力と特権の形態を維持するメカニズムであると同時に、集団思考の力学に対して脆弱であると批判されてきた。 定量的指標は、たとえ不完全であっても、世界の一部の地域では縁故主義や偏見に対する防御として見なされています。 同様の議論は研究論文の査読にも適用でき、より定性的な評価を使用すると、他の形態の差別的行為への扉が開かれる可能性があります。

いかなる形式であっても査読に対する専門的な認識や訓練が欠如していると、査読者として働く意欲が減退し、能力が低下します。 さらに、需要が供給を上回ると、手を抜いたり厳格さを緩和したりするインセンティブが生まれる可能性があります。 査読の透明性の向上（完全にオープン、匿名化、ハイブリッドのいずれであっても）と、優れた査読実践のトレーニング、育成、報奨がすべて必要です。 研究成果が多様化するにつれて、その進化のためのモデルに関するさらなる研究も行われています（IAP、2022 年 [51]) と AI 技術が進歩します。

研究評価改革に関する議論は複雑であり、二元論的なものではありません。 定性的情報と定量的情報は、査読の文脈でしばしば組み合わされます。たとえば、研究指標に関するライデン宣言 (ヒックスほか、2015 [52]) 適切に選択および解釈された定量的指標および定性的情報によって専門家の判断が支持されるが、それに導かれるわけではない「情報に基づくピアレビュー」を求めています。 研究評価に関する議論は、「定性的か定量的」という二元的な評価ツールの選択ではなく、複数の形式の情報の最適な組み合わせをどのように確保するかということです。

最後に、どんな改革も便利で実行可能でなければなりません。 論文の量が指数関数的に増加し、査読の負担が研究事業全体に不均等にかかるため、研究システムはすでに崩壊の兆候を示しています。 パブロン、2018 [53] コバニスら、2016 [54] 自然、2023 [55])。 ジャーナルベースの指標と h インデックスは、出版社の名声や機関の評判に関する定性的な概念と併せて、多忙な評価者に便利な近道を提供し、学術評価に深く根付いた変化への障害となる可能性があります (ハッチとカレー、2020 [56])。 定量的な指標は、任命と昇進のための比較的明確で明確なルートを提供するものとして一部の国で歓迎されています。 「グローバル・サウス」では、応募者の最終候補者をリストアップするために平均的なインパクトファクターが日常的に使用されており、代替案はいずれも同様に実装可能であり、評価の範囲を広げるために必然的に必要となる追加リソースを活用できなければなりません。 研究評価において単純な定量的指標を使用する利便性は、変化の大きな障害となる可能性が高く、新しい評価システムの導入は、一部の国における能力や能力の欠如により、さらに世界的な不公平を生み出す可能性さえあります。

過去 XNUMX 年にわたり、ライデン宣言 (国際専門家グループによって作成)、香港原則 (Moherら、2020 [57]) (6 年の第 2019 回研究公正世界会議で開発) および メトリクスの潮流 [58]と メトリクスの潮流を活用する [59] の報告書（英国の研究と評価の枠組みである REF のレビューの文脈で開発された）。 現在の評価システムの潜在的な害を最小限に抑えるよう、政策立案者、資金提供者、高等教育機関 (HEI) のトップなど、主要な関係者に呼びかける少なくとも 15 の個別の取り組みが行われています。 これらの取り組みはすべて幅広い聴衆に届けられており、研究文化を改善し、研究コミュニティへの平等、多様性、包摂性、帰属をもたらすための前提条件として、責任ある指標に焦点を当てている点で進歩的です。 しかし、これらのイニシアチブの設計者の一部からは、有益ではあるものの、具体的な実践的な行動が損なわれるのではないかという懸念が高まっています。署名者になるという行為は、実際の実施がフォローアップされた場合にのみ効果を発揮します（自然、2022 [60]）。

「責任ある研究評価または評価」と「責任ある指標」に対する支持が増えています（ドーラ、2012 [61] ヒックス等。 2015 [62] ウィルズドンら、2015）純粋に定量的な指標から、研究者が自分の研究の経済的、社会的、文化的、環境的、政策的影響を説明できるようにするためのより多様な尺度への移行。 研究コミュニティが重視する問題を説明するため: より広範な属性に対処する「有益なデータ」または「価値主導の指標」(カリーほか、2022 [63])。 近年、責任ある研究評価に対する革新的かつ進歩的なアプローチが、世界中の地域や国の一部の高等教育機関や研究資金提供者によって開発され、試験的に実施されています。 ここでいくつかを強調表示します。

上記の世界的な取り組みのうち、2013 年のサンフランシスコ「研究評価に関する宣言[64] (DORA) はおそらく最も活発な世界的な取り組みです。 これは、ジャーナルベースの指標を使用して個々の研究者の業績を評価することによって引き起こされる問題をカタログ化し、そのような評価を改善するための 18 の推奨事項を提供しています。 DORA は、研究者の貢献を評価するため、または雇用、昇進、資金提供を検討する際に、ジャーナルベースの指標を使用することを断固として推奨しません。 2023年23,059月中旬の時点で、この宣言には160カ国のXNUMXの署名者（機関および個人）が署名し、改革に取り組むことを表明している。 DORA は、定性的評価の本質的な課題と生来の偏見を克服することに焦点を当てて開発を行っています。 研究評価を進めるためのツール (TARA) [65] 宣言の実践を支援するため：これらのツールには、キャリア評価における革新的な政策と実践を索引付けして分類するためのダッシュボードと、委員会の構成の偏りをなくし、さまざまな質的形態の研究影響を認識するのに役立つリソースのツールキットが含まれています。

さらに、DORA は、アルゼンチン、オーストラリア、ブラジル、コロンビア (2)、インド、日本、オランダ、ウガンダ、ベネズエラの XNUMX のプロジェクトに資金を提供しており、それぞれの地域の状況で研究評価の改革を促進するさまざまな方法をテストしています。 良い実践例をまとめる: 例: 意識向上、新しい方針や慣行の開発、求職者向けのトレーニングと実践的な指導 (DORA [66])。 この種の補助金に対する需要は高く、55 か国から 29 名以上が申請しており、改革の必要性に対する認識が高まっていることを示しています。

International Network of Research Management Societies (INORMS) のような専門的な研究管理団体も、組織変革を導くためのリソースを積極的に開発しています。 SCOPEフレームワーク研究評価グループ | INORMS – 研究評価のための INORMS SCOPE フレームワーク [67] 何が評価されるのか、誰が評価されるのか、そしてなぜ評価されるのかを定義することから始まります (役立つ説明ポスター) こちら [68]）。

国際開発部門は、研究評価に新たな視点を提供してきました。その代表的な例が次のとおりです。 リサーチクオリティプラス | IDRC – 国際開発研究センター [69]、研究の受け取り側の人々にとって何が重要かを測定します。 Research Quality Plus (RQ+) ツールは、科学的メリットは必要であるが十分ではないことを認識しており、研究が関連性があり正当であるかどうかを判断する際のユーザー コミュニティの重要な役割を認識しています。 また、研究の更新と影響は研究の過程で始まることも認識しています。 研究申請は多くの場合、外部の学界（政府部門や非政府組織（NGO）など）の開発専門家、実務家、国内の代表者も含まれる高度に学際的な委員会によって評価されます。これにより、ユーザーコミュニティ/主題以外の専門家の重要性が強調されます。研究とそれを実際にどのように応用できるかを理解する必要があります。 複雑、低所得、または脆弱な環境での研究には、研究の開始から普及および影響に至るまでの研究ライフサイクルにおける倫理的選択を知らせ、サポートするように設計された倫理ツールキットまたはフレームワークが伴う場合があります。 リードら、2019 [70]。 「変化の理論」アプローチは、ドナー、NGO、多国間機関による国際開発研究で広く使用されており、申請者は、モニタリング、評価、学習フレームワークによってサポートされ、影響を与えるための道筋を明確にする必要があります。 バルターズ、2014 [71]。 学術研究コミュニティは、開発コミュニティから学ぶことができる可能性があります。

高等教育機関の戦略形成における資金提供者の役割を認識し、 Global Research Council (GRC) の責任ある研究評価 (RRA) イニシアチブ [72] は、世界中の主要な研究資金提供者に対し、それぞれの地域および国内の状況において RRA の目標に向けて取り組み、効果を評価するための効果的な評価フレームワークを開発するよう奨励してきました (説明ビデオ) こちら [73])。 RRA に関するワーキングペーパーの作成 (カリーほか、2020 [74])、GRC はメンバーに対し、RRA の原則を組み込み、それを実現するための具体的な行動をとること、また協力と良い実践の共有を通じて互いに学ぶことを求めました。 アン 国際作業グループ [75] は GRC メンバーに指導とサポートを提供し、運動から行動への移行を支援しています。

主に GYA の努力により、ECR もこの議題に向けて自らを動員し始めています。 その 科学的卓越性に関するワーキンググループ [76] は、「科学における好奇心と創造性を解き放ち、多様性と包括性を通じて人間の可能性の開発を促進する」のに役立つ研究環境を特定することに取り組んでいます。 彼らの活動は、ECR コミュニティが自分たちの組織で使われている「優秀さ」の定義に異議を唱え、研究評価を改革する取り組みに参加し、ヤングアカデミー運動に参加することを求めています。 また、資金提供や採用団体に対し、ECRを研究評価の議論に参加させ、研究への貢献やキャリアのより幅広い多様性を認めるよう求めている。

一部の大学やその他の高等教育機関は、DORA に署名し、欧州運動 (後述) に参加していますが、他の主要な関係機関のように研究評価を中心に集団的に組織化しているようには見えません。

ほぼ定量的な評価システムによって引き起こされる問題は、主に「グローバル・ノース」の観点から見られ、診断されており、「グローバル・サウス」は追いつく危険にさらされています。 過度に一般化する危険があるが、「グローバル・ノース」には多様性、公平性、包摂性の欠如を中心とした大きなシステム上の問題があり、評価システムによってさらに悪化している。 「グローバル・サウス」では、何が「質」と「影響力」を構成するのかについての地域的定義が欠如しており、評価システムは（同じ大学の学部間であっても）大きく異なり、課題に対する取り組みは比較的少ない。現状。 世界中で問題は、定量的指標の過度の強調、評価と資源配分の関連、競争力の高い資金調達システムと出版への圧力、そして研究と学術生活の他のあまり定量化できない側面の無視から生じています。

研究評価改革の比較研究に関する査読済み文献は少ない。 まれな例外は、XNUMX つの異なる地域 (オーストラリア、カナダ、ドイツ、香港、ニュージーランド、英国) における研究評価介入の比較であり、XNUMX つすべての指標化されたパフォーマンスが、複数の種類の介入 (少なくとも、少なくとも従来の書誌学的指標を使用) (ISI、2022年 [77])。 DORA は、Web ページ (主に制度的な) ケーススタディを提供しています (DORA [78]) および報告書 (ドーラ、2021 [79]) 他の人に行動を促すように設計されていますが、これらは主にヨーロッパの例です。

ここで著者は、さらなる洞察を得るために、地域の概要と実験と改革の全国的な例を提供しますが、これらは包括的または網羅的であることを意図したものではありません。

　 研究評価改革に関する EU 連合 [80]、または 2022 年 350 月に承認された CoARA は、研究評価改革に関する世界最大のイニシアチブです。 欧州大学協会とサイエンス・ヨーロッパ（大陸の科学資金提供者と学術アカデミーのネットワーク）は、欧州委員会と協力して、40カ国（主にヨーロッパ）のXNUMXの組織によってXNUMX年の歳月をかけて開発された協定またはセットを作成した。原則の (a '改革の旅')、より包括的で責任ある研究評価のために (CoARA、2022 年 [81])。 この協定は、機関、個々の研究者、研究そのものという XNUMX つのレベルの評価に焦点を当てています。 この連合はヨーロッパのパートナーによって統治されていますが、世界規模になるという野心を持っており、DORA と GYA の両方がすでに署名しています。 署名者は、研究評価を改善し、新しい評価基準とツールを開発し、研究評価に関する意識を高め、（査読者などに）トレーニングを提供するためにリソースを投入することを約束します。 この発展は、「真の変化のこれまでで最も希望に満ちた兆候」と表現されています（自然、2022 [82]) 。

EU はまた、研究評価改革を支援するために設計されたいくつかの刺激的な新しい取り組みにも資金を提供しています。特に、オープンでユニバーサルな科学 (OPUS [83]) – 複数の研究プロセスと成果にわたる指標の「包括的なスイート」を開発し、それによってヨーロッパの研究者にオープンサイエンスを実践するよう奨励する – およびオープンサイエンス評価データスペース GraspOS [84] – 研究評価のための政策改革を支援するオープンデータスペースを構築する。

あらゆる分野のフロンティア研究を支援する欧州研究評議会（ERC）（16～2021年の予算は2027億ユーロ）はCoARAに署名し、その評価フォームとプロセスを修正して、より少ない説明を含めてより多くの物語的記述を組み込んだ。従来のキャリアパスと研究コミュニティへの「並外れた貢献」。 提案は、申請者の過去の業績よりもそのメリットに基づいて判断され、科学的卓越性という唯一の基準を使用して、一流の学者で構成される査読委員会によって継続的に評価されます。ERC、2022 年 [85]) 。

ヨーロッパのアカデミーも参加しています。 理事会 ALLEA [86]、欧州 50 か国の 40 以上の国立アカデミーのうち XNUMX つを代表する欧州科学・人文科学アカデミー連盟は、CoARA 運動を支持しています。 ALLEA は、新しいアカデミーフェローを受け入れるための優れた実践例を収集、交換、促進するための専用のタスクフォースを設立し、品質、誠実さ、多様性、公開性の原則に基づいて研究評価の「意味のある文化交流」に貢献することに取り組んでいます。 その中で 2022月XNUMX日の声明 , ALLEA は加盟アカデミーに対し、以下のことを行うよう求めます。

1. 研究のニーズと性質に応じて、研究への貢献と研究におけるキャリアの多様性を認識する。 アカデミーフェローの場合、選考手順では、(1) ジェンダーバランスと初期キャリア研究者特有の課題を考慮し、(2) 文化と分野の多様性をサポートし、(3) さまざまな能力分野と才能を評価し、 (4) 学際性と多言語化を促進する。

2. 研究評価は主に定性的評価に基づいており、定量的指標の責任ある使用によって裏付けられたピアレビューが中心となります。 フェロー候補者の研究の優秀性と影響力の評価は、厳格さと透明性の基本原則を満たし、科学分野の特殊な性質を考慮した定性的な査読に基づいて行われるべきです。

3. 研究評価におけるジャーナルおよび出版物に基づく指標の不適切な使用を放棄する。 これは特に、ジャーナルインパクトファクター（JIF）、論文影響力スコア（AIS）、h-indexなどの指標を、品質と影響力の主要な指標として使用することから脱却することを意味します。

欧州のアカデミーにおける研究評価の改革に関するアレア声明

彼らの 共同反応 [87] EU 協定と CoARA 連合に対し、GYA の ECR コミュニティもこの約束を歓迎し、その原則を実施する方法を提供している。 これらには、包括的で国の特殊性や専門分野の特性の多様性を反映する実践が含まれており、あらゆるキャリア段階の研究者がトレーニング、インセンティブ、報酬を受けており、研究者、スタッフ、委員会メンバーに対するオープンサイエンスに関する必須のトレーニングが不可欠です。

ヨーロッパの研究集約型大学も、「多次元」の研究キャリアへの道として研究評価の改革に取り組んでいます（オーヴァーラエット、B.、2022 [88])。 彼らは、大学が研究、教育、社会への奉仕における多様な貢献を認識するよう刺激し、支援するための共通の枠組みを開発しました。

国家レベルでは、いくつかの国が現在、異なる評価モデルを試験的に導入しています。 ベルギー , オランダ, スイス & UK 全員が「ナラティブ履歴書」を使用しています。 ナラティブ CV は、学業の成果、つまり知識の生成、個人の発展、より広範な研究コミュニティ、およびより広範な社会への貢献をより総合的に検討します (王立協会 [89])。 この種の履歴書に対する支持が広がっている一方で、学者にあらゆる分野で優れていることを強制し、オールラウンダーとしての地位を追求する際に深い専門知識が損なわれる危険性があるという懸念もある（グローブ、J.、2021 [90]）。

キャリア指向の学力評価における全国的な改革を調整している国家研究システムの XNUMX つの例が、次のテキスト ボックスに含まれています。

国内の例: 英国

英国の研究評価フレームワーク (REF) は、「重要性」 (プロジェクトがもたらす具体的な違い) と「リーチ」 (そのプロジェクトの定量化可能な範囲) という XNUMX つの側面を通じて研究の影響を測定します。ウクリ）。 ここでの影響とは、「学界を超えた、経済、社会、文化、公共政策やサービス、健康、環境、生活の質に対する影響、変化、利益」と定義されていますが、これを超えたものは非常に自由度の高い規律です。変化しやすく、おそらく曖昧であり、たとえば、国民の関与を適切に説明できていない。

英国の REF は、2022 年から 2023 年にかけて次の基準に基づいて評価されます。 将来研究評価プログラム 英国の高等教育の研究成果を評価するための新しいアプローチの可能性を探るため、国際的な研究評価慣行の理解も含まれます。 REF の次回の反復では、より多様な出力セットが考慮される可能性があり、おそらくそれらの重要性が低下する可能性さえあります。 現在のモデルでは、成果が 60%、研究への影響が 25%、研究文化/環境が 15% 重要視されています。 これらがより均等に重み付けされていれば、REF は大きく異なって見え、研究文化、研究の誠実性、チームワークがより重視されることになるでしょう (グローブ、2020).

国内の例: フィンランド

2020年、フィンランドの学識団体連合は、研究資金提供者、大学、労働組合からなる特別委員会を調整し、次の声明を発表した。 研究評価におけるグッドプラクティス。 これは、透明性、誠実さ、公平性、能力、多様性という評価の XNUMX つの一般原則を含む、個々の学者を評価するための責任あるプロセスに従うためのガイダンスを定めています。 研究評価のグッドプラクティスでは、個人の学術的貢献を評価する際に、研究の誠実さ、教育と指導、科学的サービス（査読など）がよりよく認められるよう求めています。 この声明では、評価は単に総括的な判断を下すことだけではないと考えており、フィードバックと学習を促進するために、評価者が評価対象の個人とフィードバックを共有することも奨励しています。

研究実施機関と研究資金提供機関はすべて、研究評価におけるグッドプラクティスの実施とガイダンスの地域独自のバリエーションの生成に取り組んでおり、全国的な研究者ポートフォリオCVモデルが開発されています。 Good Practice in Research Assessment では、定期的なレビューと改良に取り組んでいます。

国内の例: オランダ

オランダでは、2019 年に国家表彰および報奨プログラムが開始され、見解表明が発表されました。 みんなの才能を活かす余地。 オランダ王立芸術科学アカデミー (KNAW – IAP および ISC メンバー)、研究資金提供者、大学、医療センター間のこの全国的な協力では、システム全体にわたる研究評価文化の近代化が必要であると述べられています。 その際、評価手順の変更に向けた XNUMX つの目標を掲げています。それは、キャリアパスの多様性の拡大、個人とチームのパフォーマンスの評価、定量的指標よりも仕事の質の優先、オープンサイエンスと学術的リーダーシップです。

2019年以降、オランダの大学は国家ビジョン声明の独自の現地翻訳を制定する動きを見せている。 同時に、資金提供機関は、サンフランシスコの DORA をインスピレーションとして引用し、より多くの「ナラティブ CV」形式を開始し、書誌情報の要求を中止しました。 オランダ研究評議会はつい最近、 「証拠に基づいた」履歴書 いくつかの定量的な情報が使用される場合があります。 KNAW は独自の開発も行いました XNUMXカ年計画 表彰と報酬のアジェンダを社内で実装するため。 表彰と報酬改革プログラムを推進するためにフルタイムのプログラムマネージャーとチームが任命されており、コミュニティ全体の学習を支援するために主要な改革関係者の間で「表彰と報酬フェスティバル」が毎年開催されています。

最後に、DORA Community Engagement 助成金によって資金提供された、 博士課程学生向けの移行期若手科学者イニシアチブユトレヒトに本拠を置く は、研究文化を変える取り組みとして、博士課程の新しい評価ガイドを開発しました。

国内の例: ノルウェー

2021年に、ノルウェー、ノルウェー大学、ノルウェー研究評議会は、 NOR-CAM – 学業評価における表彰と報酬のためのツールボックス。 NOR-CAM は、透明性を向上させ、書誌情報に基づいた狭い指標から研究と研究者の評価を広げるためのマトリックス フレームワークを提供します。 NOR-CAM はノルウェー人キャリア評価マトリックスの略で、2017 年のキャリア評価マトリックスから適応されました。 レポート オープンサイエンスキャリア評価マトリックスを提示した欧州委員会による。 ヨーロッパの前身と同様に、NOR-CAM もオープン サイエンスの実践を評価にうまく統合する方法を提案しています。 このマトリックスは、ノルウェーの研究と教育を評価する学術的地位、研究資金の申請、国家評価者の評価者と候補者をガイドすることを目的としています。 また、個人のキャリア開発のための一般的なガイドとして機能することも目的としています。

このマトリックスには、研究成果、研究プロセス、教育的能力、影響力と革新、リーダーシップおよびその他の能力という XNUMX つの主要な能力分野が含まれています。 次に、マトリックスは、各基準に沿ったキャリア計画と評価の認識を可能にするための提案、つまり結果とスキルの例、文書化の手段、および各基準についての熟考を促す提案を提供します。 候補者は、すべての基準で同等のパフォーマンスを発揮することを期待されているわけではありません。

NOR-CAM は、ノルウェー大学の調整のもと、研究実施および資金提供組織の関係者からなるワーキング グループによって設立されました。つまり、原則としてノルウェーのすべての大学の会員の賛同を得ています。 その後、ノルウェーの大学を巻き込んだワークショップが開催され、NOR-CAM を任命および昇進評価手順に組み込む方法を共同開発しました。また、管理事務を削減するために、国内外の複数のソースからデータを取得する「自動」履歴書システムが開発中です。重荷。 上述の XNUMX つの国家レベルの改革計画のコーディネーターは定期的に集まり、経験を交換し、学びを共有してきました。

ラテンアメリカおよびカリブ海地域 (LAC) は、世界の他の地域とは多くの点で対照的です。 ここでは、科学は世界的な公共財と考えられており、その研究および学術出版のシステムとインフラストラクチャは公的所有（資金提供）されており、非営利です。しかし、これらの地域の強みと伝統はまだ評価システムに反映されていません。 変化に影響を与えることができる主要な関係者は、国立研究評議会、科学省、主要な研究大学です。研究者の 60% 以上が大学に所属していることを考えると、高等教育機関の役割は極めて重要です (リサイト、2020 [91])。 評価システムを SDGs や、この地域で伝統が盛んなオープン サイエンスや市民科学運動とより密接に連携させる可能性があります。

現在、研究評価システムは全国的、地域的、組織的に高度に細分化されており、研究は教育、普及、共同制作などの他の機能と競合しています。 LAC の研究評価および研究者表彰システムは一般に、ジャーナルと大学ランキングのインパクトファクターのみに基づいて、「グローバル・ノース」の方法論に基づいた卓越性の概念を支持しています (クラッソ、2020 [92])。 研究評価の実践では、さまざまな形式の知識生産とコミュニケーション、および学術的キャリアの多様性（たとえば、教育、トレーニング、メンタリング、市民科学、科学の公共コミュニケーションなど）の認識がほとんど欠けています。 これは、モノグラフや現地の言語が頻繁に使用される社会科学や人文科学の研究者にとって特に問題です (クラッソ、2021 [93])。 地域の雑誌や指標は、そのような評価プロセスでは評価されないか、認識されません。 これらすべては、オープンアクセスジャーナルに対する APC の支払いに限られた資金が振り向けられているため、情報システムが弱く、（特にコミュニティが所有する）インフラストラクチャの相互運用性が弱いことによってさらに悪化しています。

それにもかかわらず、この地域の一部の大学は、特に研究者やミッション指向の研究の評価において、定性的方法論と定量的方法論を組み合わせた評価手法を導入し始めています。グラ、2022 年 [94])。 より包括的な研究評価スキームへの移行には、より定性的な基準の共同設計が必要となるでしょう。 定量的データの責任ある使用とピアレビュープロセスの強化。 責任ある研究評価とオープンサイエンスに関する共通の原則に向けて、政策と方法論を調和させ調整する漸進的な変化。 学際的/学際的な科学、環境および地域の問題をより適切に評価するための新しい方法論とデータ。 書誌多様性と多言語主義をサポートする共有、相互運用可能、持続可能な連合インフラストラクチャ。 そして、市民や社会運動の参加を拡大し、過小評価されている研究グループの参加を広げる参加型のボトムアップ設計です。

これらの課題に対処するために、この地域は研究評価のための一連の原則とガイドラインを採用しました。 の CLACSO-FOLEC 研究評価原則宣言 95 年 2022 月に承認された [220] は、品質と社会的関連性のある科学を保証および保護することを目的としており、DORA とオープン サイエンスの原則、研究成果と研究キャリアの多様性、地域ジャーナルとインデックス サービスの価値、および学際性、地元の言語、先住民族の知識。 現在までに XNUMX 名を超える支持者がおり、責任ある研究の評価と改革の例にはすでに前向きな傾向が見られます。 いくつかの国の例が次のテキスト ボックスに表示されます。

国内の例: コロンビア

DORA Community Engagement Award の資金提供を受けて、コロンビア大学協会、大学出版社、研究マネージャー、科学技術管理ネットワークなどが、コロンビアにおける責任ある指標の機会と課題に協力してきました。 ベンチマークとしての国際機関との協力も含めた一連のワークショップや協議を通じて、彼らはコロンビアの機関が独自のREFを設計するのに役立つルーブリックを開発した。 このルーブリックは、地方レベルで特定された課題を説明するよう努めています。これには、高等教育機関にとって、研究評価の代替手段に関する知識の欠如、国の研究評価エコシステムの性質、変化への抵抗などが含まれます。 あ 専用ウェブサイト 研究者を支援するインフォグラフィックスとともに開発され、普及と学習は引き続き全国で共有されています。

詳細： コロンビアの責任ある指標プロジェクト:研究評価のためのコロンビアの制度的、方法論的手段に向けて | DORA (sfdora.org)

国内の例: アルゼンチン

改革の興味深い試み 国家科学技術研究評議会 (Consejo Nacional de Investigaciones Centíficas y Técnicas – CONICET) は、主流回路で索引付けされている雑誌を、次のような地域拠点で索引付けされている雑誌と同じレベルに置く社会科学および人文科学のための特別決議を作成しています。 サイエロ, レダリック or Latindex-カタログ。 この規制は、施行におけるいくつかの曖昧さを明確にし、基準を拡大するために現在検討中です。 次に、2022 年に CONICET の取締役会はサンフランシスコ DORA を遵守し、プロセスの評価と継続的改善を強化することで研究を改善するというその取り組みを公的に認めました。

　 独立行政法人研究技術開発・イノベーション推進機構 (Agencia Nacional de Promoción de la Investigación、el Desarrollo Tecnológico y la Innovavión – AGENCIA I+D+i)、 科学技術省は、競争の激しい公募の多様性と範囲により、この国の主要な研究資金提供者となっています。 現在、AGENCIA は プログラム 主要な財政基金における研究評価プロセスを強化する。 現在の改善点には、これらのプロセスへのコミットメントを刺激するための査読者の報酬、プロジェクトの成果が出版物やオープン流通文書を通じてパブリックドメインに送られるべきであるためのオープンアクセスへのインセンティブ（「」の義務に従って）が含まれます。オープンアクセスの機関デジタルリポジトリ国内法 26.899）、およびジェンダー、過小評価されている世代グループ、および/または研究評価プロセスにおける組織的な強化均等化メカニズムを通じて、公平性と包括性の側面を組み込むこと。 それにもかかわらず、さまざまな規律委員会では、提案に責任を負う主要な研究者のカリキュラムの背景が、引用影響指標を使用して同僚によって依然として評価されています。

最後に、DORA コミュニティ参加助成金の資金提供を受けて、国立デ ラ プラタ大学心理学部は、 仮想イベント 2022年640月には心理学と社会科学の評価に関する研究会が開催され、12カ国からXNUMX人以上（主に学部生）が参加し、大陸の若者の関心が示された。 このイベントは学部の XNUMX 年間の管理計画の策定に役立ち、スペイン語圏における学術評価の改革に関する本に影響を与えることになります。

国内の例: ブラジル

ブラジルでは、州政府や連邦政府ではないにしても、研究機関や研究者の間で研究の評価が激しく議論されています。 しかし、DORA に署名した機関の数は世界で最も多いにもかかわらず、研究評価改革の例は驚くほど少ないです。 国内の DORA 署名者の調査、機関との協議、DORA コミュニティ参加助成金による資金提供による公開イベントを経て、 ガイド 大学のリーダーが責任ある評価の実践を模索できるように準備されています。

このガイドは、次の 1 つの主要な行動に焦点を当てています。(2) あらゆる形式の責任ある評価に対する意識を高める。 (3) 評価者および評価される者の研修と能力開発。 (XNUMX) 実施と評価。 次のステップは、評価実践に変化をもたらし、状況に応じたモデルを試験的に導入するための実践者のネットワーク、つまり XNUMX の大学諜報機関を構築し、最終的には変化をもたらしたいブラジルの教育機関向けのロードマップを作成することです。

プロジェクト メトリカス (2022)。 ブラジルの高等教育における責任ある評価に関する制度的課題と展望: Projeto Métricas DORA パートナーシップの調査結果の概要。 ブラジルのサンパウロ大学。

北米では、オープンサイエンスのアジェンダによって加速され、純粋な定量的指標からの移行が進行中です。 オープンサイエンスとオープンレビューは、評価慣行の透明性を高めるのに役立ち、採用、昇進、ピアレビューパネルにおける自己引用や縁故、生来の性別やその他の偏見などの問題を内省し表面化する機会を提供しています。 よりスマートでインテリジェントな指標と混合評価方法を開発する必要性についての議論が続いており、基礎科学 (高度な知識) と応用科学 (社会的影響) に役立つハイブリッドで収束した評価モデルの可能性があります。

また、大学には学術的なスペースと、「先行者不利益」なしに現在評価に使用しているツールから手を引く自由が必要であり、ユーザーコミュニティは評価プロセスの一部になって、ツールの使いやすさを測定する必要があるという認識もあります。知識、その摂取と影響。 しかし、研究エコシステムの上層部と下層部、つまり現状から恩恵を受けている人々や最近参入した人々による、変化に対する偶発的な抵抗（「故意の盲目」）も存在します。 DORA に署名した米国の大学はほとんどなく、新しい DORA プロジェクトがその理由を理解しようと努めています (タラ）。 それにもかかわらず、カナダと米国の両国には、体系的な変化をもたらすことを目的とした国家的および制度的取り組みの興味深い例がいくつかあります（次のテキストボックスを参照）。

国内の例: 米国

米国では、国立科学財団がその活動を通じて変化を主導する立場にあります。 研究の社会への影響を促進する プログラムと付随するもの より広範な影響を与えるツールキット 研究者や評価者向け。 先住民族や伝統的に疎外されてきたコミュニティへの関与を含む、公平性、多様性、包括性が主要な推進力です。 IAP および ISC の会員である米国国立科学アカデミーも、情報交換と従来の研究者の履歴書の改革に関する学習のためのプラットフォームを提供することで、広範な改革を促進しようとしています (NAS 戦略評議会、2022 年）。 米国アカデミーの研究から生まれた、 オープン奨学金のための高等教育リーダーシップ・イニシアチブ 60を超える大学からなる団体で、公開性と透明性に報いるために研究評価を再考するなど、オープンな学問を推進するための共同行動に取り組んでいます。

たとえば、国立衛生研究所は、新しい バイオスケッチ (科学cv) 補助金申請の担当者が体系的なバイアスと報告の負担を最小限に抑え、同時により影響を重視できるようにします。

国内の例: カナダ

カナダでは、DORA が推進する研究評価の改革について複数の議論が行われています。 XNUMX つの連邦研究評議会はすべて署名者です。 自然科学工学評議会は、 研究の質の基準を再定義DORA 原則に沿って、書誌情報、引用、h インデックスを省略し、質の高い指標には、優れた研究データとデータ アクセス管理、公平性、多様性と包括性、トレーニングの責任が含まれるようになりました。 他のXNUMXつの研究評議会もこれに追随する可能性が高い。

カナダの研究者は、ユーザー コミュニティとの共同制作を通じて、研究の社会的影響を促進するための意図的な取り組みである「知識の動員」に焦点を当てる傾向があります (ISI、2022年). リサーチ・インパクト・カナダ は、インパクトリテラシー、つまり「適切なインパクトの目標と指標を特定し、インパクトの経路を批判的に評価して最適化し、状況に応じてアプローチを調整するために必要なスキルを熟考する」能力を通じて、組織の能力を構築することを目的とした 20 以上の大学のネットワークです。公共利益のための研究の影響を最大化します。

DORA に署名したカナダの大学はほとんどないことは注目に値します。 あらゆる変化の主な動機は、先住民の学問を受け入れることである可能性が高く、これはカナダでは道徳的義務となっています。

アフリカにおける研究のインセンティブと報酬システムは、「国際的」、主に西洋の規範や慣例を反映する傾向があります。 アフリカの研究機関は、研究における「質」と「卓越性」へのアプローチを開発する際にこれらに従うよう努めていますが、それらは必ずしも現地の知識やニーズに適切であるとは限りません。 この大陸では、研究の「質」、「卓越性」、「影響力」が明確に定義されておらず、「研究の影響力」の文化に慣れていない研究者もいます。

アフリカの評価システムでは、社会的利益のための研究、教育、能力開発、研究の管理と管理が考慮されていない傾向があります。 出版モデルは状況に依存せず、APC がアフリカの研究成果に対して障壁を生み出しています。 研究評価システムの改革は、アフリカの研究が社会的課題にもたらす貢献における非対称性を修正するのに役立つだけでなく、アフリカの研究コミュニティが貢献するためのリソースへのアクセスを改善するのにも役立つ可能性がある。 多様な視点や知識体系を発展させ、アフリカの研究の質とは何かを解釈するためには、分野や分野を超えた協力への障壁を打ち破ることが不可欠です。 研究の質と卓越性の評価について、地域的、先住民的、そして「従来の」世界観を統合するメカニズムを、いかなる改革においても考慮する必要がある。

大陸では RRA を中心に強力なパートナーシップが構築されています。 開発機関の国際コンソーシアムによって資金提供され、 科学助成評議会イニシアチブ (SGCI) [96]は、アフリカ17か国を参加させて、グローバル・サウスの観点から科学資金提供機関と研究者の評価を検討し、アフリカにおける卓越した研究に関する研究を実施した(ティジセンとクレーマー・ムブラ、2017 [97]、[98]）。 それは、サハラ以南のアフリカにおける卓越した研究の問題と、卓越性の概念を出版物を超えて拡張するアプローチの必要性を探りました（ティジセンとクレーマー・ムブラ、2018 [99]); 研究コンテストを実施する際の優れた実践方法に関するガイドライン文書を作成し、現在更新中です（SGCI [100])。 2022 年の世界科学フォーラムで、SGCI と GRC の後援のもと、南アフリカの 国立研究財団（NRF） と科学イノベーション省は、RRAの推進における資金提供機関の役割について議論し、経験を共有し、優れた実践を推進し、能力構築と協力の進捗状況を評価するために、国際および地元のパートナーを招集した(NRF、2022 [101])。

　 アフリカ証拠ネットワーク [102]、3,000 人を超える専門家からなる汎アフリカの分野横断的なネットワークは、学際的研究の評価に関するいくつかの作業を実施しました (アフリカ証拠ネットワーク [103]) しかし、これが国および地域の評価システムにどの程度組み込まれているかはまだ明らかではありません。 の アフリカ研究と影響ネットワーク [103] は、アフリカにおける科学技術イノベーション (STI) 評価の質を評価するための指標の集合からなるスコアカードの開発に取り組んでおり、これを STI への投資決定をガイドするウェブベースの意思決定ツールに開発したいと考えています。 。

国家レベルでは、漸進的な変化が始まっています。いくつかの例が次のテキスト ボックスに示されています。 研究資金提供機関が主導権を握っている他の国には、タンザニア (COSTECH)、モザンビーク (FNI)、ブルキナファソ (FONRID) などがあります。 GRC の RRA イニシアチブは、国際開発部門、特に IDRC の取り組みから学んでいるのと同様に、大陸における変化のための重要なプラットフォームであることが証明されています。 研究品質プラス (RQ+) 評価フレームワーク [104] が、すでに適用され、研究され、改良されているという点で区別されます。 アフリカを拠点とする 国際評価アカデミー [105] も興味深い機会を提供するかもしれません。

国内の例: コートジボワール

コートジボワールの中心にある プログラム Appui Stratégique à la Recherche Scientifique (PASRES) (科学研究のための戦略的支援プログラム) は、研究における卓越性は研究出版物の数を超え、「研究の取り込み」という側面を含めなければならないという信念です。 国家的状況に適応した研究評価プロセスは、科学的および社会的関連性、パートナーの関与、学生の研修、知識の動員、実現可能性に関連する基準に基づいています。 評価委員会には、科学専門家（実施された研究の質を判断するため）、民間部門（経済的豊かさを判断するため）、およびその他の機関（研究の文化的および社会的可能性を測定するため）が参加します。

PASRES は XNUMX つの地元雑誌 (XNUMX つは社会科学と言語学、もう XNUMX つは環境と生物多様性) を設立し、これらの雑誌の出版費用を全額負担しています。 最後に、PASRES は、研究者が民間部門や市民社会に研究を発表できるようにする能力構築活動やテーマ別会議に資金を提供しています。

詳細: Ouattara, A. and Sangaré, Y. 2020. コートジボワールでの研究支援: プロジェクトの選択と評価のプロセス。 E. Kraemer-Mbula、R. Tijssen、ML Wallace、R. McLean (編)、African Minds、138–146 ページ

パスレス || Program d'Appui Stratégique Recherche Scientifique (csrs.ch)

国内の例: 南アフリカ

南アフリカ (SA) における研究評価は主に書誌情報学に焦点を当てています。 1986 年に高等教育省 (DHET) が、認定インデックスのジャーナルに掲載された研究出版物に対して大学に補助金を支払う政策を導入して以来、大学の研究出版物は、出版物ごとに付与されるランド値と同時に増加しました。 研究資金を確保し、キャリアを向上させるために、SA の研究者はできるだけ多くの論文をできるだけ早く発表し、ひねくれた予期せぬ結果を生み出しました。

南アフリカ科学アカデミー（ASSAf）は、同国における学術出版に関する報告書（2005～2014年）を委託し、問題のある編集慣行と略奪的出版の兆候を発見した（ASSAf、2019年）。 微妙な分類システムを使用すると、過去 3.4 年間の推定記事総数の 2011% が略奪的であると判断され、その数字は 2017 年からさらに急激に増加しました。略奪的であると判断されたジャーナルは、DHET の「資金提供の対象」に含まれました。リストとSAのすべての大学の学者が関与していることが判明した（ムートンとバレンタイン、XNUMX）。

ASSAf の報告書は、体系的、組織的、個人レベルでの勧告を行っており、DHET、NRF、および一部の大学によるその後の対策により、SA の学者による（DHET 認定ジャーナルでの）略奪的出版の発生率が 2014 年にピークに達しており、SA での略奪的行為が抑制されたようです。 2015 年以降は減少。 また、研究者の間では、SA の DHET ポリシーが協力を阻害し、大規模な研究チーム内の個人の貢献を認めていないため、業績評価/研究評価スキームの見直しが必要であるとの懸念もあった。 出版単位システムの使用は、現在、研究の質と生産性の評価、および学者の選抜と昇進の手段としては不十分であると認識されています。

詳細：

南アフリカ科学アカデミー (ASSAf)。 2019. XNUMX 年: 第 XNUMX 回 ASSAf 研究報告書が南アフリカ国内外で出版されました。 プレトリア、ASSAf。

Mouton, J. および Valentine, A. 2017。略奪的ジャーナルにおける南アフリカの執筆記事の範囲。 南アフリカ科学ジャーナル、Vol. 113、No. 7/8、1 ～ 9 ページ。

ムートン、J.ら。 2019. 南アフリカの研究出版物の品質。 ステレンボッシュ。

2019_assaf_collaborative_research_report.pdf

国内の例: ナイジェリア

ナイジェリアの大学は、教育、研究の生産性、コミュニティサービスという XNUMX つの主要分野で研究者を評価しています。 このうち、研究の生産性は、出版された査読済みの研究論文に重点を置き、これらの出版物における著者の数と役割（筆頭著者および/または責任著者）を考慮して、より重視されます。 世界的な競争力を高めるため、ほとんどの大学は、品質と国際協力をより重視するために、International Scientific Indexing (SCOPUS) によって索引付けされたジャーナルをより重要視しています。 これらのジャーナルに掲載される論文の割合を昇進基準として使用します。

このことによる残念な結果は、多くの研究者、特に人文科学の研究者には、これらのジャーナルに発表するための十分な資金や能力が不足しているということです。 その代わりに、研究論文ではなくレビューを多く出版したり、知的貢献ではなく経済的貢献を理由に、影響力のある先輩同僚を共著者として含めざるを得ないと感じたりします。 ハゲタカ出版と同様に、盗作も増加しています。 しかし、ナイジェリアの大学の全体的な世界ランキングは上昇しており、それによって政府や資金提供機関が満足し、成功とみなされています。 この点に関してはナイジェリアだけではない。

ナイジェリア科学アカデミーは、学者が（現在は無料で）出版し、所属機関から高く評価される主力ジャーナルとして独自の査読付きジャーナルを再確立しました。

この地域では、競争力の高い定量的指標に基づく評価システムが主流となっており、通常、英語圏の国が評価の枠組みを形成し、他の国々もこれに追随しています。 例えばオーストラリアには、書誌学と大学ランキングに基づいた競争的資金制度があり、「SDGsさえも業績指標に変えられている」。 同様の課題はマレーシアとタイにも存在しており、他の ASEAN 諸国も追随する可能性があります。 重要な例外は中国です。中国では、政府が大きな体系的変化を生み出す上で重要な役割を果たしており、世界的に重大な影響を与える可能性があります（テキストボックスを参照）。

心強いことに、この地域の研究コミュニティの間で、現在の研究評価システムの限界と研究の公正性に対する脅威についての認識と懸念が高まっています。 国立ヤングアカデミーや ASEAN 若手科学者ネットワークを含む ECR は、草の根運動と協力してこの問題にますます取り組んでいますが、意見を聞いてもらうのに苦労しています。 大学の指導者を含む政府および資金提供コミュニティは、この議論にほとんど参加していません。彼らは定量的な指標を重視していますが、研究への影響を認識していません。 実際、相談者らは、より定量的な基準が追加されており、機関や研究者がこの制度を悪用し始めており、研究不正行為を助長していると報告している。

しかし、次のテキスト ボックスに例示されているように、大きな変化の機会があります。

国内の例: 中国

現在、世界で最も研究生産性の高い国（トレフソン、2018; スタティスタ、2019)、研究投資の点で XNUMX 番目 (OECD、2020 年）、中国で起こっていることは、実際の体系的な変化に影響を与える可能性があります。 新しい州レベルの政策は、研究の「科学的精神、イノベーションの質、サービスへの貢献」を回復し、「大学が本来の学術目的に戻ることを促進する」ことを目的としている（ほとんど、2020）。 Web of Science の指標は、評価や資金提供の決定における主要な要素ではなくなり、出版物や JIF の数も重要ではなくなります。 質の高い中国の雑誌での出版が奨励され、その発展がサポートされます。 「代表的な出版物」（網羅的なリストではなく、5 ～ 10 件の論文から選ばれたもの）は、重要な科学的疑問の解決、新たな科学知識の提供やイノベーションの導入、真の進歩に対する研究の貢献を評価する基準とともに、評価委員会で求められています。の、特定の分野。

中国最大の基礎研究資金提供機関である中国国家自然科学財団（NSFC）は、自らのニーズに合わせた研究の質と卓越性の評価システムを開発するにあたり、2018年以来、科学の変化、つまり世界の変化を反映するための体系的な改革を実施してきた。科学の展望、学際性の重要性、応用研究と基礎研究の組み合わせ、研究とイノベーションの相互作用（マンフレッド・ホーバット、2018)、書誌計量学から中国における研究の地域的関連性を強化するシステムに移行 (チャンとシベルセン、2020）。 好奇心に基づく破壊的な研究、研究の最前線にある深刻な問題、経済的および社会的要求に適用される優れた科学、壮大な課題に取り組む学際的研究にさらに適合するよう、提案評価のための査読システムを改善しました。 2021 年には、提案の 85% がこれらのカテゴリを使用して提出され、審査されました。 最近、2022年XNUMX月に、XNUMXつの省庁、XNUMXの研究機関、XNUMXつの大学、XNUMXつの地方自治体が参加する、科学技術人材評価に関するXNUMX年間の試験的改革計画が発表された。 その目的は、イノベーション システムのさまざまな部分に従事する科学技術人材の評価指標と評価方法を探ることです。

準地域の例: オーストラリアとニュージーランド

オーストラリアとニュージーランドは現在、重要な岐路に立っています。 オーストラリアでは、オーストラリア研究評議会、オーストラリア研究優秀賞、およびゴールドオープンアクセス交渉の継続的な並行レビューが累積的に機会を提供しています（ロス、2022).

科学資金の将来に関する公的協議を受けて、ニュージーランドは新しい資金を開発中です。 体系的なプログラム 国の研究とイノベーションシステムの将来のために。 オーストラリアとニュージーランドは両国とも、先住民の研究グループのための計量システムの開発に貢献してきました（ケアの原則).

国内の例: インド

科学技術省の政策研究センター（DST-CPR）は、主要な関係者（国の資金提供機関、研究機関、アカデミー）とのワークショップ、インタビュー、調査を主導し、インドにおける研究評価とその改革に関する最近の研究を実施した。 その結果、大学や国家政策上重要な多くの機関（農業など）はほぼ定量的な指標のみに焦点を当てているが、一部の資金提供機関やインド工科大学などの機関はより定性的な指標も採用していることが判明した。 一流機関におけるこのより定性的なアプローチは、すでに国家的優先事項に関する研究により多くの資金を振り向ける役割を果たしているが、それが研究の質とインパクトに定量的な影響を与えているかどうかを判断するのは時期尚早である。

評価の主なベンチマークは専門家委員会の意見に基づくピアレビューですが、それは完全に定量的な指標に基づいた申請の最初のスクリーニング後にのみ行われます。 これらの委員会には根本的な課題も存在します。それは、オープンサイエンスの実践に対する多様性と理解の欠如、研究の社会的影響のほとんど考慮されていないこと、能力の不足と偏見です。 これらの問題、およびより一般的な評価方法はほとんど理解されておらず、この主題に関するガイドラインや文献も不足しています。

それにもかかわらず、研究評価を改革する必要性に対する意識が高まっています。 DORA コミュニティ参加助成金の資金提供を受けて、インド国立若手科学アカデミーはインド科学研究所 (IISc) および DST-CPR と提携して、研究評価を改善できる方法を模索しています。その検討内容は、主要な関係者と共有されています。インドの研究をより革新的かつ/または社会的関連性のあるものにするために、インドの研究文化を改革し、最終的には変える必要性についての国民的対話を刺激することを目指しています。 DST-CPR は、全国機関ランキング フレームワークに統合できる優れた研究のためのフレームワークを開発することを期待しています。

詳細：

バタチャジー、S. 2022。 インドの研究を評価する方法はその役割を果たしているのか? – ワイヤーサイエンス

DORA_IdeasForAction.pdf (dstcpriisc.org)。

Suchiradipta, B. および Koley, M. 2022 年。インドにおける研究評価: 何が残るべきで、何がより良くなるでしょうか? DST-CPR、IISc。

全国の例: 日本

日本では研究評価の基準が高度に整備されており、内閣府総合科学技術・イノベーション会議や文部科学省などが発行する「研究開発の評価に関する国のガイドライン」も存在する。各省庁も独自のガイドラインを作成しています。 これに加えて、大学や研究機関は研究や研究者のために独自の研究評価システムを導入しており、世界の多くの地域と同様に、それが組織の業績や予算配分に結びついています。

定量的評価への過度の依存に対する懸念が高まっている。 これを受けて日本学術会議は、 日本の研究評価の将来についての提言 (2022) は、定量的な尺度を重視せず、定性的な尺度を重視すること、研究の多様性と研究評価における責任をより認識すること、および研究評価慣行の改革における国際的な傾向を監視することを求めています。 最終的には、研究への関心と推進が研究評価の中心となるべきであり、研究者に対する疲労、意欲の低下、過度のプレッシャーを防ぐためにあらゆる努力が払われるべきです。

評価指標に関する文部科学省の調査によると、JIFは多くの指標のうちのXNUMXつであり、分野によって異なりますが、それ自体は日本の研究に強い影響を与えていないことがわかりました。たとえば、医学ではJIFの使用率が高いです。そして、オープンデータのような非伝統的な研究活動は評価される可能性が低くなります。

詳細はこちら: 提言 – 科学の発展のための研究評価に向けて: 望ましい研究評価に向けた課題と展望 (scj.go.jp)

結論として、一部の地域、国、機関では研究評価の改革の機運が高まっています。 ここで示されている例には、全国的な改革、変化を求める同じ志を持った機関のコンソーシアムや連合の構築、特定のセクターの標的化/誘導、および邪悪なインセンティブや行動に対処するための介入が含まれます。

これはまだ首尾一貫した包括的な世界的な会話ではなく、実践や洞察が必ずしもオープンに共有されているわけでもありません。 GYA、IAP、ISC メンバーの中にはすでにこの分野に積極的に取り組んでいるメンバーもおり、メンバー同士やより幅広いメンバーと学習や優れた実践を共有するのに役立つ機会が見つかる可能性があります。 2023年後半にResearch on Research Institute（RoRI）による責任ある研究評価の世界監視機関（AGORRA）が発足することにより、学習を共有し、国内および国際的な改革システムを比較分析し、XNUMXつの改革を加速するためのさらなるプラットフォームが提供されるでしょう。これらのシステム全体で良いアイデアを交換し、テストする方法。

この文書では、研究評価改革の主な推進要因、機会、課題を明らかにし、世界、地域、国、制度レベルで起こっている変化の実例をまとめました。 この目的は、世界的な研究エコシステムの重要な構成要素として、GYA、IAP、ISC とそれぞれのメンバーを動員することです。

過去 XNUMX 年間の科学文献と擁護活動に基づいて、XNUMX つの主要な結論があります。

1. 研究者、機関、成果の評価方法を再考することが急務であることは明らかかつ緊急です。 研究の誠実さと質の維持、多様で包括的かつ無差別な科学の最大化、そして地球規模の公共利益のために科学を最適化することが、急速に変化する世界の中での主要な推進力となります。

2. 研究の委託、資金提供、実施、伝達の方法は急速に進化しています。 ミッション指向で学際的な科学への動き、オープンサイエンスの枠組み、査読モデルの進化、AIと機械学習の使用、ソーシャルメディアの急速な台頭により、従来の研究のやり方とコミュニケーションの方法が変化しており、研究評価システムについて新たな考え方が必要となっています。そしてそれを支える指標と査読プロセス。 これらのシステムを将来にわたって保証するには、さらに多くの緊急の研究が必要です。

3. 複数の形式の研究成果、プロセス、活動を評価する定量的指標と定性的指標の両方を備えた、よりバランスの取れた研究評価システムが不可欠です。 しかし、質的査読プロセスが書誌情報学と少なくとも同じくらい重要であると述べるのは簡単ではなく、世界のさまざまな地域が評価システムの開発においてさまざまな段階にあることによってさらに複雑になります。一部の地域では、研究評価改革に関する議論がかなり進んでいます。他の場合には、それらは初期段階にあるか、存在していない場合もあります。

4. 研究を評価し資金を提供する一貫した方法を開発および実施するために主要な利害関係者コミュニティを動員するには、協調的かつ真にグローバルかつ包括的なイニシアチブが必要である。 相互に、また他のセクター（特に研究資金提供者や開発機関）から学びます。 変革的な変化に向けた集団的で包括的な行動には、国際化や普遍化ではなく相互関連性を認識する必要がある。つまり、状況に敏感であり、世界のさまざまな地域が直面するさまざまな課題や研究エコシステムの豊かな異質性を認識し、同時に十分な量の活動を確保する必要がある。均質性により、互換性のある研究および資金提供システムと研究者の流動性を可能にし、相違と断片化を最小限に抑えます。 部分的で排他的な会話は、歴史的に排除されてきた人々にさらに偏見を与え、不利益をもたらす危険があります。

5. 指標は研究エコシステム全体をカスケードし、これらすべてのレベルは相互に関連しているため、世界、地域、国家、制度のすべてのレベルで変化が必要です。 すべての利害関係者は、敵対者ではなくパートナーとして役割を果たす必要があります。これには、資金提供者、大学、大学および研究機関協会、政府間組織 (IGO)、政府および政府ネットワーク、学会、科学政策立案者、研究およびイノベーション管理者、個人の研究者が含まれます。 GYA、IAP、および ISC のメンバーシップは、集合的にこの豊かな状況の大部分をカバーしています (図 1、付録 C)。

図 1: GYA、IAP、および ISC メンバーシップに対する関係者のマップ (クリックして表示)

GYA、IAP、ISC などの組織の結集力は、研究エコシステムの大部分にわたって多様な意見や経験をまとめるのに役立ち、既存および新しい取り組みを実験し、そこから学び、その上に構築することができます。 重要なのは、政府、研究資金提供者や大学、DORA のような重要な世界的運動など、変化を促す主要な関係者とつながり、アクターのアーキテクチャを動員できることです。 これらは集合的に次のように機能します。

● 提唱者 – メンバーが (i) 後輩の指導者および監督者、(ii) 高等教育機関のリーダー、(iii) 資金提供および出版ガバナンス組織の理事、および ( iv) 政策立案者の顧問。

● イノベーター – 包括的かつ革新的な方法で基礎研究と応用研究を評価するためのさまざまなアプローチを模索します。

●模範となる者 – 自らの組織文化を変える – メンバーシップ、賞、出版および会議の慣行を刷新し、模範を示して指導する。

● 評価者 – 研究者、研究、機関を評価することを業務とする組織レベルと個人レベルの両方のメンバー、出版、編集、査読の役割を持つメンバーの役割を活用します。

● 資金提供者 – 特に ISC に代表される資金提供機関と、国内および国際的な大規模な助成金を管理および分配するメンバーを活用します。

● 協力者 – DORA、EU の CoARA、ユネスコのオープン サイエンスへの取り組みなど、既に確立されている改革キャンペーンを支援します。

この文書の著者は、GYA、IAP、ISC、およびそれらのような組織が次の方法で取り組むことを奨励しています。

アクション 1: 学習内容と優れた実践方法を共有する

この文書では、世界中の介入とイノベーションの例に焦点を当てています。 経験を共有し、強力で包括的な「有志連合」を構築するためのスペースが不可欠です。

1.1: すでにこの分野に積極的に取り組んでいるメンバーに、特に全国レベルで学習を共有し、戦略的つながりを構築するためのプラットフォームを提供します。 これらの例を使用してデータを入力します。 DORA のダッシュボード [106] 学習と優れた実践。

1.2: 制度的、国家的、地域的なアプローチを特定し、優れた実践を見つけて共有するために、研究評価改革におけるメンバー主導の展開を調査および地図化する。 会員全体での権利擁護と学習を構築するために、国内および国際的な主要な取り組みをすでに主導または従事している人々を招集します。

アクション 2: 模範を示す

GYA、IAP、ISC のメンバーシップは研究エコシステムの多くの部分をカバーしており、それぞれが科学者としての成功がどのようなものであるかを形作る上で重要な役割を果たすことができます。

2.1: 広範な会員全体にわたる、より進歩的な研究評価手法への移行。 DORA と GRC からの学びを活用しながら、自らの会員哲学と実践を通じて模範を示し、研究評価の文化の変革を支援します。 伝統的にエリート組織である学術界は、ここで特別な役割を担っている。この多元性を反映するために、研究の質と影響についてより広範で多元的な理解を反映するために、独自の選出と選択の基準を拡大することが奨励されるべきである。メンバーシップの包摂性と多様性が高まります。

2.2: 地域の協力とリーダーシップを刺激する。 GYA 会員と全国ヤングアカデミーの地域ネットワーク、IAP の地域アカデミーネットワーク、ISC の地域フォーカルポイントに対し、ALLEA 理事会の模倣を検討するよう奨励する。 イニシアチブ、独自のコンテキストに合わせてカスタマイズされます。

アクション 3: 主要な関係者と戦略的パートナーシップを構築します。

研究評価改革の推進に責任を負う主な主体は、政府、研究資金提供者、大学の XNUMX つです。 GYA、IAP、ISC はそれぞれ、現在存在する断絶を改革し橋渡しする取り組みに研究コミュニティを参加させるのに役立ちます。

3.1: GRC のリーダーシップと連携して、協力する方法を模索します。基本的には、メンバーとそれぞれの GRC 各国の代表者を刺激して、研究コミュニティがどのように参加できるかを模索します。

3.2: 国際大学協会 (IAU) などの世界的および地域的な大学ネットワークと連携して、研究コミュニティ向けの新しいトレーニング ツールを開発する。 GYA、IAP、ISC の集合メンバー内で HEI のリーダーシップを擁護者として活用する。

3.3: DORA 助成対象国 (アルゼンチン、オーストラリア、ブラジル、コロンビア、インド、日本、オランダ、ウガンダ、ベネズエラ) の加盟機関を DORA 助成リーダーと結び付け、アイデアを共有し、これらの地域の取り組みを拡大する可能性があります。

3.4: 低・中所得国および後発開発途上国における研究評価のための革新的で影響力のある戦略をすでに展開している主要な国際開発機関との関係を構築する。

3.5: ユネスコと協力して、ユネスコの規定に基づく国家研究評価の約束の形成を支援する。 オープンサイエンスに関する推奨事項。

アクション 4: 研究評価の将来に関して知的リーダーシップを発揮する。

研究評価改革においては、具体的かつ緊急の課題に焦点を当てることが不可欠です。 GYA、IAP、ISC、およびそれらのような国際ネットワークは、それぞれの招集権限、メンバーの知的重みと影響力、および主要な支持者とのつながりを活用できます。

4.1: 研究評価改革を再考し実行するための一連のマルチステークホルダーディスカッションフォーラムまたは「変革ラボ」を主要な関係者と共同で開催する – 高等教育機関とそのグローバルネットワーク (例: IAU および IARU) および地域ネットワーク (例: LE​​RU および AAU) のリーダーを参加させる [107] ])、研究資金提供者 (GRC 各国代表を含む)、国際開発機関、大手出版社など。 この作業に資金を提供するために、新しいリソースを調達するか、既存のリソースを配備します (予備的なアイデアについては、付録 D を参照してください)。

4.2: (1) 研究評価と査読（使用と乱用の両方を含む）に対する技術進歩の影響、およびこれらが将来どのように進化する可能性があるかなど、研究評価の将来の発展の重要な側面に関する新しい研究を開発する。 2) 査読システムをより広範に改革する（透明性、公開性、能力、認識、訓練の観点から）。 どちらの問題も、知識の信頼性と科学の信頼性に不可欠です。

これらすべての取り組みの中心となるべきは、次の XNUMX つの基本的なことです。

• 科学研究と研究者の評価基準を従来の学術的な指標を超えて拡大し、研究の社会的影響を測定できる定量的基準を含む、複数の形式の研究成果と機能を含めます。

• 高等教育機関のリーダーと研究資金提供者に対し、研究の質と価値の尺度としてこれらの新しい評価基準を採用し、促進するよう奨励する。

• これらの指導者らと協力して、政策立案者、国民、その他の主要な関係者と効果的にコミュニケーションし関与するために必要なスキルを身につけるための、将来の世代の研究者のための新しい形式の意識向上と研修に取り組む。 研究事業における多様性と包括性を促進すること。

この論文の著者らは、GYA、IAP、ISCのようなネットワークが、他の主要な関係者と協力し支援することで、研究コミュニティ、大学、その他の高等教育機関をこの議題に沿って動員し、研究をより効率的、公平、包括的で影響力のあるものにするために、研究を評価し資金を提供する新しい方法をどのように運用するか。

ダウンロード

この文書は、2021 年 2023 月から XNUMX 年 XNUMX 月まで断続的に活動した GYA-IAP-ISC スコーピング グループのメンバーによって執筆されました (詳細は付録 A を参照)。

• Sarah de Rijcke (議長、オランダ)

• クレメンシア・コセンティーノ（アメリカ）

• ロビン・クルー（南アフリカ）

• カルロ・ディポリティ（イタリア）

• シャヒーン・モタラ・ティモール（モーリシャス）

• ノールサーダ・ビンティ・A・ラーマン（マレーシア）

• ラウラ・ロヴェッリ (アルゼンチン)

• デビッド・ヴォー (オーストラリア)

• ヤオ・ユペン（中国）

作業グループは、調整と草案作成の作業に対して Tracey Elliott (ISC シニア コンサルタント) に感謝します。 追加のご意見とサポートをいただいた Alex Rushforth (オランダ、ライデン大学科学技術研究センター (CWTS)) と Sarah Moore (ISC) にも感謝します。

また、作業部会は、この論文（付録 B）の作成にあたり、時間を割いてそれぞれの国や地域における研究評価についての見解を共有してくださったすべての方々、および GYA が指名した査読者に感謝します。 IAP と ISC:

• カリーナ・バティアニ氏、ラテンアメリカ社会科学評議会（CLACSO）事務局長（ウルグアイ）

• リチャード・キャットロウ氏、ユニバーシティ・カレッジ・ロンドン（英国）研究教授

• Sibel Eker 氏、ラドバウンド大学助教授（オランダ）

• Encieh Erfani、理論物理学国際センター科学研究員（イラン、イタリア）

• 小谷元子氏、理化学研究所理事・副所長（日本）

• プラディープ・クマール氏、ウィットウォータースランド大学（南アフリカ）教授兼上級研究員

• ブーン・ハン・リム氏、ティンク・アブドゥル・ラーマン大学（UTAR）准教授（マレーシア）

• プリシラ・コリベア・マンテ、クワメ・エンクルマ科学技術大学（KNUST）上級講師（ガーナ）

• アルマ・エルナンデス・モンドラゴン氏、メキシコ科学振興協会 (AMEXAC) 会長 (メキシコ)

• ハティジャ・モハマド・ユソフ氏、マレーシア・プトラ大学（UPM）上級教授（マレーシア）

1. ユネスコ。 2021. ユネスコ科学報告書: よりスマートな開発に向けた時間との競争 (第 1 章)。 ユネスコ。 https://unesdoc.unesco.org/ark:/48223/pf0000377250

2. 王立協会。 （2012年）。 オープンエンタープライズとしての科学。 王立協会科学政策センター。 https://royalsociety.org/~/media/policy/projects/sape/2012-06-20-saoe.pdf

3. Haustein, S. および Larivière, V. 2014。研究を評価するためのビブリオメトリクスの使用: 可能性、限界、および悪影響。 I. Welpe、J. Wollersheim、S. Ringelhan、M. Osterloh (編)、「Incentives and Performance」、Cham、Springer、121 ～ 139 ページ。

4. Macleod, M.、Michie, S.、Roberts, I.、Dirnagi, U.、Chalmers, I.、Ioadnnidis, J.、Al-Shahi Salman, R.、Chan.、AW および Glasziou、P. 2014生物医学研究: 価値を高め、無駄を削減します。 ランセット、Vol. 383、No.9912、101–104ページ。

5. Bol, T.、de Vaan, M.、van de Rijt, A. 2018. 科学資金におけるマシュー効果。 アメリカ合衆国科学アカデミー紀要、第 115 巻。 19、No.4887、4890–XNUMXページ。

6. 国際科学評議会。 2021. 科学の記録を開く: デジタル時代の科学のために学術出版を機能させる。 パリ、フランス、ISC。 https://doi.org/10.24948/2021.01

7. Müller, R. および de Ricke, S. 2017. 指標を使って考える。 生命科学における学業成績指標の認識論的影響を探る。 研究評価、Vol. 26、No.3、157–168ページ。

8. Ansede, M. 2023. 世界で最も引用されている科学者の一人、ラファエル・ルケ氏が13年間の無給停職処分を受けた。 エル・パレス。 https://english.elpais.com/science-tech/2023-04-02/one-of-the-worlds-most-cited-scientists-rafael-luque-suspended-without-pay-for-13-years。 html

9. IAP。 2022. 略奪的な学術雑誌やカンファレンスとの戦い。 トリエステ、イタリア、IAP。 https://www.interacademies.org/publication/predatory-practices-report-English

10. Elliott, T.、Fazeen, B.、Asrat, A.、Cetto, AM.、Eriksson, S.、Looi, LM、Negra, D. 2022. 略奪的な学術雑誌や会議の蔓延と影響に関する認識:研究者を対象とした世界規模の調査。 学習出版、Vol. 3、No. 4、516 ～ 528 ページ。

11. Collyer、TA、2019。「サラミのスライス」はキャリアには役立ちますが、科学には害を及ぼします。 自然の人間行動、Vol. 3、1005-1006ページ。

12. アバド・ガルシア、MF 2019。盗作と略奪的なジャーナル: 科学的完全性に対する脅威。 Anales De Pediatría (英語版)、Vol. 90、No. 1、57.e1–57.e8 ページ。

13. Omobowale, AO、Akanle, O.、Adeniran, AI、Adegboyega, K. 2013. 周辺研究とナイジェリアにおける海外有料出版の背景。 現代社会学、Vol. 62、No. 5、666 ～ 684 ページ。

14. オードウェイ、D.-M. 2021. 学術雑誌やジャーナリストは、研究の撤回に対処する際に誤った情報を永続させます。 ジャーナリストのリソース。 https://journalistsresource.org/home/retraction-research-fake-peer-review/

15. Curry, S.、de Rijcke, S.、Hatch, A.、Pillay, D.、van der Weijden, I.、Wilsdon, J. 2020. 責任ある研究評価における資金提供者の役割の変化：進歩、障害、先への道。 英国ロンドン、リサーチ・オン・リサーチ・インスティテュート。

16. グローバル・ノースは一般に、国連（2021）によって定義されているように、工業化された経済または先進経済を指しますが、グローバル・サウスは、新しく工業化された経済、または工業化または発展の過程にあり、しばしば最新の経済を指します。または植民地主義の元臣民。

17. アカデミー間のパートナーシップ。 セッション 12: より大きなインクルージョンからの勝利: 多様性と学術文化の関係。 IAP。 https://www.interacademies.org/page/session-12-wining-greater-inclusion-relation-between-diversity-and-academic-culture

18. グローバルヤングアカデミー。 科学的卓越性ワーキンググループ。 ベルリン、ドイツ、GYA。 https://globalyoungacademy.net/activities/scientific-excelence/

19.ISC。 2021. 科学を解き放つ: 持続可能性のためのミッションを実現します。 パリ、フランス、ISC。 土井: 10.24948/2021.04

20.ISC。 2022. エンドレス フロンティア シンポジウムでのピーター グルックマンのスピーチからの抜粋。 フランス・パリ。 ISC。 https://council.science/current/blog/an-extract-from-peter-gluckmans-speech-to-the-endless-frontier-symposium/

21. Belcher, B.、Clau, R.、Davel, R.、Jones, S.、および Pinto, D. 2021。学際的な研究の計画と評価のためのツール。 統合と実装に関する洞察。 https://i2insights.org/2021/09/02/transdisciplinary-research-evaluation/

22. Belcher, BM、Rasmussen, KE、Kemshaw, MR、Zornes, DA 2016。学際的な文脈における研究の質の定義と評価。 研究評価、Vol. 25、No. 1、1 ～ 17 ページ。

23. ウィルズドン、J. 他。 2015. 指標の潮流: 研究の評価と管理における指標の役割に関する独立したレビューの報告書。 ヘフチェ。

24. ユネスコ。 オープンサイエンスに関するユネスコ勧告。 パリ、フランス、ユネスコ。 https://unesdoc.unesco.org/ark:/48223/pf0000379949

25. ユネスコ関係者は、この議論が少数の人だけによって支配されており、必ずしも多くの人の共感を呼ぶわけではないため、この作業は現在保留中であることを明らかにした。勧告の策定には広範な対話が先立って行われなければならない。

26. Barroga, E. 2020. 査読のための革新的な戦略。 韓国医学ジャーナル、Vol. 35、No.20、e138 ページ。

27. ウッズ、HB、他。 2022. 学術出版における査読の革新: メタサマリー。 SocArXiv、ドキュメント: 10.31235/osf.io/qaksd

28. Kaltenbrunner, W.、Pinfield, S.、Waltman, L.、Woods, HB および Brumberg, J. 2022. 査読の革新、学術コミュニケーションの再構成: 現在進行中の査読革新活動の分析概要。 SocArXiv、ドキュメント: 10.31235/osf.io/8hdxu

29. Holm, J.、Waltman, L.、Newman-Griffis, D.、および Wilsdon, J. 2022。研究資金提供機関による機械学習と AI の使用におけるグッド プラクティス: ワークショップ シリーズからの洞察。 英国ロンドン、リサーチ・オン・リサーチ・インスティテュート。 https://doi.org/10.6084/m9.figshare.21710015.v1

30. Procter, R.、Glover, B.、および Jones, E. 2020. Research 4.0 自動化時代の研究。 ロンドン、イギリス、デモ。

31. Baker, M. 2015. スマート ソフトウェアは心理学の論文の統計的エラーを発見します。 自然、https://doi.org/10.1038/nature.2015.18657

32. Van Noorden、R. 2022。AI を使用して査読を分析する研究者。 自然609、455。

33. Severin, An.、Strinzel, M.、Egger, M.、Barros, T.、Sokolov, A.、Mouatt, J.、および Muller, S. 2022。Arxiv、

34. Gadd, E. 2022. AI ベースの引用評価ツール: 良い、悪い、または醜い? ビブリオマジシャン。 https://thebibliomagician.wordpress.com/2020/07/23/ai-based-quote-evaluation-tools-good-bad-or-ugly/

35. Foltýnek, T.、Meuschke, N.、Gipp, B. 2020. 学術的盗作の検出: 体系的な文献レビュー。 ACM コンピューティング調査、Vol. 52、No.6、1–42ページ。

36. Quach, K. 2022. 出版社は AI を使用して、データを改ざんする悪い科学者を捕まえます。 登録簿。 https://www.theregister.com/2022/09/12/academic_publishers_are_using_ai/

37. Van Dis, E.、Bollen, J.、Zuidema.、van Rooji, R、Bockting, C. 2023. ChatGPT: 研究の 614 つの優先事項。 ネイチャー、Vol. 224、226–XNUMXページ。

38. Chawla, D. 2022. AI は研究の質を評価する役割を担うべきでしょうか? 自然、https://doi.org/10.1038/d41586-022-03294-3

39. Cyranoski, D. 2019. 中国では人工知能が補助金審査員を選定している。 ネイチャー、Vol. 569、316–317ページ。

40. Mike, T. 2022. 出版された学術雑誌論文の品質は機械学習で評価できますか? 定量的科学研究、Vol. 3、No. 1、208 ～ 226 ページ。

41. Chomsky, N.、Roberts, I.、および Watumull, J. 2023. ChatGPT の誤った約束。 ニューヨークタイムズ。 https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

42.クラリベイト。 2022. 研究評価: 起源、進化、結果。 クラリベイト。 https://clarivate.com/lp/research-assessment-origins-evolutions-outcomes/

43. Blauth, TF、Gstrein, OJ および Zwitter, A. 2022. 人工知能犯罪: AI の悪意のある使用と悪用の概要。 IEEEアクセス、Vol. 10、77110–77122ページ。

44. Castelvecchi, D. 2019. AI の先駆者: 「虐待の危険は非常に現実的です」。 自然、土井: https://doi.org/10.1038/d41586-019-00505-2

45. Jordan, K. 2022。ソーシャル メディア プラットフォームでのやり取りを通じた研究の影響と関与に対する学者の認識。 学習、メディア、テクノロジー、doi: 10.1080/17439884.2022.2065298

46. Wouters, P.、Zahedi, Z.、Costas, R. 2019. 新しい研究評価のためのソーシャル メディア指標。 Glänzel, W.、Moed, HF、Schmoch U.、Thelwall, M. (編)、Springer Handbook of Science and Technology Indicators。 スプリンガーリンク。

47. Rafols, I. and Stirling, A. 2020. 評価を開くための指標の設計。 研究評価からの洞察。 ResearchGate、doi: 10.31235/osf.io/h2fxp

48. Rich, A.、Xuereb, A.、Wrobel, B.、Kerr, J.、Tietjen, K.、Mendisu, B.、Farjalla, V.、Xu, J.、Dominik, M.、Wuite, G. ., Hod, O. および Baul, J. 2022. 基本に戻る。 ドイツ、ハレ、グローバル・ヤング・アカデミー。

49. Jong, L.、Franssen, T.、Pinfield, S. 2021. 研究エコシステムの卓越性: 文献レビュー。 英国ロンドン、リサーチ・オン・リサーチ・インスティテュート。

50. ハッチ、A. およびカリー、S. 2020. 研究文化: 研究の評価方法を変えることは困難ですが、不可能ではありません。 eライフ、Vol. 9、p. e58654。

51.IAP。 2022. 略奪的な学術雑誌やカンファレンスとの戦い。 トリエステ、イタリア、IAP。

52. Hicks, D.、Wouters, P.、Waltman, L.、de Rijcke, S.、および Rafols, I. 2015. 書誌計量学: 研究指標に関するライデン宣言。 ネイチャー、Vol. 520、429–431ページ。

53.パブロン。 2018. 査読の世界的状況。 英国ロンドン、クラリベイト。 https://doi.org/10.14322

54. Kovanis, M.、Porcher, R.、Revaud, P.、Trinquart, L. 2016. 生物医学文献におけるジャーナル査読の世界的な負担: 集団的事業における大きな不均衡。 PLoS ONE、Vol. 11、No.11、p. e0166387。

55. フォレスター、B. 2023. うんざりして燃え尽き症候群: 「静かな辞め方」が学界を襲う。 ネイチャー、Vol. 615、751–753ページ。

56. Hatch, A. および Curry, S. 2020. 研究文化: 研究の評価方法を変えることは困難ですが、不可能ではありません。 eライフ、Vol. 9、p. e58654。

57. Moher, D.、Bouter, L.、Kleinert, S.、Glasziou, P.、Har Sham, M.、Barbour, V.、Coriat, AM、Foeger, N.、Dirnagi, U. 2020。研究者を評価するための Kong 原則: 研究の誠実性の促進。 PLoS 生物学、Vol. 18、No.7、p. e3000737。

58. Wilsdon, J.、Allen, L.、Belfiore, E.、Campbell, P.、Curry, S.、Hill, S.、Jones, R.、Kain, R.、Kerridge, S. 2015. 指標Tide: 研究の評価と管理における指標の役割に関する独立したレビューの報告書。 土井:10.13140/RG.2.1.4929.1363

59. Curry, S.、Gadd, E.、および Wilsdon, J. 2022. 指標の潮流の活用: 英国の責任ある研究評価の指標、インフラストラクチャおよび優先順位。 英国ロンドン、リサーチ・オン・リサーチ・インスティテュート。

60. 自然社説。 2022. 責任ある研究評価に対する欧州の大胆なビジョンを支持する。 ネイチャー、Vol. 607、p. 636.

61. 研究評価に関する宣言 (DORA)。 https://sfdora.org/about-dora/

62. Hicks, D.、Wouters, P.、Waltman, L.、de Rijcke, S.、および Rafols, I. 2015. 書誌計量学: 研究指標に関するライデン宣言。 ネイチャー、Vol. 520、429–431ページ。

63. Curry, S.、Gadd, E.、および Wilsdon, J. 2022. 指標の潮流の利用: 英国の責任ある研究評価の指標、インフラストラクチャおよび優先順位。 英国ロンドン、リサーチ・オン・リサーチ・インスティテュート。 https://rori.figshare.com/articles/report/Harnessing_the_Metric_Tide/21701624

64.ドーラ。 研究評価に関するサンフランシスコ宣言。 https://sfdora.org/read/

65.ドーラ。 研究評価を進めるためのツール。 ドラ。 https://sfdora.org/project-tara/

66.ドーラ。 DORA コミュニティ・エンゲージメント助成金: 学術評価改革の支援 https://sfdora.org/dora-community-engagement-grants-supporting-academic-assessment-reform/

67. 不法行為。 研究評価のための SCOPE フレームワーク。 https://inorms.net/scope-framework-for-research-evaluation/

68. 不法行為。 SCOPE フレームワーク。 https://inorms.net/scope-framework-for-research-evaluation/

69. Torfin, S. 2018. Research Quality Plus。 国際開発研究センター。 https://www.idrc.ca/en/rqplus

70. Reid, C.、Calia, C.、Guerra, C.、Grant, L. 2019. グローバル研究における倫理的行動: ツールキット。 スコットランド、エディンバラ、エディンバラ大学。 https://www.ethical-global-research.ed.ac.uk/

71. Valters, C. 2014. 国際開発における変化の理論: コミュニケーション、学習、それとも説明責任? アジア財団。 https://www.alnap.org/system/files/content/resource/files/main/jsrp17-valters.pdf

72. Fraser, C.、Nienaltowski, MH、Goff, KP、Firth, C.、Sharman, B.、Bright, M.、および Dias, SM 2021。責任ある研究評価。 グローバル研究評議会。 https://globalresearchcouncil.org/news/responsible-research-assessment/

73. 世界研究評議会。 GRC の責任ある研究評価。 ユーチューブ。 https://www.youtube.com/watch?v=CnsqDYHGdDo

74. Curry, S.、de Rijcke, S.、Hatch, A.、Dorsamy, P.、van der Weijden, I.、Wilsdon, J. 2020. 責任ある研究評価における資金提供者の役割の変化。 英国ロンドン、リサーチ・オン・リサーチ・インスティテュート。 https://doi.org/10.6084/m9.figshare.13227914.v1

75. 世界研究評議会。 責任ある研究評価ワーキンググループ。 GRC。 https://globalresearchcouncil.org/about/responsible-research-assessment-working-group/

76. グローバルヤングアカデミー。 科学的卓越性。 ギャ。 https://globalyoungacademy.net/activities/scientific-excelence/

77. Adams, J.、Beardsley, R.、Bornmann, L.、Grant, J.、Szomszor, M.、および Williams, K. 2022. 研究評価: 起源、進化、結果。 科学情報研究所。 https://clarivate.com/ISI-Research-Assessment-Report-v5b-Spreads.pdf

78.ドーラ。 リソースライブラリ。 https://sfdora.org/resource-library

79. Saenen, B.、Hatch, A.、Curry, S.、Proudman, V.、Lakoduk, A. 2021. 学術的キャリア評価の再考: イノベーションと変化の物語。 ドラ。 https://eua.eu/downloads/publications/eua-dora-sparc_case%20study%20report.pdf

80. 研究評価推進連合（CoARA）。 https://coara.eu/

81.コアラ。 2022. 研究評価の改革に関する合意。 https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf

82. 自然社説。 2022. 責任ある研究評価に対する欧州の大胆なビジョンを支持する。 ネイチャー、Vol. 607、p. 636.

83. オープンで普遍的な科学。 OPUS ホーム – オープン アンド ユニバーサル サイエンス (OPUS) プロジェクト。 https://opusproject.eu/

84. Vergoulis, T. 2023. GraspOS はより責任ある研究評価に向けて前進。 オープンエア。 https://www.openaire.eu/graspos-moving-forward-to-a-more-responsible-research-assessment

85. 欧州研究評議会。 2022. ERC 科学評議会は、2024 年の公募に向けた評価フォームとプロセスの変更を決定。 ERC。 https://erc.europa.eu/news-events/news/erc-scientific-council-decides-changes-evaluation-forms-and-processes-2024-calls

86. ヨーロッパのすべてのアカデミー。 2022. 欧州アカデミー内の研究評価の改革に関する ALLEA の声明。 アレア。 https://allea.org/wp-content/uploads/2022/10/ALLEA-Statement-RRA-in-the-Academies.pdf

87. ユーロドック、MCAA、YAE、ICoRSA、GYA。 2022. 研究評価とオープンサイエンスの実施に関するEU理事会の結論に関する共同声明。 ゼノド、土井: 10.5282/zenodo.7066807。

88. Overlaet、B. 2022. 多次元的な学術キャリアへの道 – 研究者の評価のための LERU フレームワーク。 LERU、ルーヴェン、ベルギー。 https://www.leru.org/files/Publications/LERU_PositionPaper_Framework-for-the-Assessment-of-Researchers.pdf

89. 王立協会。 研究者向けの履歴書。 https://royalsociety.org/topics-policy/projects/research-culture/tools-for-support/resume-for-researchers/

90. Grove, J. 2021. ナラティブ CV は正しいストーリーを伝えていますか? タイムズ・ハイヤー・エデュケーション（THE）。 https://www.timeshighereducation.com/ Depth/do-narrative-cvs-tell-right-story

91. リサイト。 雇用部門別の研究者 (FTE) 2011 ～ 2020 年。 app.ricyt.org/ui/v3/comparative.html?indicator=INVESTEJCSEPER&start_year=2011&end_year=2020

92.クラッソ。 2020. 科学研究の評価の評価。 ラテンアメリカ研究評価フォーラム (FOLEC) の「ラテンアメリカおよびカリブ海における科学研究評価の変革に向けて」シリーズ。 CLACSO、ブエノスアイレス、アルゼンチン。 https://www.clacso.org/wp-content/uploads/2020/05/FOLEC-DIAGNOSTICO-INGLES.pdf

93. クラッソ。 2021. ラテンアメリカおよびカリブ海諸国における評価システムの変革に向けて、新たな評価政策を推進するツール。 ラテンアメリカ研究評価フォーラム (FOLEC) のシリーズ。 CLACSO、ブエノスアイレス、アルゼンチン。 https://www.clacso.org/wp-content/uploads/2022/02/Documento-HERRAMIENTA-2-ENG.pdf

94. Gras, N. 2022. 開発問題を対象とした研究評価の形式。 ラテンアメリカおよびカリブ海の国立科学技術機関および高等教育機関からの実践と視点。 フォレック。 CLACSO、ブエノスアイレス、アルゼンチン。 2022-07-27_Report Forms-of-research-assessment.pdf ENG.pdf (dspacedirect.org)

95. CLACSO は、この地域の社会科学評議会であり、社会に関連した責任ある科学の主要な擁護者です。 研究評価に関するラテンアメリカフォーラム (FOLEC) は、優れた実践を議論し共有するための地域スペースであり、これらの原則をサポートする研究評価のための地域ガイドラインを開発しています。 どちらも地域で強力なリーダーシップを発揮します。

96.SGCI。 サハラ以南アフリカの科学助成評議会イニシアチブ (SGCI)。 https://sgciafrica.org/

97.SGCI。 Tijssen, R. and Kraemer-Mbula, E. 2017. 政策概要: グローバル・サウスにおける研究の卓越性に関する展望 - 発展途上国の状況における評価、モニタリング、評価。 SGCI。 https://sgciafrica.org/wp-content/uploads/2022/03/Policy-Brief-Perspectives-on-research-excellence-in-the-Global-South_-Assessment-monitoring-and-evaluation-in-developing-国別コンテキスト.pdf

98. Tijssen, R. および Kraemer-Mbula, E. 2018. アフリカにおける卓越した研究: 政策、認識、実績。 SGCI。 https://sgciafrica.org/research-excellence-in-africa-policies-perceptions-and-performance/

99. Tijssen, R. および Kraemer-Mbula, E. 2018. アフリカにおける卓越した研究: 政策、認識、実績。 科学と公共政策、Vol. 45 No.3、392–403ページ。 https://doi.org/10.1093/scipol/scx074

100.SGCI。 研究コンテストの質に関するグッドプラクティスガイドライン。 https://sgciafrica.org/eng-good-practice-guideline-on-the-quality-of-research-competitions/

101. NRF。 NRFがアフリカでの研究パートナーシップを推進するための戦略会議を主催 – 国立研究財団

102. Belcher, BM、Rasmussen, KE、Kemshaw, MR、Zornes, DA 2016. 学際的な文脈における研究の質の定義と評価、Research Evaluation、Vol. 25、ページ: 1–17、https://doi.org/10.1093/reseval/rvv025

103. アリン。 2020. 科学技術とイノベーション (STI) 指標 – アフリカ研究および影響ネットワーク (arin-africa.org)

104. McLean R.、Ofir Z.、Etherington A.、Acevedo M.、Feinstein O. 2022. Research Quality Plus (RQ+) – 研究を異なる方法で評価する。 オタワ、国際開発研究センター。 https://idl-bnc-idrc.dspacedirect.org/bitstream/handle/10625/60945/IDL-60945.pdf?sequence=2&isAllowed=y

105. 国際監視評価アカデミー

106. ドーラ。 TARA ダッシュボード。 https://sfdora.org/tara-landing-page/

107. IARU、国際研究集中型大学協会。 LERU、欧州研究大学連盟。 AAU、アフリカ大学協会