Verein registrieren

Statement: Publikationspraktiken und Indizes und die Rolle von Peer Review in der Forschungsbewertung

Der Fortschritt in der Wissenschaft und das Vertrauen in den wissenschaftlichen Prozess hängen von der Genauigkeit und Zuverlässigkeit der wissenschaftlichen Literatur ab. Dies wiederum hängt von der Strenge des Manuskriptprüfungsprozesses ab. Neben der Sicherstellung der Qualität wissenschaftlicher Veröffentlichungen ist die unabhängige Begutachtung auch ein wichtiger Bestandteil des Bewertungsprozesses sowohl für einzelne Wissenschaftler als auch für Forschungsinstitute.

Das ICSU-Komitee für Freiheit und Verantwortung in der Wissenschaft (CFRS) ist besorgt, dass einige der Richtlinien und Praktiken, die derzeit von wissenschaftlichen Institutionen und Zeitschriftenverlegern übernommen werden, unbeabsichtigt die Integrität der wissenschaftlichen Literatur untergraben könnten. Hinzu kommt die unkritische Verwendung von Publikationsmetriken als Ersatz für unabhängige Peer-Reviews bei der Bewertung wissenschaftlicher Leistung. Indem ICSU-Mitgliedsorganisationen auf diese Bedenken hingewiesen werden, hoffen wir, dass sie Maßnahmen ergreifen, um die Qualität der wissenschaftlichen Aufzeichnungen sicherzustellen und einen vorsichtigen und kritischen Ansatz bei der Verwendung von Veröffentlichungsmetriken bei der Forschungsbewertung zu fördern.

Anliegen:

  • Bei der Berufungs- und Stipendienvergabe ist die Publikationsleistung von Bewerberinnen und Bewerbern, insbesondere die Anzahl und vermeintliche Wirkung von Publikationen, häufig ein wesentliches Kriterium. Dadurch werden ungewollt Anreize für Doppelpublikationen, Splitpublikationen, Veröffentlichungen von geringem Wert und Ehrenautorenschaft geschaffen.
  • Journal Impact Factors geben einen Hinweis auf die durchschnittlich zu erwartende Anzahl von Zitierungen für einen Artikel in einer bestimmten Zeitschrift, aber diese Zahlen werden leicht falsch interpretiert. Sie können beispielsweise durch das Verhältnis von Rezensionen zu Primärarbeiten beeinflusst werden. Zitate für einzelne Artikel können viel höher oder niedriger sein als aufgrund des Impact-Faktors erwartet.
  • Die Anzahl der Zitate kann zwar Aufschluss über die Qualität einer Publikation geben, muss es aber nicht. Wirklich neuartige und sehr wichtige Arbeiten können nach ihrer Veröffentlichung einige Jahre lang wenig Aufmerksamkeit erregen. Ein falscher Artikel kann mehrere Zitate aus Artikeln hervorrufen, die ihn widerlegen, und die Zitationszahlen können durch Selbstzitat aufgeblasen werden. Auch die Zitationszahlen sind bei Rezensionen tendenziell höher als bei Erstveröffentlichungen.
  • Der Wert, der Veröffentlichungs- und Zitationsaufzeichnungen beigemessen wird, kann Wissenschaftler unter Druck setzen, zu früh zu veröffentlichen oder Ergebnisse zu übertreiben und zu interpretieren. Sie kann in Extremsituationen auch wissenschaftliches Fehlverhalten fördern, bei dem Ergebnisse fabriziert, verfälscht oder plagiiert werden.
  • Aufgrund des Publikationsdrucks werden immer mehr Manuskripte bei mehreren Zeitschriften eingereicht, bevor sie endgültig akzeptiert werden. Dies erhöht den Aufwand für die Gutachter, was letztlich die Gründlichkeit des Begutachtungsprozesses mindert. Mehrfache Einreichungen und Begutachtungen derselben Arbeit können die Mitteilung wichtiger Ergebnisse verzögern, und es kann argumentiert werden, dass eine Vervielfachung der Anzahl von Begutachtungen selten die letztendliche Veröffentlichung einer Arbeit von geringer Qualität verhindert.
  • Alternative Wege der Veröffentlichung in unbegutachteten oder nicht von Experten begutachteten elektronischen Archiven, auf individuellen oder institutionellen Homepages oder Blogs werden immer beliebter. Während diese Medien neue Möglichkeiten eröffnen und die allgemeine Zugänglichkeit von Publikationen verbessern, erhöhen sie auch die Verfügbarkeit weniger bedeutsamer oder möglicherweise irreführender Informationen.

CFRS befürchtet, dass die derzeitigen Richtlinien und Praktiken schwerwiegende Auswirkungen auf die Qualität wissenschaftlicher Arbeit im Allgemeinen haben und die Belastung der Gutachter von Zeitschriften erhöhen könnten. Jede unnötige Zunahme des Umfangs wissenschaftlicher Veröffentlichungen gefährdet einen ordnungsgemäßen Überprüfungsprozess, der für die Aufrechterhaltung von Genauigkeits- und Integritätsstandards unerlässlich ist.

Neben seiner Rolle im wissenschaftlichen Publizieren betrachtet der Ausschuss strenge und unvoreingenommene Peer-Reviews als wichtigsten Mechanismus zur Beurteilung der Qualität wissenschaftlicher Arbeiten und wissenschaftlicher Projekte. Die Einrichtung und Aufrechterhaltung guter Peer-Review-Prozesse ist an sich schon eine Herausforderung, und es wird anerkannt, dass die Verwendung quantitativer Maßnahmen und Metriken als Ergänzung zu diesem Prozess Vorteile bringen kann. Die scheinbare Einfachheit und Anziehungskraft solcher numerischen Indizes sollte jedoch nicht über ihr Manipulations- und Fehlinterpretationspotenzial hinwegtäuschen und sie sollten daher nur mit großer Vorsicht verwendet werden.

Da die Normen für die Veröffentlichungsnummer, Autorenkonventionen und Zitate von Fachgebiet zu Fachgebiet unterschiedlich sind, werden Urteile und Richtlinien oft am besten von Kollegen mit Fachwissen auf demselben Gebiet getroffen. CFRS fordert die ICSU-Mitgliedsorganisationen dringend auf, die Diskussion über wissenschaftliche Bewertungskriterien, Karriereindikatoren und Veröffentlichungsaufzeichnungen anzuregen, mit dem Ziel, ein System zu fördern, das der Wissenschaft im Allgemeinen besser dienen kann. Anstatt zu lernen, in einer „Publish or Perish“-Kultur zu überleben, sollten junge Wissenschaftler ermutigt und unterstützt werden, qualitativ hochwertige wissenschaftliche Kommunikation zu erstellen, die einen echten Beitrag zum wissenschaftlichen Fortschritt leistet.

Zu berücksichtigende Fragen in Bezug auf die Verwendung von Metriken bei der Bewertung der Forschungsleistung sind:

  • Was ist bei der Beurteilung von Anträgen auf Stipendien und Stellen das optimale Gleichgewicht zwischen direkter Peer-Review, einschließlich des Lesens relevanter Artikel, und der Verwendung quantitativer Maßnahmen auf der Grundlage von Veröffentlichungsaufzeichnungen?
  • Welche Gewichtung sollte bei der Bewertung der Publikationsleistung und -leistung auf Publikationsnummer, h-Faktoren, Zeitschriften-Impact-Faktor, Zitationsnummer, Erstveröffentlichung versus Review angewendet werden?
  • In Anbetracht dessen, dass die Konventionen von einem Gebiet zum anderen sehr unterschiedlich sind, wie viel Anerkennung sollte der Erstautorenschaft, der Letztautorenschaft, der Mittelautorenschaft oder der korrespondierenden Autorschaft beigemessen werden? In einigen Bereichen gibt auch die Verbreitung von „Geisterautorenschaft“ Anlass zu erheblicher Besorgnis*.
  • Welche Anerkennung sollte Preprints und anderen elektronischen Veröffentlichungen zuteil werden, unabhängig davon, ob sie einem Peer-Review unterzogen wurden oder nicht? Sollen Wirkungsindizes wie Klicks, Downloads oder Links berücksichtigt werden?
  • Soll die Zahl der Veröffentlichungen, die für Stipendien oder Berufungen angerechnet werden, begrenzt werden? Sollen beispielsweise nur die besten drei Publikationen pro Jahr berücksichtigt werden? Sollten Wissenschaftler sogar für die Autorschaft von mehr als sagen wir 20 Publikationen pro Jahr bestraft werden? [Solche Grenzen mögen kontraintuitiv erscheinen, würden aber dazu beitragen, eine Kultur zu fördern, in der alle Autoren wirklich zu den Veröffentlichungen beigetragen haben, in denen ihre Namen erscheinen.]
  • Welches Gewicht sollten andere quantitative Messgrößen des Forschungsoutputs wie Patentanmeldungen, erteilte Patente oder lizenzierte Patente erhalten?
    Der Ausschuss ist sich bewusst, dass die Diskussion über viele dieser Themen in einigen Ländern und einigen Wissenschaftsbereichen bereits in vollem Gange ist, schlägt jedoch vor, dass die Debatte auf die gesamte internationale Wissenschaftsgemeinschaft ausgeweitet wird. Durch den Austausch von Optionen und Strategien hofft man, dass die globale Wissenschaftsgemeinschaft von den Erfahrungen einzelner Organisationen profitieren kann.

*Siehe zum Beispiel Ross et al., JAMA 299, 1800-1812 (2008).

Nachtrag

Während diese Erklärung erarbeitet wurde, veröffentlichte die International Mathematical Union den Citation Statistics-Bericht, der eine detaillierte kritische Analyse der Verwendung von Zitationsdaten für die wissenschaftliche Bewertung darstellt. Eine Hauptschlussfolgerung dieses Berichts lautet: Obwohl es in der Tat einfach ist, eine einzige Zahl zur Beurteilung der Qualität zu haben, kann dies zu einem oberflächlichen Verständnis von etwas so Kompliziertem wie Forschung führen. Zahlen sind vernünftigen Urteilen nicht von Natur aus überlegen.

Zitierstatistikbericht


Über diese Aussage

Verantwortlich für diese Erklärung ist das Committee on Freedom and Responsibility in the Conduct of Science (CFRS), das ein politisches Komitee des International Council for Science (ICSU) ist. Sie spiegelt nicht unbedingt die Ansichten einzelner ICSU-Mitgliedsorganisationen wider.

Laden Sie die Erklärung herunter

Zum Inhalt