In Bereichen mit einer lebendigen Pre-Print-Kultur (z. B. Physik oder Mathematik) werden die meisten Artikel bereits öffentlich im Internet veröffentlicht, wobei der Name des Autors angehängt ist, bevor der Artikel eingereicht und überprüft wird. In diesem Zusammenhang ist eine doppelblinde Überprüfung nicht einmal eine sinnvolle Option.

Auch ohne Vorabdruck gilt dies für Gespräche in einigen Bereichen. Für viele Papiere haben viele potenzielle Schiedsrichter bereits auf einer Konferenz einen Vortrag über die Ergebnisse des Papiers gesehen. Dies gilt insbesondere für Mathematik, bei der das ausführliche Verfassen einer Arbeit besonders aufwändig ist. Daher ist es üblich, dass Personen während der Vorbereitung der Arbeit Vorträge zu Themen halten.

In der theoretischen Informatik wird fast ausschließlich Single-Blind-Reviewing verwendet. Die Rezensenten kennen die Autoren der von ihnen rezensierten Artikel, die Autoren jedoch nicht, die ihre Artikel überprüfen. (Wie bei vielen Dingen kopieren wir diese Einstellung aus der Mathematik.)

Ich denke, die Hauptgründe, warum wir keine doppelblinde Überprüfung verwenden, sind, dass (1) wir nie haben, (2) wir eine haben Gewohnheit, Preprints zu veröffentlichen (wenn auch nicht im gleichen Maße wie Mathematik und Physik), und (3) es besteht allgemeiner Konsens darüber, dass dies einfach nicht erforderlich ist.

Das Standardargument für die doppelblinde Überprüfung ist unnötig ist, dass die Entscheidung, ein bestimmtes Papier anzunehmen oder abzulehnen, objektiver ist als in anderen Bereichen. Es gibt kein Experiment zu beurteilen. Entweder ist der Algorithmus schneller oder nicht; entweder ist der Satz wahr oder nicht; Entweder ist der Beweis tatsächlich ein Beweis oder nicht. (Ich kaufe dieses Argument nicht, insbesondere für seitenbeschränkte Konferenzbeiträge, aber da ist es.)

Sie sollten in der Lage sein, einen Artikel zu lesen und davon auszugehen, dass das Experiment korrekt durchgeführt wurde und ethisch, entscheiden Sie, ob es sich um einen bedeutenden wissenschaftlichen Fortschritt handelt.

Dies sind nicht die einzigen Kriterien, anhand derer wissenschaftliche Forschung beurteilt wird.

Update: Wie @ a3nm in seinem Kommentar hervorhebt, geht die theoretische Informatik langsam in Richtung eines "Lightweight Double-Blind Reviewing" -Protokolls über, das bereits in anderen Bereichen der Informatikforschung üblich ist. "Lightweight Double-Blind" verlangt von den Autoren, dass sie ihre Beiträge ohne identifizierende Informationen einreichen und ihre eigene Arbeit in der dritten Person zitieren. Dies verhindert jedoch nicht, dass Preprints bei arXiv veröffentlicht oder Arbeiten auf Seminaren und Workshops präsentiert werden .

ALENEX, DiSC, ESA, FAccT, FODS und LICS folgen diesem Protokoll bereits, ebenso wie mehrere Konferenzen an der Schnittstelle von theoretischer Informatik und maschinellem Lernen. Große Konferenzen wie SODA diskutieren die Idee zumindest ernsthaft, aber der Wandel ist langsam, und viele (insbesondere hochrangige) Forscher sind entschieden gegen die Idee.

Weitere Informationen finden Sie in diesem Bericht zum Thema Doppel -blinde Überprüfung bei ALENEX 2018 und diese FAQ von POPL 2018.

Obwohl dieser Artikel von Kathryn McKinley mittlerweile ziemlich alt ist, bietet er eine viel differenziertere Ansicht der Prozesse, die einen doppelblinden Überprüfungsprozess unterstützen würden. Kurz gesagt, es ist nicht so einfach wie "alles doppelblind machen". Es gibt Phasen, in denen es wichtig ist, und es gibt Phasen im Überprüfungsprozess, in denen es nützlich ist, NICHT doppelblind zu sein.

Grob gesagt möchten Sie bei der Erstbewertung eine doppelblinde Überprüfung, da die Wahrscheinlichkeit steigt, dass Personen auf den ersten Blick zu Schlussfolgerungen gelangen. Aber später ist es hilfreich zu wissen, wer die Arbeit macht, denn selbst in der mathematischen Arbeit gibt es ein Vertrauenselement, das in die Bewertung einer Arbeit einfließt (insbesondere in der theoretischen CS, wo die Arbeiten viel zu kurz (und die Fristen zu nahe) sind eine strenge Bewertung der Beweise vornehmen).

Die Antwort ist zumindest teilweise, dass viele Forschungsfelder klein genug sind, damit die meisten Menschen wissen, was andere Forscher oder Forschungsteams tun. Anonymität ist daher unmöglich, da nicht viel erforderlich ist, um herauszufinden, wer das Papier geschrieben hat.

Rezensenten sind (in meinem Bereich) häufig anonym. Ich persönlich mag das nicht, weil es als Autor einfacher ist, die Kommentare zu beurteilen, wenn Sie wissen, wer sie geliefert hat. Wenn Sie anonyme Bewertungen erhalten, können Sie den Ton nicht leicht beurteilen, ob es nur die Art ist, wie sich jemand ausdrückt, oder ob es unhöflich ist (positive Bewertungen sind normalerweise aus irgendeinem Grund nicht schwer zu handhaben).

Ich habe auch in Zeitschriften mit offenen Rezensionen zu sehen, wie anonyme Beiträge voller aggressiver (unprofessioneller) Kommentare sind und daher nicht sehr konstruktiv. Ich denke pesonal, dass Anonymität bei manchen Menschen das Schlimmste bewirkt und Offenheit einen dazu zwingt, sich auf das Konstruktive zu konzentrieren.

Doppelblinde Überprüfungen können also durchgeführt werden, aber ich sehe den Nutzen nicht wirklich, zumindest nicht in meine und verwandte Bereiche, in denen Gemeinden einige Tausend zählen.

Wie in den anderen Antworten erwähnt, ist Doppelblindung ohnehin oft ein dünner Schleier. Darüber hinaus kann bei einigen Papiertypen die Kenntnis der Autoren eines Papiers zur Beurteilung des Beitragsniveaus beitragen.

Wenn Sie beispielsweise wissen, dass die Autoren einer Reproduzierbarkeitsstudie nicht mit den Autoren eines Originalpapiers übereinstimmen, deutet dies häufig darauf hin, dass das Originalpapier wirklich reproduziert wurde . Im Fall eines experimentellen Informatikpapiers bedeutet dies häufig, dass der Code erneut implementiert wurde. Dies an sich ist ein wertvoller Beitrag (die Reproduktion von Ergebnissen), der nicht zuverlässig anhand einer doppelblinden Aussage wie "Wir implementieren den Algorithmus aus [7]" bewertet werden kann, was sehr wohl bedeuten kann, dass die Autoren denselben Code gerade wiederverwendet haben Basis, die sie in [7] verwendet haben.

Als weiteres Beispiel kann die Kenntnis der Autoren einer Studie ihre Vorurteile aufdecken. Ausgehend von der experimentellen Informatik wählen die Autoren häufig eine Untergruppe von Methoden in der Literatur aus, mit denen sie vergleichen können. Es besteht jedoch ein Anreiz, eigene Techniken (geringerer Entwicklungsaufwand) gegenüber völlig anderen zu wählen. (Hier wünschte ich, ich könnte diese Handlung über die Zeit der Leistung auf dem neuesten Stand der Technik im Verhältnis zur Leistung des am besten ausgewählten Konkurrenten finden, aber ich erinnere mich weder an den Artikelnamen, den Veranstaltungsort noch an den Autor.)

Im Zeitalter des Internets ist es nicht sehr schwierig, den Namen des Autors zu finden (zumindest mit hoher Wahrscheinlichkeit), insbesondere in einem Bereich mit wenigen Praktizierenden. Siehe zum Beispiel: http://www.newappsblog.com/2012/12/the-journal-reviewing-process-isnt-anonymous-did-you-really-think-it-was-think-again. html.

In der Praxis bleibt also nur der Prüfer anonym.

In einigen Bereichen, in denen ein hohes Maß an "praktischer Entwicklung" (erkennbare Prototypen usw.) und nicht "nur" theoretische Konzepte erforderlich sind, ist es häufig unpraktisch, die Identität der Autoren der Einreichung zu versuchen und zu verbergen.

Für eine Konferenz oder ein Journal müssen möglicherweise die Beiträge anonymisiert werden, was eine zusätzliche Belastung für die Autoren darstellt: Die Anonymisierung endet nicht mit dem Entfernen der Autorenliste, bestimmter Abschnitte wie Danksagungen Der Abschnitt em> muss entfernt werden, und Teile des Textes müssen möglicherweise neu geschrieben werden (wenn auf frühere Arbeiten derselben Autoren verwiesen wird und im Abschlusspapier "Wir haben bereits ..." geschrieben wird). Und da es manchmal immer noch offensichtlich ist, dass die aktuelle Einreichung der direkte Nachfolger einer früheren Arbeit ist, muss diese Referenz durch etwas ersetzt werden, das für die doppelblinde Überprüfung entfernt wurde, wodurch die Nützlichkeit der Arbeit natürlich verringert wird Referenzen.

Und dennoch können all diese Faktoren leicht umsonst sein, da beispielsweise CS häufig prototypische Anwendungen umfasst, die wiederholt erweitert werden. Es besteht die theoretische Möglichkeit, dass ein anderer Forscher den Prototyp eines anderen in die Hände bekommen hat. Wenn jedoch die Screenshots in der Einreichung eine bemerkenswerte Ähnlichkeit mit denen in einem zuvor veröffentlichten Werk (*) aufweisen, ist die wahrscheinlichste Erklärung, dass die beiden Werke geschrieben wurden vom selben Autor oder zumindest vom Team.

Da der Versuch, die Einreichung zuverlässig zu blenden, in vielen Fällen nicht möglich ist und nur zu zusätzlicher Arbeit für die Autoren führt (einschließlich der Diskussionen bei der doppelblinden Überprüfung) ist optional), verschiedene Konferenzen / Zeitschriften bieten überhaupt keine doppelblinde Überprüfung an.

(*) Ich sage nicht, dass der gleiche Beitrag zweimal veröffentlicht wird. Ich beziehe mich hier auf "unwichtige" Aspekte wie das allgemeine Layout eines Fensters oder seine Symbolleistensymbole.

Mir ist nicht klar, dass Doppelblind in einem kleinen Bereich zwangsläufig dazu beiträgt, unparteiischere Bewertungen zu fördern. Sie gewinnen etwas, wenn Sie Vorurteile / Vorurteile beseitigen, die auf dem Wissen der Autoren beruhen. Es wird jedoch viel schwieriger, Interessenkonflikte zu kontrollieren: Es gibt viele nicht offensichtliche Zusammenhänge zwischen Forschern, von denen ein Herausgeber nicht erwarten kann, dass sie davon erfahren. Beim Single-Blind-Reviewing besteht für den Reviewer zumindest die Möglichkeit , abzulehnen, wenn er weiß, dass er die Ansichten des Autors in irgendeiner Weise beeinflusst hat, oder wenn er das Gefühl hat, einen zu hohen Bruchteil von bewertet zu haben die Ausgabe dieses Autors. Wenn alles doppelblind ist, ist es sehr wahrscheinlich, dass sich zum größten Nachteil des Feldes kleine Überprüfungskreise bilden.