Konferenzen in Programmiersprachen bewegen sich in Richtung doppelblinder Überprüfungen, und da die Idee diskutiert wird, sammeln die Leute einige Beweise, einschließlich tatsächlich von Experten überprüfter Papiere.

Insbesondere, selbst wenn Prüfer glauben, dass sie dies tun Die Autoren vermuteten, dass sie manchmal / oft falsch sind, wie die Antwort von profmartinez nahe legt. In den Zitaten finden Sie tatsächliche Zahlen. Ich werde selbst keine Literaturrecherche versuchen.

Links

• Eine kurze FAQ

• Dies verweist auf diese Literaturübersicht (als Editorial in SIGMOD, einem Datenbank-Veranstaltungsort):

• Dies zitiert wiederum Fisher et al. (1994), veröffentlicht im Journal der American Medical Association - daher eine von Experten begutachtete Veröffentlichung, in der Gutachter Statistiken gut verstehen:

• Es gibt auch Berichte von Programmleitern, die statistisch doppelblinde Überprüfungen auswerten, indem (zum Beispiel) PC-Mitglieder auf Richtigkeit ihrer Vermutungen befragt werden.

Nach vielen Programmausschüssen bin ich zu dem Schluss gekommen, dass wir unsere Fähigkeit, Autoren anhand des Inhalts einer doppelblinden Einreichung zu erraten, stark überschätzen.

Ich betrachte es als meine Pflicht als Rezensent, nicht von irrelevanten Daten wie Autoren abgelenkt zu werden, also überprüfe ich das Papier einfach so wie es ist. Ich bin mir sicher, dass ich mit ein wenig Rätselraten (und ein oder zwei schnellen Suchanfragen) die meisten Autoren identifizieren kann. Ich versuche absichtlich, dies nicht zu tun.

Die meisten Bereiche sind wirklich Wenn Sie eng miteinander verbunden sind, können Sie einen Kollegen anhand von Manierismen schriftlich, des gewählten Ansatzes, der verwendeten Ergebnisse (und der zitierten Artikel) identifizieren. Und geben Sie einen guten Versuch, Studenten von Kollegen zu identifizieren, zumindest bis zum Berater.

Wahrscheinlich jedes Mal. Jeder, der zugab, die Verblindung gebrochen zu haben, würde wahrscheinlich ernsthafte negative Auswirkungen haben, und daher würde ich nicht erwarten, dass sich jemand meldet oder auf eine Umfrage antwortet, die es ermöglicht, eine gute Studie durchzuführen. Ich habe die Verblindung bei einer doppelblinden Rezension nie absichtlich gebrochen, aber ich habe auf jeden Fall Papiere erhalten, die nicht richtig geblendet wurden, wobei die wahren Autoren nur beim Betrachten der Titelseite offensichtlich waren, sodass ich sie an den Herausgeber zurücksenden musste / Programmstuhl als nicht überprüfbar.

Ich kenne keine Studien darüber.

Das folgende Papier präsentiert Ergebnisse einer kürzlich durchgeführten Untersuchung auf drei großen Konferenzen zu Software Engineering und Programmiersprachen (ASE, OOPSLA und PLDI 2016).

Claire Le Goues, Yuriy Brun, Sven Apel, Emery Berger, Sarfraz Khurshid und Yannis Smaragdakis: Wirksamkeit der Anonymisierung im Doppelblind-Review. AdRR abs / 1709.01609 (2017)

Während des Überprüfungsprozesses wurden die Prüfer aufgefordert, eine Vermutung anzustellen, wenn sie glaubten, einen Autor des angegebenen Papiers zu kennen.

Zum Prozentsatz der Beiträge, bei denen eine Vermutung angestellt wurde:

Bei den drei Konferenzen wurden 70% bis 86% der Bewertungen ohne Vermutungen eingereicht, was darauf hindeutet, dass die Prüfer normalerweise nicht glaubten, dass sie es wussten oder sich nicht darum kümmerten Wer hat die meisten der besprochenen Papiere geschrieben?

Zur Richtigkeit der Vermutungen:

Wenn die Gutachter geraten haben, war es wahrscheinlicher, dass sie richtig sind (ASE 72) % der Vermutungen waren korrekt, OOPSLA 85% und PLDI 74%. 75% der ASE-, 50% der OOPSLA- und 44% der PLDI-Papiere hatten jedoch keine Rezensenten richtig erraten, und die meisten Bewertungen enthielten keine korrekten Vermutungen (ASE) 90%, OOPSLA 74%, PLDI 81%).

Über die Auswirkung des Fachwissens der Prüfer auf das Raten:

Wir schließen daraus, dass Gutachter sich selbst als Experten betrachteten waren eher zu erraten Autor Identitäten, aber es war nicht wahrscheinlicher, dass sie richtig erraten wurden.

Zur Auswirkung von (richtigen und falschen) Vermutungen auf die Papierakzeptanz:

Wir beobachteten ein unterschiedliches Verhalten Auf den drei Konferenzen: ASE-Beiträge wurden unabhängig vom Bewertungsverhalten der Prüfer statistisch gleich häufig angenommen. [...] OOPSLA- und PLDI-Einreichungen ohne Vermutungen wurden mit geringerer Wahrscheinlichkeit akzeptiert (p < = 0,05) als solche mit mindestens einer korrekten Vermutung. PLDI-Einsendungen ohne Vermutungen wurden ebenfalls weniger wahrscheinlich akzeptiert (p < = 0,05) als Einsendungen mit allen falschen Vermutungen.

Zusammenfassung:

Wir stellen fest, dass 74% –90% der Bewertungen keine korrekten Vermutungen enthalten und dass Gutachter, die sich selbst als Experten für das Thema eines Papiers identifizieren, eher versuchen, zu raten, aber nicht mehr richtig raten.