Frage:
Sollte ich zustimmen, ein Papier zu überprüfen, das ich nicht vollständig verstehe?
Erel Segal-Halevi
2017-07-21 10:17:59 UTC
view on stackexchange narkive permalink

Ich habe kürzlich die Anfrage erhalten, ein Papier für eine Top-Informatikkonferenz zu überprüfen. Obwohl es mit meinem Forschungsgebiet zusammenhängt, ist es extrem lang (die Konferenz hat keine Seitenbeschränkung) und kompliziert (es ist ein Algorithmus, der aus mehr als zehn Teilalgorithmen besteht, von denen jeder selbst ein Konferenzpapier wert ist). . Ich finde es sehr schwierig zu überprüfen, ob es korrekt ist. Ich meine, theoretisch kann ich es vielleicht verstehen, wenn ich mehrere Wochen damit verbringe, jeden Subalgorithmus zu lesen, kleine Beispiele für mich selbst zu erstellen, Comupter-Simulationen zu schreiben usw., aber dann muss ich aufhören, etwas anderes zu tun. Was soll ich tun?

  1. Lehnen Sie die Anfrage ab, in der Hoffnung, dass das Papier einem intelligenteren Prüfer übergeben wird, der seine Richtigkeit besser überprüfen kann? Oder -

  2. Stimmen Sie der Anfrage zu, teilen Sie dem PC-Mitglied jedoch im Voraus mit, dass ich nur einen Teil des Papiers überprüfen werde, den ich verstehen kann?

  3. ol>

    HINWEIS: Das Problem liegt nicht in der Präsentation der Autoren. In der Tat scheinen ihre Erklärungen gut und klar. Nur die Algorithmen selbst sind sehr komplex.

Nach meiner Erfahrung wissen mindestens ein oder zwei der Rezensenten nicht, worum es in den Artikeln geht (das sind meistens die "Publish as is" -Kommentare der Rezensenten ...).Das heißt, ich würde (persönlich) aus Respekt vor dem Autor und mir selbst ablehnen.Wenn ich ein Papier nicht wirklich rezensieren kann, würde ich es nicht tun.
@Fl.pf.Ich denke du hast Glück (oder wir sind es nicht).In etwa 50% unserer Beiträge kommt es vor, dass ein Rezensent, der die in unserem Manuskript vorgestellten Forschungsergebnisse eindeutig nicht versteht, uns eine schlechte Rezension mit Kommentaren gibt, die überhaupt keinen Sinn ergeben.
Ist Ihr Teilgebiet der Informatik eines, in dem Konferenzbeiträge endgültige Veröffentlichungen sind?
Während Bescheidenheit im Allgemeinen eine gute Sache ist, möchte ich Sie ermutigen, sich keinen anderen Rezensenten als "schlauer" als Sie vorzustellen.Wir haben alle unterschiedliche Fachgebiete.
Es scheint ziemlich häufig bei Rezensenten zu sein, die nicht viele Hinweise haben, aber so tun, als ob sie es tun.Entmutigt wahrscheinlich einige Prozent der Menschen, sich zu fragen, ob sie jedes Jahr in die Wissenschaft gehen sollen.Also würde ich mit 1) gehen
@DSVA ja, das passiert auch sehr oft ("Du solltest schreiben, was E_ {SCF} ist, sonst versteht niemand, was du tust")
Was meinst du mit "Subreview"?Ist das ein Euphemismus für die Überprüfung anstelle des offiziellen Überprüfers, der dies nicht kann?
Zehn antworten:
Jessica B
2017-07-21 10:42:40 UTC
view on stackexchange narkive permalink

Ich würde mit 2 gehen oder zumindest den Herausgeber kontaktieren, um zu sagen, dass Sie 2 machen würden, und fragen, ob sie 1 bevorzugen würden. Zumindest in meinem Bereich gibt es tendenziell einen Mangel an Schiedsrichtern, also würde ich erwarten 2 zu bevorzugen. Ich habe ein Papier erhalten, um einen Aspekt zu untersuchen, bei dem anscheinend jemand anderes bereits einen anderen Aspekt überprüft hat.

Obwohl ich es hasse, es zu sagen, glaube ich an Mathematik, dass nicht wirklich erwartet wird, dass jeder Winzige Details eines ähnlichen Papiers würden überprüft. Früher dachte ich, dass es so funktioniert, aber die Zeitprobleme, die Sie erwähnen, gelten auch für andere. Ich denke, "sicher genug" muss "absolut sicher" ersetzen.

AnoE
2017-07-21 17:14:14 UTC
view on stackexchange narkive permalink

Akzeptiere es. Im schlimmsten Fall könnte Ihre Bewertung so etwas wie

sein. Das Papier ist gut strukturiert und gut geschrieben. Obwohl ich nicht in der Lage war, jeden einzelnen Beweis / Algorithmus zu bestätigen, bin ich zuversichtlich, dass die Themen auf solide Weise präsentiert werden und ein interessantes Thema in der Konferenz darstellen würden.

Dies wird Ihre Die Position ist ganz klar, und der Herausgeber / Organisator kann leicht entscheiden, ob er Ihre Bewertung abgeben möchte oder nicht.

Sie helfen dabei, schlecht geschriebene Inhalte herauszufiltern. Sie können auch Fehler in der "internen" Logik und im allgemeinen Ansatz, der Sprache, der Präsentation usw. finden.

Ellen Spertus
2017-07-22 00:53:47 UTC
view on stackexchange narkive permalink

Ich würde mich an den Herausgeber oder das PC-Mitglied wenden, das mir das Papier zugewiesen hat, meine Einschränkungen erläutern und fragen, ob sie das Papier neu zuweisen möchten. Sie können besser beurteilen, ob es Personen gibt, die für die Überprüfung des Papiers besser geeignet sind, oder ob Sie der beste Rezensent sind, der ihnen zur Verfügung steht.

Eine andere Alternative wäre, einen Rezensenten vorzuschlagen, der besser zu Ihnen passt, wenn Sie kennen eine und denken, sie wären verfügbar.

Warum das Downvote?Wenn etwas mit meiner Antwort nicht stimmt, würde ich gerne wissen, was es ist.
PsySp
2017-07-21 14:52:13 UTC
view on stackexchange narkive permalink

Wenn Sie den Überprüfungsantrag für eine Konferenz ablehnen (mit scharfen Fristen für Benachrichtigungen), tun Sie weder dem PC-Komitee noch den Autoren viel Gutes: Das eingeladene PC-Mitglied müsste mehr Zeit damit verbringen, nach einem anderen Ersatzschiedsrichter zu suchen Dies ist höchst trivial und zeitaufwändig und würde dem nächsten Schiedsrichter weniger Zeit für den Bericht geben.

Beachten Sie, dass wahrscheinlich das PC-Mitglied, das Sie eingeladen hat, weiß, dass Sie nicht der sind Experte. In vielen (den meisten) Fällen sollte eine relativ leichte Überprüfung ausreichen: Niemand erwartet von Ihnen (für eine Konferenzeinreichung mit einer kurzen Frist im Sommer), dass Sie jedes Detail des Papiers lesen, sondern in der Lage sind, die Ergebnisse zu verstehen und zu beurteilen die Techniken. Sind sie relevant? Machen sie Sinn? Brechen sie einige weit verbreitete Annahmen (Überprüfung der geistigen Gesundheit usw.)?

Es spielt keine Rolle, ob Sie nicht jedes Lemma überprüfen können. Geben Sie einfach eine Empfehlung auf hoher Ebene ab, die darauf hinweist, dass die Ergebnisse, soweit Sie sie überprüft haben, korrekt und vernünftig erscheinen. Natürlich sollten Sie dem PC-Komitee alles mitteilen.

Beachten Sie, dass mehr als 50% der Bewertungen, die ich von meinen Einsendungen erhalten habe, Bewertungen mit einem Absatz sind: entweder großartig, super, akzeptieren und das war's, oder Kritik, dass mein Papier nicht relevant genug ist. Zu Beginn meiner Karriere war ich etwas verrückt, aber ich verstehe, dass es unrealistisch ist, von allen Schiedsrichtern etwas mehr in Bezug auf Konferenzbeiträge zu erwarten.

Richard
2017-07-23 10:25:55 UTC
view on stackexchange narkive permalink

Als Herausgeber einer Zeitschrift möchte ich Sie ermutigen, sich an den Herausgeber zu wenden und so ziemlich alles zu sagen, was Sie hier gesagt haben, und anzubieten, das Papier angesichts dieser Einschränkungen so gut wie möglich zu überprüfen, falls sie dies wünschen.

Dies hat zwei Gründe.

  1. Der Editor ist in diesem Bereich wahrscheinlich weniger ein Experte als Sie. Die Redakteure sehen alle Arten von Papieren, die sich über Dutzende von Unterfeldern erstrecken, und bemühen sich, Leute zu finden, die eine vernünftige Chance haben, zu verstehen, worum es in dem Papier geht und ob es interessant ist. Dass Sie gebeten wurden, das Papier zu überprüfen, bedeutet, dass ein Redakteur der Meinung ist, dass Sie über besondere Kenntnisse dieses bestimmten Unterthemas verfügen.

  2. Sie können wahrscheinlich viel tun hier, auch wenn Sie nicht die Zeit oder die Fähigkeit haben, allen Argumenten der Autoren zu folgen. Scheint das Argument gut ausgearbeitet? Passen die Ideen zusammen? Scheint das Papier für die Menschen von Interesse zu sein? Zurück zu Punkt 1: Aus Sicht des Herausgebers kann das Papier Jargony sein, sich auf Methoden stützen, die für sie dunkler sind als für Sie und von zweifelhaftem Interesse sein. Ihre Meinung kann von Bedeutung sein.

  3. ol>
Leon Meier
2017-07-21 18:43:17 UTC
view on stackexchange narkive permalink

Einfach ablehnen und, wenn Sie es wirklich wünschen, sagen Sie warum und was Sie stattdessen tun könnten, wenn Sie dazu aufgefordert werden. Sie sind nicht in der Lage, das Ganze zu überprüfen, und es ist in Ordnung, dies zu erklären. Wenn das Papier wirklich astronomisch komplex ist, liegt es in der Verantwortung des PCs, eine geeignete Überprüfungsmethode auszuwählen, z. B. die Partitionsüberprüfung in Unteraufgaben, und Sie (oder andere) zu bitten, diese Unteraufgaben auszuführen.

PS. Persönlich würde ich lesen und versuchen, etwas Neues und Nützliches aus dem Papier zu lernen. Aber es wäre meine eigene, subjektive, persönliche Entscheidung, die nur schwach mit Ihrer Situation zusammenhängt.

Derek
2017-07-21 14:09:06 UTC
view on stackexchange narkive permalink

Wenn ich es wäre, würde ich es ablehnen, das Papier zu überprüfen. Für den Autor des Artikels erscheint es nicht fair, einen Artikel halb überprüft und den wichtigsten Teil nicht einmal verifiziert zu haben.

Wenn es so passiert ist, dass das Papier veröffentlicht wurde und jemand anderes Weiter unten wurden Probleme in der Zeitung entdeckt, die dann in der Zeitschrift wieder auftauchten, um die Veröffentlichung zu ermöglichen.

Wenn Sie keine Zeit haben oder nicht glauben, dass Sie es können, dann tun Sie es nicht. t.

Philip Roe
2017-07-22 17:05:51 UTC
view on stackexchange narkive permalink

Geben Sie einfach eine ehrliche Bewertung ab. Obwohl dies in Ihrem Fall möglicherweise nicht zutrifft, werden Konferenzbeiträge häufig nach anderen Maßstäben als Archivzeitschriften beurteilt. Eine schnelle Antwort, die beispielsweise interessant ist, sollte eine lohnende Diskussion hervorrufen (oder welche konferenzähnliche Tugend das Papier auch haben mag). wird wahrscheinlich die Dankbarkeit des Veranstalters verdienen. Seien Sie ehrlich zu dem, was Sie nicht verstanden haben oder keine Zeit hatten zu verstehen. Wenn Sie analysieren können, WARUM Sie es nicht verstanden haben, und Lücken vorschlagen, die gefüllt werden müssen, ist dies sogar noch nützlicher.

Wie andere bereits betont haben, ist Ihre unvollständige Bewertung möglicherweise besser, als die Organisatoren mit begrenzter Zeit nach einem fähigeren Prüfer suchen zu lassen, der möglicherweise gar nicht existiert. Wenn geplant ist, ein Verfahren zu veröffentlichen, würde ich erwarten, dass eine weitere Überprüfungsrunde organisiert wird, für die die Diskussion nach dem Papier durchaus von Bedeutung sein kann.

RayOfHope
2017-07-26 04:03:04 UTC
view on stackexchange narkive permalink

Ich bin bereits auf solche Situationen gestoßen. Wenn die Verfügbarkeit potenzieller neuer Prüfer oder zeitliche Einschränkungen begrenzt sind, besteht die Lösung darin, mit dem Gremium mehrerer Prüfer zusammenzuarbeiten. Es ist vernünftig, Klarstellungen zu verschiedenen Punkten des Papiers anzufordern, bevor endgültige Entscheidungen getroffen werden. Normalerweise wird vom Autor erwartet, dass seine Entwürfe und Notizen sofort verfügbar sind. Sie sollten den Autor jedoch so schnell wie möglich informieren, da Sie das Papier nur zu dem darin behandelten Thema bewerten sollten. Auch wenn Sie selbst möglicherweise nicht das gesamte Papier verstehen oder überprüfen können, sind Sie sicher, dass Sie auf Ihrem Gebiet glaubwürdig sind Sie sollten weiterhin Ihre Beiträge zu den Teilen geben, die Sie verstehen, und sich mit anderen Panelmitgliedern über die Teile unterhalten, die Sie nicht verstehen, und die Themen im Überprüfungsprozess bei Bedarf auf mehrere Mitglieder verteilen. Es ist offensichtlich keine genaue Darstellung der Wirksamkeit eines Papiers, wenn nur eine Person mit begrenzter Erfahrung es überprüft.

HEITZ
2017-07-26 03:41:24 UTC
view on stackexchange narkive permalink

Sie sollten die Möglichkeit in Betracht ziehen, dass das Problem nicht nur bei Ihnen liegt, sondern bei der Präsentation der Autoren. Wenn Sie es schwer zu verstehen finden, werden wahrscheinlich auch viele andere Probleme haben. Haben Sie das Vertrauen, dies klar zu sagen.



Diese Fragen und Antworten wurden automatisch aus der englischen Sprache übersetzt.Der ursprüngliche Inhalt ist auf stackexchange verfügbar. Wir danken ihm für die cc by-sa 3.0-Lizenz, unter der er vertrieben wird.
Loading...