Bei den auf der Retraction Watch gemeldeten Bildmanipulationen handelt es sich meistens um naive Collagen von Gelfotos oder Spektrogrammen. Sie werden unter anderem gefangen, weil sich bei näherer Betrachtung sich wiederholende Muster im Rauschen zeigen oder eine lineare Störung des Rauschens sichtbar ist, siehe dies.

Für 1D-Daten die Wenn Sie erwähnen, gibt es das Benford-Gesetz und andere statistische Tests, die auf eine mögliche Manipulation von Daten hinweisen können. Es beruht normalerweise darauf, dass Menschen bestimmte Ziffern sogar unbewusst anderen vorziehen und so Daten generieren, die eine nicht zufällige Variabilität aufweisen.

Viele Zeitschriften verlangen außerdem, dass Diagramme im Vektorformat eingereicht werden, was bedeutet, dass Sie senden tatsächlich die Datenpunkte und nicht nur eine gerenderte Figur. Dinge wie das Herausarbeiten einiger Datenpunkte zum Glätten einer Kurve werden offensichtlich.

Nach meinem besten Wissen suchen Verlage und noch weniger Rezensenten nicht systematisch nach diesen Dingen, sondern nur, wenn sie Verdacht haben, weil der wissenschaftliche Veröffentlichungsprozess auf Gutem basiert Vertrauen. Wenn das Papier jedoch Aufmerksamkeit erhält, wird es von der Überprüfung nach der Veröffentlichung erfasst.

Erstellen / manipulieren Sie keine Daten. Es fügt einem bereits verrauschten Signal unerwünschtes Rauschen hinzu. Es ist unehrlich gegenüber Ihren Mitarbeitern, den Leuten, die Sie finanzieren, dem Verlag und der Leserschaft, und es wird Ihre Karriere ruinieren.

Cape Code wies darauf hin, dass in Feldern, in denen Gelfotos oder Spektrogramme verwendet werden, eine schlampige Bildmanipulation von erfahrenen Lesern erkannt werden kann.

In anderen Bereichen können Daten vorhanden sein als möglicherweise betrügerisch gekennzeichnet, weil sie "zu perfekt" sind. Hier ist zum Beispiel die Zusammenfassung eines Berichts, der zur Untersuchung eines sozialpsychologischen Forschers führte:

Hier analysieren wir die Ergebnisse von drei kürzlich erschienenen Arbeiten (2009, 2011) , 2012) von Dr. Jens Förster vom Psychologischen Institut der Universität Amsterdam. Diese Arbeiten berichten über 40 Experimente mit insgesamt 2284 Teilnehmern (2242 davon waren Studenten). Wir wenden einen F-Test basierend auf deskriptiven Statistiken an, um die Linearität der Mittelwerte auf drei Ebenen des experimentellen Designs zu testen. Die Ergebnisse zeigen, dass in der überwiegenden Mehrheit der 42 so analysierten unabhängigen Stichproben die Mittelwerte ungewöhnlich nahe an einem linearen Trend liegen. Die kombinierten Wahrscheinlichkeiten für den linken Schwanz betragen 0,000000008, 0,0000004 und 0,000000006 für die drei Papiere. Der kombinierte p-Wert für den linken Schwanz des gesamten Satzes beträgt p = 1,96 * 10-21, was dem Finden solcher konsistenten Ergebnisse (oder konsistenterer Ergebnisse) in einer von 508 Billionen (508.000.000.000.000.000.000) entspricht. Es ist äußerst unwahrscheinlich, dass sich ein solches Maß an Linearität aus der Standardabtastung ergibt. In zwei der Artikel fanden wir auch übermäßig konsistente Ergebnisse bei unabhängigen Replikationen. Als Kontrollgruppe analysieren wir die Linearität der Ergebnisse in 10 Arbeiten anderer Autoren auf demselben Gebiet. Diese Arbeiten unterscheiden sich stark von denen von Dr. Förster hinsichtlich der Linearität der Effekte und der Effektgrößen. Wir stellen auch fest, dass keiner der 2284 Teilnehmer fehlende Daten zeigte, während der Datenerfassung ausfiel oder das Bewusstsein für die im Experiment verwendete Täuschung zum Ausdruck brachte, die für psychologische Experimente untypisch ist.

Dieser Bericht ist offensichtlich das Ergebnis einiger nicht trivialer Bemühungen. Einige der beschriebenen Symptome (außergewöhnlich gute Passform, kein Ausfall der Versuchsteilnehmer, atypisch große Effektgrößen) können jedoch bei jedem erfahrenen, sorgfältigen Prüfer Alarm auslösen und möglicherweise zu einer formelleren Untersuchung führen.

Tun Sie es zunächst nicht.

Sie werden wahrscheinlich nicht erkannt, da Peer Review im Allgemeinen nicht nach subtilen Datenmanipulationen sucht. Methoden wie die, auf die CapeCode antwortet, könnten angewendet werden, aber selbst dann würde eine kleine Anzahl von Datenpunkten, wie Sie sie anzeigen, wahrscheinlich keinen schrecklich schlüssigen Hinweis auf Unehrlichkeit liefern. Aber es wird für immer in der Literatur sein, und Sie wissen nie ...

Aber wirklich, das spielt keine Rolle. Unabhängig davon, ob Sie entdeckt werden oder nicht, Sie werden Sie mit Sicherheit immer noch kennen, dass Sie gelogen haben. Sie werden freiwillig das eine wegwerfen, was niemand von Ihnen nehmen kann: Ihre Integrität. Wird es dort aufhören oder wirst du es wieder tun, wenn das nächste Mal etwas nicht ganz perfekt ist? Wie viel von Ihrer Arbeit wird verdorben sein? Ziemlich alle von uns Forschern haben Probleme mit dem Betrüger-Syndrom, aber wenn Sie diesen Weg gehen, werden Sie wissen, dass es wahr ist. Möchtest du wirklich so leben?

Nicht nur das, sondern du wirst dich über etwas wirklich Dummes belogen und kompromittiert haben, nur um eine Grafik ein bisschen hübscher zu machen. Wenn Sie echte Ergebnisse erzielen, bleiben diese auch bei Rauschen erhalten. Wenn das Geräusch groß genug ist, um tatsächlich ein Problem zu sein, dann ist das kein Problem, das ist eine Chance. Das Zitat, das Asimov zugeschrieben wird, lautet:

Der aufregendste Satz in der Wissenschaft, der neue Entdeckungen ankündigt, ist nicht „Eureka“, sondern „Das ist lustig ...“

Auf diese Weise werden auch viele wichtige Phänomene in der Informatik entdeckt. Wenn Sie lügen, gefährden Sie nicht nur Ihre Integrität und riskieren völlige Verdammnis, falls sie jemals entdeckt wird, sondern Sie schließen auch die Möglichkeit aus, dass Sie über etwas Wichtigeres stolpern als das, was Sie zuerst getan haben.

Kurz gesagt: Tu es nicht.

Warum nicht das Experiment so oft ausführen, dass Sie Ihr Diagramm mit Fehlerbalken auf den Punkten erstellen können? Auf diese Weise kann der Leser verstehen, wie stark die Messungen zufällig variieren.

Andere haben nützliche Beiträge geliefert, aber ich bin nicht sicher, ob sie sich vollständig mit dem Thema „Wie können Redakteure und Prüfer Datenmanipulationen erkennen?“ befasst haben. Frage.

Die einfache Antwort lautet: Meistens können sie nicht und nicht, schon gar nicht in Bereichen, in denen Forscher Code, Rohdaten und Fotos nicht routinemäßig austauschen und dergleichen, aber nur statistische Tests oder grundlegende Diagramme. Wenn Sie wirklich schlampig sind, könnten Sie inkohärente Zahlen erhalten, die möglicherweise nicht durch die Analyse erzeugt wurden, die Sie angeblich durchgeführt haben (ich habe solche Dinge gesehen), aber subtilere Manipulationen sind nicht so einfach zu erkennen. P. >

Es gibt einige faszinierende Techniken, um gefälschte Daten zu erkennen (einschließlich, aber nicht beschränkt auf Benfords Gesetz), aber nur sehr wenige Menschen verfügen tatsächlich über das erforderliche Fachwissen, und Prüfer prüfen dies nicht routinemäßig. In den meisten Fällen kann eine solche Analyse eine starke Vermutung, aber keinen soliden Beweis liefern. Einige berühmte Datensätze wurden gründlich analysiert, ohne einen Konsens zu erzielen (z. B. Cyril Burts Arbeit zu Intelligenz und Vererbung).

Wenn Sie sich einige der bekanntesten Betrugsfälle der letzten Jahre ansehen (Jens Förster aber auch Diederik Stapel oder Dirk Smeesters), sie wurden meistens nach vielen, vielen betrügerischen Veröffentlichungen herausgefunden und nicht immer, weil diese Veröffentlichungen verdächtig waren. Je „gieriger“ der Betrüger ist, desto klarer wird das Muster und einige Leute hatten möglicherweise irgendwann private Bedenken, aber der Betrug wird erst später aufgedeckt, normalerweise nachdem jemand gepfiffen hat und nicht, weil ein Rezensent es bemerkt hat. P. >

Sie können dies als ein Glas betrachten, das halb voll (Betrug wird schließlich entdeckt) oder halb leer (wie könnte es so lange dauern? Wie viele andere sind da draußen?), aber Tatsache ist, dass es nur in der aggregieren, dass die Ergebnisse verdächtig aussehen, nicht auf der Ebene eines einzelnen Diagramms oder Artikels.

Natürlich nicht, dass ich das befürworte. Ethisch gesehen ist es eindeutig falsch und die Fälle, die ich gerade erwähnt habe, zeigen, dass Sie auf andere Weise herausgefunden werden können und mit sehr schwerwiegenden Konsequenzen konfrontiert sind. Aber Prüfer und Redakteure können Betrug normalerweise nicht direkt erkennen. So funktionieren die Systeme nicht.

An dem Punkt, an dem Sie nur die Figur oder die zugrunde liegenden verarbeiteten Daten haben, können Sie keine "gut gemachten" Manipulationen erkennen. Ein Aspekt der reproduzierbaren Forschung, der immer beliebter wird, erfordert, dass andere die Daten reproduzieren können. Dies bedeutet, Code verfügbar zu machen, die Hardware ausreichend detailliert zu beschreiben und auch Dinge wie Startwerte und Zustände von Zufallszahlengeneratoren zu beweisen. Auf diese Weise können Prüfer Ihre Daten neu erstellen und anschließend testen, wie empfindlich sie auf geringfügige Störungen reagieren.