Frage:
Wie ehrlich sollte ich sein, wenn ich nicht so aufregende Ergebnisse offenlege?
undergrad_dilemma
2018-12-10 23:14:29 UTC
view on stackexchange narkive permalink

Ich bin ein Soziologe, der an einem Aufsatz für einen Methodenkurs arbeitet. Ich plane auch, es als Muster für meine Bewerbung an der Graduiertenschule einzureichen. Ich möchte nicht zu spezifisch sein, aber ich glaube, dass diese Arbeit ziemlich originell ist und meine Hypothese frühere Literatur bestätigen würde, und insgesamt denke ich, dass sie einen guten Eindruck im Zulassungsausschuss hinterlassen würde.

Im Grunde habe ich die Tests durchgeführt und erhalte widersprüchliche Ergebnisse. Die Verwendung eines Datensatzes (der mehr Beobachtungen enthält) liefert sehr signifikante Ergebnisse, während die Verwendung eines anderen (der wahrscheinlich genauer wäre) nichts bringt. Hier bin ich also an einem Scheideweg und habe drei mögliche Optionen für die Vorgehensweise gefunden:

  1. Nur die signifikanten Ergebnisse anzeigen. Immerhin ist dies nur ein zehnseitiger Aufsatz, er soll nicht veröffentlicht werden können oder so, oder?

  2. Verwenden Sie nur den besseren Datensatz und geben Sie zu, dass dies einfach nicht der Fall ist viel da - vielleicht liegt es an der kleinen Stichprobengröße oder an der nicht so guten abhängigen Variablen. Hoffentlich würde das Komitee die Ehrlichkeit und die relativ fortgeschrittenen Methoden, die ich verwendet habe, begrüßen.

  3. Zeigen Sie die Ergebnisse beider Datensätze an, was darauf hindeutet, dass die Unterschiede möglicherweise auf die Stichprobengröße zurückzuführen sind oder möglicherweise auf Chance.

  4. ol>

    Während ich dies tippe, neige ich eher zu Option 3, aber ich würde gerne von Leuten mit mehr Erfahrung in der Wissenschaft hören. Was soll ich tun?

Widersprüchliche Ergebnisse sind der erste Schritt zu einer Entdeckung.
@henning ... oder eine Entlarvung wissenschaftlicher Credos.Umfassen Sie den Widerspruch.
"Diese Arbeit ist ziemlich originell und meine Hypothese würde frühere Literatur bestätigen." Sie bestätigt bestehende frühere Ergebnisse, aber sie ist originell?
+1 für fragen.Ich empfehle Ihnen dringend, regelmäßig den Blog von Andrew Gelman zu besuchen, um zu diskutieren, wie Statistiken richtig erstellt werden können, insbesondere in den Sozialwissenschaften. Hier ein Beispiel: https://andrewgelman.com/?s=file+drawer
Drehen Sie die Frage um.Fragen Sie nicht "wie ehrlich soll ich sein?"Fragen Sie "Wie stark sollte ich versuchen, meine Rezensenten zu täuschen?"Ist die Antwort auf die Frage einfacher, wenn Sie sie so stellen?
Können Sie einen dritten Datensatz erhalten?
Alle scheinen zuzustimmen, aber seltsamerweise haben Sie so viele Artikel mit erstaunlichen Ergebnissen auf handverlesenen Datensätzen veröffentlicht, dass niemand auf einem anderen Datensatz reproduzieren kann :-)
1) [...] Immerhin nur ein Aufsatz.2) [...] schätzen die Ehrlichkeit.3) [...] schlägt vor, dass [...] - es wird viel geschnitten, sorry, aber ich finde Ihre dynamische Einstellung zu "Ehrlichkeit" ziemlich faszinierend, wenn man bedenkt, wie Ihre Frage beginnt.
Als ich die Worte "wie ehrlich" und "Ergebnisse offenlegen" sah, wusste ich, dass die Antwort auf Ihre Frage "völlig ehrlich" sein würde.
Ich habe mir gerade einen Podcast von den lieben Leuten bei SYSK angehört, der genau zu diesem Thema gehörte.Ein großes Problem bei der Forschung ist, dass nur die "* sexy *" Ergebnisse (deren Deskriptor, nicht meiner) gemeldet werden und dies zu irreführenden / völlig falschen Informationen führt (für Interessenten: https://www.stuffyoushouldknow.com/Podcasts / Forschungstipps von sysk.htm)
@jcaron das ist die Ohnmacht des "Soll".Leider ist Publikationsbias Realität.
Es gibt eine dritte Option: schlechte Methodik - entweder bei der Erfassung der Daten oder bei der Entscheidung, welche Daten erfasst werden sollen.
Willkommen in der Wissenschaft!
Sie vergessen das wissenschaftliche Sprichwort, dass jede Theorie als bewiesen angesehen werden kann, wenn Sie weniger als die Hälfte Ihrer Beobachtungen verwerfen.(Ich bin sarkastisch.)
Ich möchte sicherstellen, dass ich verstehe.Ihr Aufsatz behandelt zwei Experimente.Der erste hatte einen größeren Datensatz und ergab signifikante Ergebnisse, aber seine Variablen sind mangelhaft.Die zweite Studie hat interessantere Variablen, aber die Studie war zu klein, um ein signifikantes Ergebnis zu erzielen.Ist das korrekt?Klingt genau so, wie ich es mir wünschen würde, um die Wiederholung des zweiten Experiments mit einer größeren Studie zu rechtfertigen.Wäre das nicht die offensichtliche Schlussfolgerung für den Aufsatz?
Acht antworten:
Buffy
2018-12-10 23:36:54 UTC
view on stackexchange narkive permalink

In der Forschung wollen Sie nicht beweisen , dass etwas wahr ist. Sie wollten herausfinden, ob es wahr ist oder nicht. Das wäre Wissen. Das andere ist nur Propaganda.

Negative Ergebnisse sind kein Fehler. Sie geben Ihnen ebenso Beweise wie positive Ergebnisse. Wenn Sie Ergebnisse ignorieren oder verschleiern, belügen Sie sich selbst und andere. Wenn Sie ein "Experiment" so gestalten, dass es a priori garantiert positive Ergebnisse liefert, handelt es sich nicht um Forschung.

Zu hoffen, dass etwas wahr ist, ist kein Beweis. Viele Forscher beginnen mit dieser Idee. Ich denke das ist wahr. Ich möchte wirklich, dass es wahr ist. Aber wenn es falsch ist, ist es genauso wertvoll (möglicherweise noch wertvoller), das zu wissen und untersuchen zu können, warum.

Alle Ihre Ergebnisse melden. Versuchen Sie zu erklären, warum verschiedene Aspekte Sie in verschiedene Richtungen führen. Nur dann kann Ihr Lernen beginnen.

Ich möchte wirklich, dass diese Antwort wahr ist, aber ist es ...
Dies zum größten Teil.Ich möchte darauf hinweisen, dass es diese Wahrnehmung zu geben scheint (und es ist nicht gut), dass die einzigen "guten" Ergebnisse irgendwie diejenigen sind, die zu einer neuen Schlussfolgerung gelangen.Aber das ist weit von wahr.Das Erreichen einer erwarteten oder konventionellen Schlussfolgerung über einen nicht getesteten oder neuartigen Weg ist ebenso viel neues Wissen, da es diesen Weg immer noch von "vorhergesagt" zu "Wissen" verschiebt.Darüber hinaus hat sogar die Replikation eines alten Pfades noch einen gewissen Nutzen, da es das Vertrauen in diese vorhandenen Ergebnisse erhöht, insb.wenn es vorher Zweifel gab.Replikationen sind wichtig.
[Und ich möchte auch darauf hinweisen, dass die Überprüfung der Vorhersagen einer akzeptierten Theorie durch einen neuartigen Test auch dazu dient, das Vertrauen zu stärken.Diese "selbstbewusst akzeptierten" Theorien kommen nicht nur durch Magie oder Fiat auf diese Weise zustande.]
Das Hauptproblem bei nicht so aufregenden Ergebnissen imo ist, dass es in dieser gewinnorientierten Welt im Allgemeinen nicht zu mehr Finanzmitteln führt - es ist schwierig, Finanzmittel für reine Grundlagenforschung ohne direkte und leicht kommerzialisierbare Ergebnisse zu finden, solange Sie es sindWenn Sie bereit sind, genau zu ändern, was Sie recherchieren, anstatt weiterhin eine Sackgasse zu verfolgen, wird es Ihnen wahrscheinlich gut gehen - das heißt, mehrere Sackgassen / das Fehlen aufregender Ergebnisse werden Ihnen geschäftlich wahrscheinlich schaden, auch wenn dies nicht rein sein solltewissenschaftlicher Standpunkt
"Sie wollten herausfinden, ob es wahr ist oder nicht."Ich stimme zu, dass das übergeordnete Ziel darin besteht, festzustellen, ob eine Hypothese wahr / falsch ist, aber die Art und Weise, wie Sie dies angegeben haben, ist kritisch unvollständig, IMO.Um festzustellen, ob eine Hypothese wahr ist, versuchen wir, sie zu widerlegen.Wir entwerfen Experimente, Studien usw. mit der Absicht, die durch die Hypothese gemachten Vorhersagen zu verfälschen.Erst nachdem etwas versucht hat, es zu widerlegen, halten wir es unter den getesteten Bedingungen für wahrscheinlich wahr.IMO, dies ist ein kritischer Bereich, der oft missverstanden wird, normalerweise weil Leute "richtig" sein wollen.
@Makyen, Ich würde es etwas anders sagen.Ein positives Ergebnis in einer statistischen Studie liefert den Beweis, dass die Hypothese wahr sein könnte, nicht den Beweis, dass dies der Fall ist.Wenn die Studie oft genug wiederholt wird, bauen sich die Beweise auf.Aber nur eine vollständige Bevölkerungsstudie kann Beweise liefern, und das kann unmöglich sein, wenn sich die Bevölkerung mit der Zeit ändert, was eine genaue Replikation unmöglich macht.Wir bekommen Beweise, keine Beweise.
"Versuchen Sie zu erklären, warum verschiedene Aspekte Sie in verschiedene Richtungen führen."Ich denke, dies könnte etwas ausgearbeitet werden.Ich nehme an, Sie meinen, das OP sollte nach neuen Hypothesen suchen, die den Unterschied erklären (z. B. eine nicht berücksichtigte Variable in einer der Stichproben).
Dies ist eine großartige Antwort und angemessen für die Disziplin von OP, aber der erste Absatz würde in der Mathematik nicht gelten.
@Randall, von einem Mathematiker zum anderen, ich bin anderer Meinung.Bevor Sie etwas beweisen können, müssen Sie zuerst untersuchen, was "wahr sein könnte" und was interessant genug ist, um es zu studieren.Niemand gibt Ihnen Theoremaussagen (jedenfalls nach Ihrem Abschluss).Ein mathematischer Beweis ist nur der letzte Schritt in einem Entdeckungsprozess.Der Schlüsselbegriff in meinem ersten Absatz lautet "dargelegt ...".
@Buffy Ich glaube, ich stimme Ihnen wieder zu, so formuliert.
@Mayken ist eine gute Möglichkeit, das (dominante) falsifikationistische Paradigma zu erklären.Die Bayesianer legen wahrscheinlich weniger Wert auf den Wert einer einzelnen Fälschung.
henning -- reinstate Monica
2018-12-10 23:30:04 UTC
view on stackexchange narkive permalink

Das Weglassen negativer Ergebnisse und die selektive Meldung nur der positiven Ergebnisse wäre ein Verstoß gegen die Forschungsethik. Als Forscher sollen Sie Wissen aufdecken, * es nicht verschleiern. Die Ergebnisse sind oft widersprüchlich und interpretationsbedürftig. Indem Sie erklären, wie Sie diese widersprüchlichen Ergebnisse (dh Ihre Methoden) erhalten haben, helfen Sie anderen, Sackgassen in der Zukunft zu vermeiden und einen Sinn für das zu finden, was heute verwirrend aussieht.

* Interessanterweise das Wissen, dass Forschung schafft oft eher die Form von Verwirrung auf höherer Ebene als die endgültige Gewissheit. sub>

+1, weil Forschungsethik nicht nur dann gilt, wenn etwas "publizierbar" ist (wie in "Immerhin ist dies nur ein zehnseitiger Aufsatz, er soll nicht publizierbar sein oder so, oder?")
Ben
2018-12-11 06:49:53 UTC
view on stackexchange narkive permalink

Wie ehrlich sollte ich sein, wenn ich nicht so aufregende Ergebnisse offenlege?

Sie sollten immer ganz ehrlich sein: Zeigen Sie die Ergebnisse von beiden Datensätze und lassen Sie die Schlussfolgerung aus den Daten folgen. Kommentieren Sie die Qualität der beiden Datensätze und ihre Stichprobengröße objektiv, schließen Sie Daten jedoch nicht nur aus, weil sie unerwünschte oder nicht aufregende Ergebnisse liefern. Wenn Sie in Bezug auf die Unterschiede zwischen den Datensätzen wissen, warum sie unterschiedlich sind, erklären Sie dies, und wenn Sie nicht wissen, warum sie unterschiedlich sind, sagen Sie dies - präsentieren Sie Ihre Spekulationen nicht als wissenschaftliche Schlussfolgerungen.

Diese Antwort gefällt mir sehr gut.Ich habe großen Respekt vor ehrlichen Arbeiten - Arbeiten, die Ergebnisse "vorführen" und die ehrliche Bewertung der Ergebnisse des Autors verschleiern, kosten andere Forscher oft viel Zeit.Wenn die Dinge nicht "so wahr sind, wie der Autor behauptet", kann viel Zeit damit verschwendet werden, eine Technik zu erlernen oder ein Ergebnis zu reproduzieren, was sich als überhaupt nicht nützlich herausstellt ...
Keith
2018-12-11 07:56:27 UTC
view on stackexchange narkive permalink

Fügen Sie für Option (3) 'hinzu, oder es gibt etwas, das ich noch nicht verstehe ".

Dies ist viel interessanter .

In Ihrem Grundstudium lernen Sie, wie man Fragen beantwortet.

Bei der Forschung in allen Disziplinen ist es wichtig, nicht die richtigen Antworten zu erhalten, sondern die richtigen Fragen zu stellen.

Also, Präsentieren Sie beide Datensätze, rufen Sie die Diskrepanz auf und versuchen Sie zu erklären, warum dies interessant ist und warum es sich lohnt, sie weiterzuverfolgen.

Wenn Sie ein solches Mini-Forschungsproblem aufzeigen, können Sie viel mehr als nur auffallen ein Ergebnis.

Dies ist der beste Kurs.Einerseits ist es entscheidend, dass die richtigen Methoden angewendet werden, auch wenn sie Sie nirgendwohin führen.Wenn Sie dagegen eine Veröffentlichung anstreben, muss diese für jemanden von Interesse sein.[Vergleich der Sprunghöhen von Katzenflöhen und Hundeflöhen] (https://www.ncbi.nlm.nih.gov/pubmed/10962162) profitiert von der Schlussfolgerung, dass sie unterschiedlich sind.Für Sie ist das Interessante der Unterschied zwischen den Datensätzen.Warnung: Sie werden sicher danach gefragt, daher müssen Sie sich entweder eingehend damit befassen oder erklären, warum dies nicht in den Rahmen Ihrer Arbeit fällt.
M. M.
2018-12-11 06:51:40 UTC
view on stackexchange narkive permalink

Ich bin auch nur ein Student (Abschluss), aber hier sind ein paar weitere Gründe, sich für Option 3 zu entscheiden, um beide Datensätze anzuzeigen:

  • Wie in Hennings erwähnt Kommentar, vielleicht können Sie Ihre ungewöhnlichen Ergebnisse als Sprungbrett für die weitere Forschung verwenden und dies in Ihre Bewerbung aufnehmen. Wenn Sie unbefriedigende Ergebnisse so behandeln, kann dies zeigen, dass Sie motiviert und belastbar sind.

  • Wenn Sie gute Arbeit geleistet und gezeigt haben, auch ohne "gute Ergebnisse" zu erzielen, kann dies zeigen dass Sie zumindest Potenzial haben.

  • Darüber hinaus kann Ihre Ehrlichkeit im Zusammenhang mit Bewerbungen, bei denen die Leute normalerweise nur ihr Bestes geben, vom Zulassungsausschuss tatsächlich geschätzt und respektiert werden . Es kann zeigen, dass Sie die Wissenschaft an die erste Stelle setzen.

APH
2018-12-11 01:15:48 UTC
view on stackexchange narkive permalink

Sind Ihre signifikanten Ergebnisse eine große Effektgröße oder nur eine winzige Änderung, die aufgrund der großen Stichprobengröße signifikant ist?

Sind Ihre nicht signifikanten Ergebnisse in Richtung und Größe den signifikanten Ergebnissen von ähnlich? der andere Datensatz?

Überlegen Sie, wie stark sich die Größe des Datensatzes auf das auswirkt, was Sie sehen. Möglicherweise können Sie eine Studie so gestalten, dass sie die Ergebnisse der anderen bestätigt, wenn sie nicht mit der Signifikanz übereinstimmen. Betrachten Sie mehr als nur die p-Werte, insbesondere wenn sie aus einem sehr großen Datensatz stammen.

AdamO
2018-12-12 03:29:07 UTC
view on stackexchange narkive permalink

Denken Sie für einen Moment daran, dass Sie Datensätze (und deren Ergebnisse) möglicherweise falsch vergleichen. "Bedeutung" oder vielmehr die Kraft ist nicht unabhängig vom Design. Wenn Studie A an 1.000 Personen durchgeführt wird, Studie B jedoch identisch ist, aber nur 100 Freiwillige umfasst, ist Studie A viel leistungsfähiger, sodass (statistisch) signifikante Ergebnisse von A und (statistisch) nicht signifikante Ergebnisse von B nicht überraschend sind. Es gibt bessere Methoden zum Vergleichen zweier Studien, z. B. eines Waldgrundstücks.

Ich erwähne dies nur, weil alles von dem "Sie" abhängt, das Sie für diese Anwendung verkaufen möchten. Ein Soziologe auf Bachelor-Niveau muss keine statistische Ausbildung auf Bachelor-Niveau haben. Wenn Sie sich jedoch als Stärke rühmen, sollten Sie sicher sein, dass Sie eine Reihe von Ergebnissen richtig interpretieren.

Das Wort " negativ "(Ergebnis oder Studie) ist ein Missbrauch der statistischen Terminologie. Es gibt Fragen zu Macht, Kontext und Präzision. Aber versierte Forscher werfen das Baby bereitwillig mit dem Badewasser hinaus. Halten Sie für einen Moment inne und denken Sie: "H_0 nicht ablehnen" bedeutet, dass die Konfidenzgrenzen die hypothetischen Nullwerte enthalten: 0 für Differenzen oder 1 für Verhältnisse. Na und?

1) War diese Studie ausreichend leistungsfähig oder handelt es sich um eine vollständige Aufnahme im Dunkeln? Große, unhaltbare Konfidenzintervalle können eine beschissene Studie darstellen oder eine erhebliche Heterogenität in der Bevölkerung widerspiegeln. Gab es Probleme bei der Einstellung oder Einhaltung von Vorschriften? Mussten Sie die Menschen besser entschädigen? Haben Sie ein vorhandenes Instrument verabreicht und wenn ja, haben Sie sich selbst oder die Patienten beurteilt, um sicherzustellen, dass der Wortlaut klar ist? Wenn es sich um eine Zugunglücksstudie handelt, können Sie sich auf die gewonnenen Erkenntnisse konzentrieren. Z.B.

Wir haben 30 Personen aufgrund einer falschen Leistungsberechnung rekrutiert. Unsere Effektschätzung war viel kleiner als in der vorherigen Literatur angegeben. Dies gibt Anlass zur Sorge, da unsere Berechnung auf früheren Untersuchungen beruhte, in denen behauptet wurde, dass ...

2) Ist der CI knapp auf 0 oder 1 und schließt alle anderen Untersuchungen aus? Dies ist ein bedeutender Befund, da er nicht mit anderer Literatur übereinstimmt. Es gibt ein ganzes Forschungsfeld, das sich mit der Bestimmung der Auswirkungen von Publikationsbias befasst. Trichterdiagramme zeigen die erwartete Verteilung der Effekte aus Metaanalysen. Wenn die Verteilung mit einer Lücke bei H0 verschoben wird, gibt es eine Pause, ob der Evidenzzustand durch Herausfiltern von Nullbefunden übertrieben ist. Wichtige wegweisende Forschungen konnten abschließend sagen: "Nein. Eine bestimmte Behandlung verursacht keinen Unterschied.

3) Ist das CI breit, konzentriert es sich jedoch auf ein Ergebnis, das frühere Forschungen bestätigt. Zum Beispiel:

Eine 5.000-Personen-Studie zur Salzreduktion ergab, dass die HR für MI 0,95 95% CI 0,92, 0,99 (p < 0,05) betrug. Eine Bestätigungsstudie von 100 ergab eine HR für MI von 0,95 95 % CI 0,5, 1,45 (p> 0,05).

Wichtig ist, dass diese Studien zu 100% übereinstimmen.

Ryan
2018-12-14 02:06:28 UTC
view on stackexchange narkive permalink

Das klingt so super interessant. Es gibt sicher statistische Probleme, ich möchte Sie nicht davon abhalten, aber Sie müssen sicherstellen, dass Sie die Mathematik durchgeführt haben (einschließlich Datenerfassung und Methodik sind korrekt), aber Sie können eine sehr leistungsfähige Arbeit schreiben, indem Sie zwei Methoden vergleichen . Etwas wie:

  • Methode A, die billig und einfach zu sammeln ist, aber wir haben Bedenken, dass sie Verzerrungen enthält, führt zu einem positiven Ergebnis.

  • Andererseits führt Methode B, deren Datenerfassung schwierig und teuer ist, die jedoch weitaus gründlicher ist und von der keine Verzerrung erwartet wird, zu einem negativen Ergebnis.

  • Daher sollten Forscher die Verwendung von Methode A vermeiden.

  • Ich würde wetten, dass Sie eine Zeitschrift erhalten könnten, um ein so geschriebenes Papier zu veröffentlichen, wenn man alles bedenkt der Analyse, Datenerfassung usw. war über Bord, geschweige denn eine gute Note in der Klasse zu bekommen.

    Eigentlich ist Ihr "Deshalb ..." überhaupt nicht überraschend, also wahrscheinlich kein Kandidat für die Veröffentlichung.Die Verwendung einer Methode, von der erwartet wird, dass sie Verzerrungen enthält, ist fehlerhaft, es sei denn, Sie haben Möglichkeiten, diese zu messen (zusätzliche Kosten ...).
    Nein, ich glaube, Sie haben mich missverstanden, weil ich diese Antwort in einer Mittagspause zusammengeschlagen habe.Das ist mein schlechtes.Die Art und Weise, wie ich darüber nachdachte, war, dass das OP eine Reihe von Daten hatte, die anscheinend auf zwei verschiedene Arten gesammelt wurden.
    Aus OP "Die Verwendung eines Datensatzes (der mehr Beobachtungen enthält) liefert mir sehr signifikante Ergebnisse, während die Verwendung eines anderen Datensatzes (der wahrscheinlich genauer wäre) mir nichts bringt."Es war a priori nicht bekannt, dass Methode A voreingenommen war.Ich glaube, das Papier, das ich mir vorgestellt habe, ist eher eine Demonstration, dass Methode A voreingenommen ist, wenn dies vorher nicht bekannt war.
    Natürlich müssen Sie eine gründliche Literaturrecherche durchführen und sicherstellen, dass die von Ihnen gemeldete Verzerrung noch nicht bekannt ist, aber darum geht es in der Forschung.


    Diese Fragen und Antworten wurden automatisch aus der englischen Sprache übersetzt.Der ursprüngliche Inhalt ist auf stackexchange verfügbar. Wir danken ihm für die cc by-sa 4.0-Lizenz, unter der er vertrieben wird.
    Loading...