Der grundlegende Unterschied zwischen der Bewertung von GRE-Aufsätzen und der Überprüfung von zur Veröffentlichung eingereichten wissenschaftlichen Arbeiten wurde in mehreren früheren Antworten mit Nachdruck erörtert. Der grundlegende Unterschied zwischen der Prüfung von Zuschussanträgen und Veröffentlichungen besteht nicht.
Veröffentlichungen. Wenn eine Veröffentlichung bei einer Zeitschrift eingereicht wird, handelt es sich normalerweise um ein fertiges Produkt oder um mindestens ein abgeschlossener Schritt in Richtung eines definierten Ziels. Es ist wirklich schwierig, Rezensenten zu finden, die in der Lage sind, die Bedeutung eines Papiers einzuschätzen und jede Lücke in der Argumentation oder jede Unvollkommenheit in der Technik zu finden, aber zumindest Rezensenten von Zeitschriftenartikeln haben die Ergebnisse einer Forschungsarbeit bei Hand.
Ein potenzielles Nobelpapier kann Material abdecken, das so neu oder so weit von den ausgetretenen Pfaden entfernt ist, dass es besonders schwierig ist, es fair zu überprüfen. Ein nach mehreren Jahren erneut eingereichtes Papier basiert möglicherweise auf Verfahren oder Techniken, die in der Zwischenzeit erheblich verfeinert wurden. Vielleicht waren sie zum Zeitpunkt der ursprünglichen Einreichung auf dem neuesten Stand der Technik, sind aber jetzt in Bezug auf die derzeit verfügbaren Methoden „ernsthaft fehlerhaft“. Es ist daher nicht verwunderlich, dass Rezensenten bei diesen Aufgaben nicht 100% erreichen.
Obwohl es sich bei den Gutachtern um unbezahlte, überarbeitete Freiwillige handelt, die ohne spezielle Schulung oder Rückmeldung zu den Einzelheiten der Prüfung arbeiten, finde ich es überraschend, wie gut die Prüfung von Zeitschriften in der Praxis funktioniert.
Zuschüsse. Im Gegensatz dazu ist die Beurteilung von Forschungsstipendien etwas ganz anderes
Art der Aktivität. Vor einigen Jahren (als die US-Bundesmittel auf einem viel höheren Niveau als heute verfügbar waren) verbrachte ich mehrere Jahre bei einer Bundesbehörde mit einem relativ großen Budget für die Unterstützung der Grundlagenforschung und angewandten Forschung in verschiedenen wissenschaftlichen Bereichen. Deshalb werde ich versuchen, diesen Teil des Bildes kurz anzusprechen. Zunächst möchte ich sagen, dass ich überhaupt nicht überrascht bin, dass eine Gruppe von Wissenschaftlern die Finanzierung des NIH (oder einer anderen US-Regierungsbehörde) als „nicht besser als eine Lotterie“ ansieht.
Im Allgemeinen Wenn Sie genau wissen, was Sie tun, wie lange es dauern wird und wie viel es kosten wird, forschen Sie nicht. Gutachter können oft hilfreich sein, um die Erfolgsbilanz eines Antragstellers zu bewerten und eine ungefähre Vorstellung davon zu vermitteln, ob der Antragsteller befugt ist, in einem bestimmten Bereich Forschung zu betreiben. (Ich sollte hinzufügen, dass die meisten Programmdirektoren die Standards, Vorurteile, Schwächen und Stärken der von ihnen verwendeten Gutachter gut kennen. Ich war selten vom Inhalt einer angeforderten Prüfung überrascht, aber die wenigen Überraschungen waren äußerst wertvoll.) Die Eingabe von Gutachtern ist nur ein Teil des Bildes.
Über die Eingabe von Gutachtern hinaus müssen Programmdirektoren bei der Gewährung von Agenturen andere Faktoren berücksichtigen. Bis zu einem gewissen Grad müssen sie finanzielle, politische und infrastrukturelle Faktoren berücksichtigen. "Politisch" bedeutet normalerweise, dass dieses Geld speziell zur Unterstützung eines bestimmten wissenschaftlichen Ziels verwendet oder gespendet wurde. Infrastrukturelle Belange können sich auf die Entwicklung von Technologien konzentrieren, die Agenturziele sind, die Ausbildung von Doktoranden in Bereichen, in denen es nicht genügend Forscher gibt, ob die Institution, die den Zuschuss beantragt, die Raffinesse für eine angemessene Verwaltung hat, und so weiter.
In den USA können Agenturen wie NIH, NSF, DoE, EPA, verschiedene Verteidigungsagenturen und verschiedene privat finanzierte Stiftungen sehr unterschiedliche Ziele verfolgen. Jedoch klar diese Agentur
Missionen und Ziele können in „Aufforderungen zur Einreichung von Vorschlägen“ formuliert werden. Sie werden häufig von Antragstellern ignoriert, die ihre Arbeit besser begründen könnten, wenn die entsprechenden Zusammenhänge klargestellt würden.
Trotz dieser Einschränkungen Bei der Vergabe von Stipendien bemühen sich die Programmdirektoren, nur die Wissenschaft von höchster Qualität zu unterstützen, und ich glaube, dass ihnen dies normalerweise gelingt. Nach meiner Erfahrung sehen sich fast alle zuerst als Wissenschaftler und dann als Bürokraten der Agentur. Ihr Erfolg beruht häufig auf der beträchtlichen Hilfe von Gutachtern, manchmal jedoch nicht.