Frage:
Wie kalibriere ich die zeitliche Beschränkung einer Prüfung für einen neuen Kurs?
ff524
2014-11-05 13:52:15 UTC
view on stackexchange narkive permalink

Ich bereite eine Prüfung für einen Kurs vor, den ich durchführe. Es ist ein Ingenieurkurs; Die Prüfungsprobleme erfordern, dass die Schüler konzeptionelles Wissen und quantitative Fähigkeiten anwenden, die in Vorlesungen und Labors vermittelt werden.

Es ist das erste Mal, dass die Klasse angeboten wird, daher habe ich keinen Bezugsrahmen aus früheren Jahren. In der Klasse gab es keine Quizfragen oder andere Möglichkeiten für mich, direkt herauszufinden, wie lange die Schüler brauchen würden, um Probleme zu lösen, die denen der Prüfung ähneln. Ich habe auch keine ähnlichen Prüfungen von anderen Universitäten als Referenz gefunden.

Natürlich bin ich mit dem Material viel erfahrener als meine Studenten, daher kann ich nicht wirklich verallgemeinern, wie lange es dauert Ich brauche mich , um diese Art von Problemen zu lösen.

Diese Frage richtet sich an erfahrene Pädagogen: Gibt es in einem solchen Szenario Methoden oder allgemeine Regeln?

Ich möchte nicht, dass Zeit ein wichtiges Thema bei dieser Prüfung ist. Ich möchte, dass die meisten Studenten, die einigermaßen gut vorbereitet sind, die Prüfung in der vorgegebenen Zeit abschließen können.

Nur eine Idee: Lassen Sie einen TA (oder einen Doktoranden, der mit dem Thema vertraut ist) die Probleme lösen, an die Sie denken. Der TA sollte so schnell sein wie einer der besten Schüler, damit Sie 20% -50% der benötigten Zeit zur Prüfungsdauer hinzufügen können. Der Doktorand ist wahrscheinlich viel langsamer (da er nicht an die Art von Problemen gewöhnt ist und manchmal eine kompliziertere Methode zur Lösung des Problems verwendet), sodass Sie 0% -20% hinzufügen können. Es ist imho keine gute Idee, es selbst zu lösen: Sie wissen, wie die Lösung aussieht und wie das Problem gelöst werden muss, und Sie werden keine eigenen Fehler finden.
@TheAlmightyBob Sehr gute Idee. Auf diese Weise wird auch der TA untersucht.
@TheAlmightyBob das sollte eine Antwort sein, kein Kommentar!
_Der TA sollte so schnell sein wie einer der besten Schüler, damit Sie 20% -50% der für die Prüfungsdauer benötigten Zeit hinzufügen können_ - Nach meiner Erfahrung sind 100% -200% eine bessere Ergänzung.
@JeffE Meine Erfahrung war ähnlich: Mit starken TAs multiplizieren Sie ihre Zeit mit 3x.
Sind Sie gezwungen, Ihr Bewertungsschema vorab festzulegen? Wenn nicht, können Sie Ihre Prüfung so gestalten, dass sie "zu viel" ist (was andere Vorteile hat), mit der Erwartung, dass (die meisten) Studenten nicht alles tun. Beobachten Sie, was tatsächlich möglich ist (es gibt immer diesen einen Hermine-Typ) und stellen Sie Ihre Noten entsprechend ein.
@JeffE (und andere): Der Zeitfaktor hängt entscheidend von der Art der Probleme ab, die Sie aufwerfen. Reproduktive Multiple Choice? Großer Faktor. Freitext-Design / Proof-Fragen, die unabhängiges Denken erfordern? Kleiner Faktor (manchmal sogar 1,0 von TA zu Student).
@Raphael Wenn ich eine Prüfung für meinen ersten Test erhalten hätte, die physisch unmöglich zu absolvieren war, würde ich die Klasse am nächsten Tag abbrechen. Unüberwindbare Probleme zu präsentieren, um die Leistung der Schüler zu messen, ist für die Schüler nicht nett.
@Compass Oh, wir sagen es den Schülern natürlich im Voraus. Wie gesagt, zusätzliche Vorteile: Wir werfen Probleme auf, die unabhängige Gedanken und Ideen erfordern. Wenn Sie an einem Problem festhalten, wählen Sie einfach ein anderes aus. (Natürlich würden wir ihnen nicht sagen, ob wir das beste Ergebnis als 100% auswählen wollen.)
Lassen Sie Ihre Schüler ein oder zwei Fragen stellen, die denen in der Prüfung als Übung im Unterricht sehr ähnlich sind (unbenotet, aber eingereicht). Schreiben Sie auf jedes, wie es in der Zeit gedreht wurde, in der es eingereicht wurde. Wenn Sie die Zeit, die jeder Schüler benötigt hat, und die Qualität / Richtigkeit seiner Antworten betrachten, erhalten Sie ein Gefühl dafür, wie lange es dauern wird (plus einige gute Rückmeldungen) wie schwer es sein wird und den Schülern helfen, ein Gefühl dafür zu bekommen, welche Art von Fragen sie beantworten müssen). Ja, das kostet wertvolle Zeit im Unterricht, aber wenn es so völlig Neuland ist, wie Sie es klingen lassen, gibt es keinen anderen Weg, es zu finden.
_Freitext-Design / Proof-Fragen, die unabhängiges Denken erfordern? Kleiner Faktor (manchmal sogar 1,0 von TA zu Student) _ - Dies ist ** lächerlich ** unvereinbar mit meiner Erfahrung. Ich gehe davon aus, dass wenn meine TAs ein offenes Design- / Proof-Problem nicht in fünf Minuten lösen können, die meisten Studenten es nicht in 20 Minuten lösen werden.
@JeffE Viel hängt von der Quelle der TAs ab - angesichts Ihrer Institution vermute ich, dass TAs wahrscheinlich hauptsächlich Doktoranden sind und voraussichtlich einen erheblichen Teil des Unterrichts in der Klasse selbst absolvieren. An einigen anderen Schulen sind die TAs oft nur Studenten, die bei der Einstufung helfen.
Kann die @JeffE's-Schätzung von + 100-200% bestätigen. Ich war einige Jahre Ingenieur (als Student) und der Professor verteilte drei verschiedene Versionen eines Multiple-Choice-Tests. Da es gelegentlich ein Problem gab, bei dem die richtige Antwort in den angegebenen Auswahlmöglichkeiten nicht vorhanden war, habe ich mit den Schülern vereinbart, dass ich alle Tests mit ihnen machen und das Problem höflich an den Professor weiterleiten würde, wenn die richtige Antwort nicht vorhanden wäre Keine Wahl. Ich habe regelmäßig alle drei Versionen fertiggestellt, bevor einer der Schüler seinen einen Test abgeschlossen hat.
Sechs antworten:
Nate Eldredge
2014-11-05 20:35:37 UTC
view on stackexchange narkive permalink

Das ist völlig unwissenschaftlich, aber für meine Prüfungen (Mathematik) verwende ich die folgende Faustregel:

Nach dem Schreiben der Prüfung setze ich mich mit einer Stoppuhr hin und arbeite die Prüfung von Anfang bis Ende. Natürlich weiß ich, wie man die Probleme löst (seit ich sie geschrieben habe), aber ich gehe alle Schritte sorgfältig durch und schreibe, was ich für eine gründliche und beispielhafte Lösung halten würde. Ich notiere die Zeit, die ich für jedes Problem aufgewendet habe.

Dann nehme ich die Gesamtzeit und multipliziere sie mit 3 (oder manchmal 4). Wenn dies die für die Prüfung vorgesehene Zeit überschreitet, entferne oder vereinfache ich einige Fragen. (Hier hilft es, dass ich die Zeit aufgeschrieben habe, die ich für jede Frage aufgewendet habe, damit ich eine Frage entfernen und die Zeit neu berechnen kann, ohne die gesamte Prüfung tatsächlich zu wiederholen.)

Als Nebeneffekt auch dies stellt sicher, dass ich bei der Erstellung der Prüfung keine Fehler gemacht habe und dass alle Probleme die von mir beabsichtigten Lösungen haben. Es gibt mir auch einen Antwortschlüssel.

Ich benutze einen Faktor 5. Das Schreiben einer einstündigen Prüfung sollte also 12 Minuten dauern.
Nach dem Gespräch mit meinen Professoren im Grundstudium ist dies sehr ähnlich zu dem, was sie getan haben. Sie sagten immer, sie könnten ihre eigene 50-minütige Prüfung in 15 Minuten beenden.
Ich benutze auch Faktor 3-4 für Statistiken.
xLeitix
2014-11-05 15:19:20 UTC
view on stackexchange narkive permalink

Gibt es in einem solchen Szenario Methoden oder allgemeine Regeln, um zu bestimmen, wie lange Sie die Prüfung angesichts der zugewiesenen Zeit durchführen können?

So wie ich es immer getan habe Um dies zu tun, muss ich meinen studentischen Hilfskräften (TAs, Masterstudenten, Studenten) die Prüfung geben und sehen, wie lange sie brauchen. Je näher die Schüler Ihrem durchschnittlich gut vorbereiteten Kursteilnehmer sind, desto besser. Und natürlich möchten Sie ein wenig Spielraum hinzufügen, um zu berücksichtigen, dass Ihre Kursteilnehmer im Gegensatz zu Ihren Prüfungstestern nervös sind und sich in einer Testsituation befinden und dass Sie nicht möchten, dass Zeit zu wichtig ist .

Bearbeiten: Bob hat mich in einem Kommentar geschlagen.

Massimo Ortolano
2014-11-05 20:31:34 UTC
view on stackexchange narkive permalink

Nach meiner Erfahrung kann das Verhältnis zwischen der Zeit, die ein erfahrener Lehrer zur Lösung eines Problems benötigt, und dem "durchschnittlichen Schüler" je nach Fach, Art der Probleme und sogar zwischen Problemen derselben Art sehr unterschiedlich sein. An einem Ende gibt es Probleme, deren Lösungen ziemlich einfach sind, die jedoch viele langwierige Berechnungen erfordern, für die es keine Abkürzung gibt: In diesem Fall ist die Lösungszeit für den Professor und die Studenten nahezu gleich. Auf der anderen Seite gibt es Probleme, die es erfordern, eine "intelligente" Lösung zu finden, bei der nur wenige Berechnungen erforderlich sind: In diesem Fall kann ein erfahrener Professor ein Problem in viel kürzerer Zeit lösen (Verhältnisse von etwa 4 zwischen den Lösungszeiten sind dies nicht ungewöhnlich).

Selbst wenn Sie TAs Prüfungsprobleme zum Testen geben können, versuchen Sie sorgfältig zu beurteilen, welche Art von Problemen Sie vorbereitet haben. Auf diese Weise können Sie möglicherweise die Prüfungsdauer besser verkürzen.

Ich betrachte normalerweise ein Verhältnis von ungefähr 3 zwischen der Prüfungszeit und meiner Lösungszeit (elektronische Messungen).

Als Lehrer sollten Sie bei der Durchführung des Tests auf Verknüpfungen verzichten können, die Sie nicht unterrichtet haben, und als solche sollten diese die erforderliche Zeit nicht beeinträchtigen. TAs / andere können jedoch auf sie stoßen und die Verknüpfungen verwenden.
@user2813274: Ich habe nicht geschrieben, ich habe die Verknüpfung nicht unterrichtet. Die Schüler erkennen jedoch möglicherweise nicht die Ähnlichkeit zwischen dem im Unterricht beschriebenen Beispiel und dem Prüfungsproblem. Außerdem erwarte ich, dass die Studenten Abkürzungen auf der Grundlage dessen finden, was sie in allen Kursen studiert haben, die sie besucht haben, insbesondere wenn sie Doktoranden sind.
Wenn Sie die Verknüpfung unterrichtet haben (und erwarten, dass die Schüler sie verwenden), ist es nichts Falsches, Zeit zuzuweisen und zu erwarten, dass die Schüler sie verwenden müssen, um pünktlich fertig zu werden. Ich würde jedoch nicht erwarten, dass sie Verknüpfungen aus * anderen * Kursen verwenden, die sie möglicherweise belegt haben oder nicht (es sei denn, dies ist eine Voraussetzung, aber selbst dann würde ich es nicht testen, es sei denn, es wurde zuerst in der Klasse überprüft).
Wichtig ist, dass sich die Studierenden der Erwartungen ihrer Professoren bewusst sind. Daher warne ich sie eindeutig vor zwei Dingen: i) Bei den Prüfungen werden sie mindestens ein neues Problem finden, dh ein Problem, für das kein vorheriges Beispiel besprochen wurde (als Übung im Unterricht, Hausaufgaben oder aus früheren Prüfungen); ii) Ich erwarte, dass sie in der Lage sind, grundlegende Fakten aus einer Reihe anderer Fächer zu verwenden, die für jeden Schüler obligatorisch sind, so dass sie nicht ausdrücklich als Voraussetzungen angegeben werden müssen. Und die Prüfung besteht aus offenen Büchern. Wenn sie diese Erwartungen nicht verstehen, schade, werden sie scheitern.
Ich bin mir nicht sicher, wie ich mich zu "neuen Problemen" fühle, [also habe ich eine Frage dazu gestellt] (http://academia.stackexchange.com/questions/31241/is-it-professional-for-a-professor-to -ask-überraschend-Fragen-auf-einen-Test) - aber bitte bearbeiten / kommentieren, wenn Sie nichts dagegen haben, welche spezifischen Probleme Sie stellen. Ich erinnere mich an einige Professoren, die solche Dinge getan haben, aber ich hasste sie dafür, selbst wenn ich das Problem gelöst habe. Ich denke auch, dass diese Probleme die Beurteilung der richtigen Zeit viel schwieriger machen werden als ohne sie.
Ethan Bolker
2014-11-06 02:02:05 UTC
view on stackexchange narkive permalink

Folgendes mache ich, auch in Kursen, die ich oft unterrichtet habe. Es beantwortet nicht die Frage, die Sie gestellt haben, aber es kann Ihren Zweck erfüllen.

Ich versuche immer, eine Prüfung zu erstellen, die in der vorgegebenen Zeit durchgeführt werden kann, aber es gelingt mir fast nie - ich werde getragen die Fragen interessant zu machen, in der Hoffnung, dass die Schüler tatsächlich aus der Prüfung lernen und zeigen, was sie wissen. Ich kündige mein Versagen im Voraus an, damit die Schüler nicht überrascht werden. Ich muss ihnen unbedingt sagen, dass ich, da ich weiß, dass einige A-Schüler in der Klasse sind, moralisch verpflichtet bin, die Prüfung so zu krümmen, dass die Bestnoten A sind.

Ich sage den Schülern, dass sie nach ihrer Wende In ihrer (zeitgesteuerten) Prüfung sollten sie die Fragen mit nach Hause nehmen und mit einer Arbeit mit den Lösungen, von denen sie wünschten, sie hätten genug Zeit zum Schreiben gehabt, zur nächsten Klasse kommen. Ich sage ihnen, dass zusätzliche Anstrengungen nicht unbedingt ihre zeitgesteuerte Arbeit ersetzen, sondern ihre Note verbessern können.

Da ich fast immer offene Buchprüfungen gebe, ist die Tatsache, dass sie zu Hause nachschlagen können, nicht vorhanden Kein echter Bonus. Ich bin mir der Tatsache bewusst, dass sie zu Hause zusätzliche Hilfe bekommen können (d. H. Betrügen), aber es ist mir immer unangenehm, Einschränkungen zu entwerfen, um Betrüger zu fangen, die der Mehrheit der ehrlichen Schüler die Möglichkeit verweigern, mehr zu lernen.

Klingt sehr vertraut, außer dass ich mich immer geweigert habe, einzelnen Prüfungen Buchstaben zuzuweisen. Ich kann allgemein sagen, dass jeder, der mindestens 80% erzielte, eine A-Arbeit machte, und jeder, der mindestens 50% erzielte, mindestens C-Arbeit leistete. Und ich erinnere mich an ein oder zwei kleine Klassen, in denen es wirklich niemanden gab, der am Ende des Kurses ein A verdient hatte.
sevensevens
2014-11-05 23:11:37 UTC
view on stackexchange narkive permalink

Ich mag Nates Vorschlag, mit 4 zu multiplizieren, wenn Ihre Prüfung nur aus Essay-Fragen besteht. Wenn Sie Bedenken haben, dass die Schüler nicht fertig sind, können Sie Multiple-Choice- und Kurzantwort-Fragen verwenden.

Multiple-Choice- und Kurzantwort-Fragen zwingen Sie dazu, gezielte Fragen zu stellen, die schnell beantwortet werden können. Als ich im Grundstudium war, mochte ich immer Tests mit Multiple-Choice- und Kurzantwort, weil ich wusste, dass jede Multiple-Choice-Frage 1-2 Minuten dauern würde, jede Kurzantwort 2-3 und die Essay-Frage normalerweise 7-10.

Mit diesen Faustregeln können Sie einen Test erstellen, von dem Sie sicher sind, dass die Schüler ihn beenden können.

Möglicherweise finden Sie diesen Multiple-Choice-Testprimer hilfreich.

Das ist ein guter Link, obwohl ich nicht sicher bin, wie sehr dies die ursprünglichen Fragen beantwortet.
Der andere Beitrag schlug mich vor, es selbst zu nehmen, die Zeit mit 4 zu multiplizieren und sie dem TA zu geben.
Was Sie sagen, ist nicht unbedingt wahr. Im Allgemeinen sagt das Format einer Frage nicht unbedingt etwas über die Zeit aus, die zur Beantwortung benötigt wird. Bei einer Multiple-Choice-Frage müssen Sie möglicherweise ein beliebig komplexes Problem lösen, um die Antwort zu erhalten. Ich kann eine Multiple-Choice-Frage schreiben, deren richtige Beantwortung buchstäblich Billionen von Jahren dauert :-)
Ganz richtig, Sie können eine schlechte Prüfung mit Multiple Choice machen. Nach meiner Erfahrung als Student und Grader dauern Multiple-Choice-Prüfungen in der Regel NICHT viermal länger als von einem Profi angenommen, und die höchste Note liegt nicht bei 32/100, was ich bei Prüfungen im Essay-Stil häufig gesehen habe.
Patricia Shanahan
2014-11-05 23:36:26 UTC
view on stackexchange narkive permalink

Wenn die Person, die die Prüfung abstellt, keine Ahnung hat, wie die Fragen in der Praxis ablaufen werden, befinden sich die Schüler vermutlich in genau der gleichen Situation. Dies kann zu Nervositätsproblemen führen und es für sie schwierig machen, sich auf den Test vorzubereiten.

Wie wäre es, wenn Sie während einer Unterrichtsstunde eine Übungsprüfung ablegen, die kürzer als die reale ist, aber ähnliche Fragen verwendet ein paar Wochen vor der eigentlichen Prüfung? Wenn Sie die Fragen selbst stellen oder einen TA usw. haben, wie bereits vorgeschlagen, können Sie den Praxistest verwenden, um das Verhältnis zwischen der Zeit für die tatsächlichen Schüler und der Zeit des TA zu kalibrieren.

Die Schüler Sie profitieren auch davon, welche Art von Fragen Sie stellen, und haben die Möglichkeit, diese mit Ihnen, dem TA und untereinander zu besprechen. Das hilft ihnen, sich auf den eigentlichen Test vorzubereiten.

Ich habe keine freie Zeit, um eine Übungsprüfung abzulegen. Die Schüler haben die Art von Fragen gesehen, die ich stellen werde, weil sie für Hausaufgaben gestellt wurden, aber * ich * habe nicht gesehen, dass die Schüler diese Art von Fragen gestellt haben.
@ff524, findet eine freie Zeit, die die meisten Ihrer Schüler ablegen können, und die Übungsprüfung ist optional, während andere Schüler dies zu Hause tun können, wenn sie die von Ihnen festgelegte Zeit nicht einhalten können.
Ich bezweifle, dass die Schüler die Übungsprüfung mit der gleichen Geschwindigkeit wie die eigentliche Prüfung ablegen würden, es sei denn, sie glauben, dass die Übungsprüfung benotet wird.


ⓘ
Diese Fragen und Antworten wurden automatisch aus der englischen Sprache übersetzt.Der ursprüngliche Inhalt ist auf stackexchange verfügbar. Wir danken ihm für die cc by-sa 3.0-Lizenz, unter der er vertrieben wird.
Loading...