Resource-Rich Assessment in Higher Education

Abstract

Most educational assessments remain resource-poor. Students have nothing but an empty piece of paper and their isolated minds to work with. Most academic, professional, and civic activities on the other hand take place under resource-rich conditions. When students leave university, they have available a wide array of disciplinary tools, easy access to information, and tackle tasks collaboratively with support from networks of experts and peers. If the world outside the examination room is resource-rich, what benefits might an accordingly resource-rich assessment practice bring about? In this thesis, I report four empirical studies that investigated this question, together with two theoretical articles that frame this question, and one methodological article that motivates an according experimental design. I frame disciplinary practices as mediated by three kinds of resources: Technological, semiotic, and social. I propose that a resource-rich assessment practice may lead to improvements regarding assessment validity and assessment-driven learning. With the double treatment experimental design, I develop an experimental method suitable for directly comparing the validity of alternate forms of assessment. Double treatment experimental designs consist of a learning activity followed by an assessment, where the experimental treatment of interest is implemented independently in both the learning activity and the assessment. The double treatment experimental design is implemented in two empirical studies. These focus on disciplinary tools as technological resources and their impact on validity. Semiotic resources, notably in the form of novel information, as well as tool-mediated learning are secondary concerns of these studies. Both studies were conducted in-class in an introductory computer science course at the BSc level at ETH Zurich with n = 201 and n = 124 participating students. The compiler constituted the disciplinary tool of interest, a brief assessment-embedded introduction to a novel application of the programming paradigm introduced in the prior learning experiment the information resource. The findings reveal a complex relationship between resource-richness and validity. Two distinct yet interrelated subcomponents to programming competency are identified: Competency in coordinating with the disciplinary tool and conceptual competency. The findings indicate that coordination competency is foundational to conceptual competency: Interaction with the disciplinary tool while learning greatly facilitates subsequent information-mediated conceptual learning. Hence, tool-mediated learning is associated with deep learning and preparation for future learning. Resource-rich tool-mediated assessments were sensitive to both conceptual competency and coordination competency. Resource-rich information-mediated tasks, where students have to learn from novel information, were identified as particularly sensitive to conceptual competency. Resource-poor tool-dissociated assessments on the other hand were only sensitive to conceptual competency, not coordination competency. However, the combination of a resource-poor tool-dissociated task-environment with a resource-rich information-mediated task lead to assessments that were differentially most sensitive to conceptual competency. The experimental study findings were successfully replicated and refined in a quasi-experimental study in an actual high-stakes computer science examination at ETH Zurich with n = 135 participating students. The examination consisted of both a resource-rich tool-mediated programming subtest, as well as a resource-poor tool-dissociated paper-based subtest, and a resource-poor tool-dissociated multiple-choice subtest. The findings confirmed the dual competency hypothesis of the experimental studies, identifying coordination competency and conceptual competency as latent factors underlying student performances. The findings furthermore indicated substantial positive effects of preparation for the tool-mediated subtest on both coordination competency and conceptual competency, as well as on according examination performances. Conversely, preparation for the tool-dissociated subtests had comparatively (much) weaker effects on conceptual competency and according performances, and no effect on coordination competency. Indeed, preparation for the tool-mediated subtest could be associated more closely with deep learning and a focus on knowledge in use than preparation for the resource-poor subtests. The last empirical study investigated assessment-driven learning and student appraisals of resource-rich versus resource-poor examinations based on student responses in the regular student evaluation of examinations at ETH Zurich. 1,871 examinations and 112,299 submitted examination evaluation questionnaires were analysed. Resource-rich tool-mediated, open book, and/or open notes examinations were compared with their resource-poor counterparts. The findings could confirm a strong effect of resource-rich examinations on assessment-driven learning. Students reported an increased focus on deep learning and knowledge in use in all three kinds of resource-rich examinations investigated. The findings indicate furthermore that resource-rich examinations are well accepted and well evaluated by students, though on many criteria they are evaluated slightly more critically than conventional resource-poor examinations. The results also indicate that resource-rich examinations require substantially more time and require special attention to procedural challenges owed to their increased complexity. Finally, I outline a holistic framework of cognition and learning motivated from the current state of research, which may serve as an explanatory backdrop to the empirical findings presented in this thesis. I close the thesis with a final discussion where I explore implications of the study findings on educational practice, as well as on related research areas, and make suggestions for further research.

Prüfungen verbleiben bis heute meist ressourcenarm: Gearbeitet wird allein mit Wissen, Verstand und einem leeren Blatt Papier. Akademische, professionelle oder zivile Tätigkeiten hingegen finden in aller Regel unter ressourcenreichen Bedingungen statt. Nach Verlassen der Hochschule stehen Studierenden eine Vielzahl spezifischer Werkzeuge sowie ein einfacher Zugang zu Informationen zur Verfügung und Aufgaben werden kollaborativ in spezialisierten und interdisziplinären Netzwerken von Fachleuten angegangen. In Anbetracht einer solch ressourcenreichen Welt ausserhalb der Prüfungsräume – welche Vorteile könnte eine entsprechend ressourcenreiche Prüfungspraxis zeitigen? Diese Dissertation beinhaltet vier empirische Studien, welche dieser Fragestellung nachgehen. Ergänzt werden sie durch zwei theoretische Artikel, welche die Frage kontextuell einordnen, sowie einem methodischen Artikel, der eine für die Erörterung der Forschungsfrage geeignete experimentelle Methode vorstellt. Fachliche Praxis wird durch drei grundlegende Arten von Ressourcen vermittelt: technologische, semiotische sowie soziale Ressourcen. Darauf aufbauend wird vorgeschlagen, dass eine ressourcenreiche Prüfungspraxis Verbesserungen in der Validität von Prüfungen sowie im prüfungsvorbereitenden Lernen verspricht. Mit dem ‘Experimentaldesign der doppelten Manipulation’ (‘double treatment experimental design’) wird eine auf kontrollierten Experimenten beruhende Forschungsmethode vorgestellt, welche einen direkten Vergleich der Validität alternativer Prüfungsformen ermöglicht. Entsprechende Studiendesigns bestehen aus einer Lernaktivität, gefolgt von einer Prüfung oder einem Test, wobei die interessierende experimentelle Manipulation unabhängig sowohl auf die Lernaktivität, als auch auf den Test angewendet wird. Die ersten beiden empirischen Studien der Dissertation beruhen auf dieser Methode der doppelten experimentellen Manipulation. Ihr Hauptaugenmerk liegt auf einem fachspezifischen Werkzeug als technologische Ressource und seinem Einfluss auf die Prüfungsvalidität. Des Weiteren interessieren semiotische Ressourcen in Form neuer und aufgabenrelevanter Informationen sowie prüfungs-vorbereitendes werkzeugvermitteltes Lernen. Beide Experimentalstudien fanden eingebettet in den regulären Unterricht eines Informatikeinführungskurses auf Bachelorstufe an der ETH Zürich mit n = 201 sowie n = 124 teilnehmenden Studierenden statt. Die Studien basierten auf einem Lernexperiment, gefolgt von einem Prüfungsexperiment. Der Compiler stellte das interessierende fachliche Werkzeug dar, die Informationsressource eine kurze, in die Prüfung eingebettete Anleitung zu einer neuen Anwendung des im Lernexperiment eingeführten Programmierparadigmas. Die Studienergebnisse offenbaren eine komplexe Beziehung zwischen der Verfügbarkeit von Ressourcen und Prüfungsvalidität. Informatikkompetenz lässt sich aufgrund der Resultate in zwei abgrenzbare, aber miteinander eng verflochtene Teilkomponenten unterteilen: Koordinationskompetenz und konzeptuelle Kompetenz. Koordinationskompetenz liegt dabei konzeptueller Kompetenz zugrunde. Interaktion mit dem fachspezifischen Werkzeug im Lernexperiment begünstigte anschliessendes, allein durch neue Information vermitteltes konzeptuelles Lernen stark. Folglich kann werkzeugvermitteltes Lernen als Vorbereitung für zukünftiges Lernen (‘preparation for future learning’) verstanden und mit einer grösseren Verarbeitungstiefe assoziiert werden. Ressourcenreiche werkzeugvermittelte Prüfungsaufgaben erwiesen sich als sensitiv sowohl für konzeptuelle Kompetenz als auch für Koordinationskompetenz. Ressourcenreiche informationsvermittelte Aufgaben, bei welchen die Studierenden aus den in die Prüfung eingebetteten neuen Informationen lernen mussten, erwiesen sich als besonders sensitiv für konzeptuelle Kompetenz. Ressourcenarme Aufgaben ohne Werkzeugzugang hingegen zeigten sich nur sensitiv für konzeptuelle Kompetenz, nicht aber für Koordinationskompetenz. Allerdings erwies sich die Kombination von informationsvermittelten Aufgaben mit keinem Werkzeugzugang als differenziell ausserordentlich sensitiv für konzeptuelle Kompetenz. Die Befunde der beiden Experimentalstudien konnten in einer quasi-experimentellen Studie erfolgreich repliziert und weiter ausdifferenziert werden. Untersucht wurde die summative Abschlussprüfung eines anderen einführenden Informatikkurses an der ETH Zürich. n = 135 Studierende nahmen an der Studie teil. Die Prüfung bestand sowohl aus einem ressourcenreichen werkzeugvermittelten Programmierteil als auch aus zwei ressourcenarmen Prüfungsteilen ohne Werkzeug: einerseits eine Teilprüfung mit papierbasierten Aufgaben, andererseits eine Teilprüfung im Antwort-Wahl-Verfahren. Die vermuteten beiden Teilkompetenzen konnten als den Prüfungsleistungen zugrundeliegende latente Faktoren nachgewiesen werden. Des Weiteren zeigte sich ein erheblicher positiver Zusammenhang zwischen der Vorbereitung auf den Programmierteil der Prüfung und konzeptueller wie auch koordinativer Kompetenz. Umgekehrt lassen sich ein (deutlich) schwächerer Zusammenhang zwischen der Vorbereitung auf die ressourcenarmen Teilprüfungen und konzeptueller Kompetenz und kein Zusammenhang zu Koordinationskompetenz erkennen. In der Tat konnte die Vorbereitung auf den Programmierteil der Prüfung im Vergleich zur Vorbereitung auf die beiden ressourcenarmen Teilprüfungen mit einem vermehrten Fokus auf vertieftes Lernen und das Anwenden von Wissen in Verbindung gebracht werden. Die vierte und letzte empirische Studie untersuchte prüfungsvorbereitendes Lernen und weitere studentische Einschätzungen zu ressourcenreichen versus ressourcenarmen Prüfungen anhand von Daten aus der regulären studentischen Evaluation von Prüfungen an der ETH Zürich. Insgesamt wurden 1'871 Prüfungen und 112'299 eingereichte Fragebogen untersucht und ressourcenreiche werkzeugvermittelte Prüfungen, ‘open book’ Prüfungen sowie Prüfungen, welche handschriftliche Notizen erlauben, mit ihren ressourcenarmen Pendants verglichen. Erneut konnten starke Effekte ressourcenreicher Prüfungen auf prüfungsvorbereitendes Lernen nachgewiesen werden. In allen drei ressourcenreichen Prüfungsformen berichteten Studierende häufiger von einem Fokus auf vertieftes Lernen und dem Anwenden von Wissen. Zudem zeugen die Ergebnisse von einer breiten Akzeptanz sowie insgesamt klar positiver Evaluation ressourcenreicher Prüfungen bei den Studierenden, wobei allerdings ressourcenreiche Prüfungen in vielen Aspekten geringfügig kritischer begutachtet werden als ihre ressourcenarmen Pendants. Ferner deuten die Ergebnisse klar darauf hin, dass ressourcenreiche Prüfungen mit einem erheblich erhöhten Zeitbedarf einhergehen sowie dass aufgrund der erhöhten Komplexität ressourcenreicher Prüfungen das Sicherstellen einer reibungslosen Prüfungsdurchführung besonderer Aufmerksamkeit bedarf. Schliesslich wird ein holistisches Rahmenmodell der Kognition und des Lernens skizziert, welches aus dem aktuellen Stand der Forschung begründet wird. Das Modell soll eine Deutung der berichteten empirischen Befunde im breiteren Kontext der Lernforschung ermöglichen. In der Abschlussdiskussion werden Implikationen der Befunde auf die Prüfungs- und Bildungspraxis, auf verwandte Forschungsrichtungen sowie auf mögliche weiterführende Forschung erörtert.