Zur Qualität beruflicher Abschlussprüfungen: Psychometrik und praxisnahe Designstandards – Ausgewählte Befunde des Verbundvorhabens ASPE

Im Verbundvorhaben wurde mit der ASPE-Workbench eine Umgebung konzipiert, mit der (1) die Gestaltung kaufmännischer Abschlussprüfungen entlang von Designstandards erfolgt und (2) die psychometrische Qualität neu konzipierter Abschlussprüfungen gesichert wird. Wesentliches Merkmal der Workbench ist der Praxisbezug. Dies bedeutet zum einen, dass die Designkriterien so in digitale Templates überführt werden, dass sie für die Prüfungserstellenden direkt handlungswirksam werden. Zum anderen werden die konzipierten Prüfungsaufgaben einem Rating unterzogen, das ihren (antizipierten) Schwierigkeitsgrad vorhersagt. Beide Aspekte haben direkten Einfluss auf die Qualität der Prüfungen, da sie (1) eine handlungs- und kompetenzorientierte inhaltliche Gestaltung (Stärkung der Konstruktvalidität) und (2) eine angemessene Schwierigkeitsverteilung, die zwischen den unterschiedlichen Leistungsfähigkeiten der Auszubildenden gut diskriminieren kann (Stärkung der Reliabilität), garantieren. Der Beitrag beschreibt die theoretischen Bezüge hinter den Designkriterien und zeigt auf, wie sich die kompetenzorientierte Gestaltung kaufmännischer Abschlussprüfungen nahtlos in die internationalen Diskurse um lerner:innenzentrierte und authentische Assessments einbinden lässt. Zudem werden empirische Befunde aus Reliabilitätsstudien berichtet, aus denen ein praxisnahes Rating abgeleitet wurde, das Prüfungserstellende ohne ausgewiesene statistische Expertise in die Lage versetzt, a priori die Schwierigkeit einer Prüfungsaufgabe zu prognostizieren. Diese Schwierigkeitsprognostik ist in hohem Maße qualitätssichernd, da sie für die einzelne Prüfung eine angemessene Verteilung der Prüfungsaufgaben entlang der zu erwartenden Kompetenzstandards ermöglicht und über die Zeit vergleichbare Gesamtschwierigkeiten in den Prüfungsjahrgängen erzeugt.