Die Praktische Fahrerlaubnisprüfung nimmt als systematische Fahrverhaltensbeobachtung aufgrund ihrer Steuerungs- und Selektionsfunktion im Gesamtsystem der Fahranfängervorbereitung eine wichtige Rolle ein. Eine Voraussetzung dafür ist der Nachweis ihrer psychometrischen Güte und Praxistauglichkeit. Das vorliegende Revisionsprojekt dient v.a. diesem Nachweis im Hinblick auf die optimierten Durchführungs-, Anforderungs- und Bewertungsstandards, um auf empirischer Grundlage über die Implementierung dieser Standards in Deutschland zu entscheiden. Zu Beginn des Revisionsprojekts wurden alle notwendigen theoretischen und konzeptionellen Arbeiten abgeschlossen. Dazu gehörten die Fertigstellung des Fahraufgabenkatalogs für alle Fahrerlaubnisklassen, die Programmierung eines einsatzreifen elektronischen Prüfprotokolls (e-Prüfprotokoll), das Weiterbildungskonzept für Sachverständige zur Einführung in die Grundlagen der optimierten Praktischen Fahrerlaubnisprüfung, die Ausarbeitung des Rückmeldesystems einschließlich der schriftlichen Rückmeldung für alle Fahrerlaubnisbewerber und das Evaluationskonzept. Danach wurden die Durchführungs-, Anforderungs- und Bewertungsstandards der optimierten Praktischen Fahrerlaubnisprüfung mit Untersuchungen zur instrumentellen Evaluation und mit ca. 9.000 realen Praktischen Fahrerlaubnisprüfungen in vier Modellregionen erprobt. Die Beobachterübereinstimmung wurde als bedeutendster Indikator für die Objektivität und Reliabilität des Messverfahrens bei 15 simulierten und 20 realen Prüfungen der Fahrerlaubnisklasse B, 20 realen Prüfungen verschiedener Fahrerlaubnisklassen und bei drei videografierten Prüfungen untersucht. Im Ergebnis der Untersuchungen im Realverkehr kann festgehalten werden, dass bezüglich der Prüfungsentscheidungen und der Dokumentation der für die Prüfungsentscheidung besonders bedeutsamen schweren Fehler die vorab festgelegten Mindestbeobachterübereinstimmungswerte bei allen drei Untersuchungen erreicht bzw. - teilweise deutlich - übertroffen wurden. Hinsichtlich der Gesamtbewertungen der Fahraufgaben und Kompetenzbereiche sowie der Dokumentation der leichten Fehler wurden nur in den beiden erstgenannten Untersuchungen (simulierte und reale Prüfungen Klasse B) zufriedenstellende Übereinstimmungswerte erzielt. Bei der dritten Untersuchung (reale Prüfungen verschiedener Klassen) konnte ein solcher belastbarer Nachweis (noch) nicht erbracht werden. Dies dürfte durch die erhöhten, noch ungewohnten Anforderungen eines ständigen Wechsels zwischen den zu prüfenden Fahrerlaubnisklassen und einen "Trainingsrückstand" der Prüfer im Vergleich mit den ersten beiden Untersuchungen begründet sein. Bestätigt wird diese Annahme durch die kontinuierliche Zunahme der Beobachterübereinstimmungswerte bei der Beurteilung videografierter Prüfungen vom ersten bis zum dritten Messzeitpunkt. Demnach gelangten die an dieser Untersuchung teilnehmenden Prüfer mit zunehmender Übung im Umgang mit dem e-Prüfprotokoll zu immer objektiveren und reliableren Ergebnissen, was auf die Erreichbarkeit einer hohen Verfahrensgüte bei ausreichendem Beobachtertraining schließen lässt. Hinsichtlich der Prüfungsvalidität fanden sich folgende Belege: (1) Die Analyse der Prüfungsergebnisse bestätigte das theoretische und methodische Konzept der optimierten Praktischen Fahrerlaubnisprüfung: Die Inhalte und die Struktur des Fahraufgabenkatalogs und der Kompetenzbereiche sowie das System der Bewertungskriterien haben sich als tragfähig erwiesen. (2) Weiterhin fanden sich bei der Auswertung der Prüfungsleistungen im Hinblick auf die Fahraufgaben und Kompetenzbereiche Ergebnisse, die aus der Verkehrsforschung und Unfallstatistik bekannt sind (z. B. fahranfängertypische Kompetenzdefizite beim Bewältigen der Fahraufgabe "Kreuzungen, Einmündungen" und im Kompetenzbereich "Verkehrsbeobachtung") oder zumindest fachlich plausibel erscheinen (z. B. Häufigkeiten bestimmter Bewertungskombinationen). (3) Die Bewerbermerkmale "Vorbesitz einer anderen Fahrerlaubnis", "Fahrerfahrung" und "Konsum straßenverkehrsbezogener Computerspiele" wirkten sich erwartungsgemäß förderlich auf das Bestehen der Prüfung aus. (4) Es existieren akzeptable Zusammenhänge zwischen den prüfungsbasierten Fahrlehrereinschätzungen und Prüfereinschätzungen. Die Ergebnisse der Reliabilitäts- und Validitätsanalysen belegen also weitestgehend die Verfahrensgüte und damit die Einsatztauglichkeit der optimierten Praktischen Fahrerlaubnisprüfung. Die Implementierung des vorliegenden Verfahrens kann demnach aus wissenschaftlicher Sicht klar empfohlen werden. Schließlich sollten im Rahmen des Revisionsprojekts mögliche Umsetzungsstrategien und Verfahrensweisen für eine künftige bundesweite Bewerberbefragung und Fahrlehrerbefragung erprobt werden. Die Erprobungsergebnisse zeigen, dass die im Fünfjahresturnus geplanten Befragungen mit aussagekräftigen Ergebnissen und vertretbarem Aufwand durchführbar sind.
The practical driving test, as a systematic observation of driving behavior, plays a key role in the overall system of novice driver preparation due to two functions: "control" and "selection". As an important prerequisite for the fulfilment of these functions, evidence of its psychometric quality and practicality is required. In the revision project at hand, these issues are investigated with respect to the optimised procedural, demand and assessment standards of the practical driving test in order to create an empirical basis for deciding on the implementation of these standards in Germany. At the beginning of the revision project, the theoretical and conceptual work necessary was completed. This included the preparation of a catalogue of driving tasks for all licence categories, the programming of a ready-for-use electronic test protocol, the development of a training concept for introducing examiners to the optimised practical driving test, the elaboration of a feedback system including a written feedback for every licence applicant, and the development of an evaluation concept. Following that, the procedural, demand and assessment standards of the optimised practical driving test were tested in a set of field and laboratory studies, including about 9.000 practical driving tests conducted in four model regions under real conditions. Inter-rater reliability, as the most important indicator of the method's objectivity and reliability, was examined based on 15 simulated and 20 real driving tests of licence category B (passenger cars), 20 real driving tests of various licence categories and three videotaped simulated driving tests of category B. As a result of the field tests, it can be noted that the criteria for inter-rater reliability that had been defined a priori were met or exceeded " considerably, in part " with respect to the examiners' decisions on passing the test and with respect to the documentation of serious mistakes, being particularly important for the decision on passing. Regarding the overall assessment of driving tasks and competencies as well as the documentation of slight mistakes, only the first two of the studies mentioned (simulated and real tests of category B) yielded satisfactory reliability scores. Concerning the third study (real tests of various licence categories) sustainable evidence of reliability could not (yet) be provided. This is likely to be due to the increased demands of a steady and not yet familiar change between the licence categories as well as to a backlog in examiner training compared to the first two studies. This interpretation is corroborated by the finding of a continuous increase in inter-rater reliability scores across the three times of measurement in the ratings of videotaped driving tests: With increasing experience in using the electronic test protocol, raters yielded more objective and reliable results. This suggests that − given sufficient observer training − it is possible to achieve a high test quality. Concerning validity, evidence was found as follows: (1) Analyses of driving test results endorsed the theoretical and methodological concept of the optimised practical driving test: The contents and structure of the driving task catalogue proved sustainable. (2) Furthermore, in the analysis of test performance data, results replicated findings known from traffic and accident research (e. g. deficiencies typical of novice drivers with regard to the driving task "intersections" and the competence of "traffic observation") or at least matched theoretical expectations (e. g. concerning the frequency of particular combinations in scoring). (3) With regard to applicant characteristics, "prior possession of another driving licence", "driving experience" and "experience in playing driving-related video games", as expected, were positively correlated with passing the test. (4) Test-based assessments made by instructors and examiners showed reasonable correlations. Hence, the results of the reliability and validity analyses vastly prove the psychometric quality and practicality of the optimised practical driving test. The implementation of the method at hand can thus clearly be recommended from a scientific perspective. Finally, potential strategies of implementation and procedures for a future nationwide survey of licence applicants and driving instructors were to be tested within the revision project. Results show that such surveys, intended to be conducted every five years, are feasible with reasonable effort and yield meaningful results.
Revision zu einer optimierten Praktischen Fahrerlaubnisprüfung.
Revision of the optimised practical driving test
2016-06-07
Buch
Elektronische Ressource
Deutsch
DDC: | 620 |
Revision zur optimierten Praktischen Fahrerlaubnisprüfung
TIBKAT | 2016
|
Optimierung der Praktischen Fahrerlaubnisprüfung.
Optimisation of the practical driving test
ELBA - Bundesanstalt für Straßenwesen (BASt) | 2014
|Optimierung der Praktischen Fahrerlaubnisprüfung
TIBKAT | 2014
|Abhandlungen - Fahrerlaubnisprüfung
Online Contents | 1999
|