Welche Methoden und Instrumente sind einsetzbar?
Vor der Wahl einer Methode oder eines Evaluationsverfahrens muss man sich jedoch klar werden, welcher Art die Informationen sind, die benötigt werden.
Bei der Entwicklung von Indikatoren für das Überprüfen der Zielerreichung ist zuerst zu prüfen, ob nicht bereits vorliegende Daten die nötigen Hinweise für die Qualitätsbewertung liefern (vgl. Balzer & Beywl, 2018, S. 92). Manches, etwa das Arbeitsverhalten von Schülern im Unterricht oder bestimmte Aspekte des Lehrerverhaltens, lässt sich nur beobachten. Einstellungen oder Meinungen von Personen müssen dagegen erfragt, die Leistungen der Schülerinnen und Schüler getestet werden. Jede dieser Informationsarten erfordert eine eigene Methode zur Erhebung von Daten (vgl. Balzer & Beywl, 2018, S.104 ff). Die folgende Tabelle liefert dafür Anhaltspunkte:
Downloads
Viele Schulen denken bei der internen Evaluation nur an den Einsatz von Fragebogen. Die Entwicklung eines eigenen, passgenauen Fragebogens ist allerdings zeitaufwendig, da auf der Basis der vorher festgelegten Indikatoren Fragen entwickelt werden müssen, die auch tatsächlich aussagekräftige Ergebnisse liefern. Auch um einer „Befragungsmüdigkeit“ vorzubeugen, sollte das QmbS-Team immer zuerst prüfen, ob ggf. nicht andere Methoden (z. B. Analyse von schuleigenen Daten, leitfadengestützte Interviews mit Beteiligten, strukturierte Beobachtung u. a.) die gewünschten Informationen effektiver und effizienter liefern können.
Für die Evaluation bestimmter Bereiche ist es nicht immer notwendig, neue Daten zu erheben, sondern es kann ausreichend sein, die Informationen zu nutzen, die an der Schule ohnehin (regelmäßig) erfasst werden. Die systematische Analyse von Schulstruktur- und Schülerleistungsdaten kann für manche Evaluationszwecke ergiebiger sein als eine zeitaufwendige Fragebogenerhebung. Auch der Vergleich der Ergebnisse von Abschlussprüfungen mit den landesweiten Ergebnissen oder den Ergebnissen anderer Schulen, die unter ähnlichen Rahmenbedingungen arbeiten, kann wertvolle Ansatzpunkte zur Qualitätsentwicklung geben (vgl. Fallbeispiel 3).
Manche sozialen Phänomene lassen sich nur beobachten: das Lernverhalten von Schülerinnen und Schülern oder das Verhalten der Lehrkraft im Unterricht.
Im Gegensatz zu Alltagsbeobachtungen erfolgt die wissenschaftliche Beobachtung systematisch: Beobachtung in diesem Sinne ist „das aufmerksame, planmäßige und zielgerechte Wahrnehmen von Vorgängen, Ereignissen, Verhaltensweisen von Lebewesen … in Abhängigkeit von bestimmten Situationen. Ziel der Beobachtung ist es, den Gegenstand des jeweiligen Interesses möglichst genau zu erfassen. Sie ist eine grundlegende Methode der Datengewinnung und Faktensammlung.“ (Stangl, 1997) Mithilfe der Beobachtung werden Ausschnitte der sozialen Wirklichkeit rekonstruiert und dokumentiert. Helmke (2012, S. 292 ff.) hält die Beobachtung für den „Königsweg“ insbesondere zur Evaluation des Unterrichts. Mit keinem anderen Verfahren ließe sich „die Abfolge zeitlicher Sequenzen und Muster“ besser erfassen als mithilfe der Beobachtung. Helmke erläutert in seinem Beitrag verschiedene Formen und Methoden der Beobachtung und gibt Hinweise, was insbesondere beim Durchführen einer Unterrichtsbeobachtung zu beachten ist.
Um Meinungen, Einstellungen oder Erlebnisse von Personen zu erfassen, bietet sich als Methode die Befragung an. Bei einer größeren Zahl von Personen werden standardisierte Fragebogen mit vorformulierten Items und einer festen Antwortskala verwendet. Ist die Zahl an Befragungspersonen überschaubar, lassen sich auch offenere Formen der Befragung wie das Experten- oder das Gruppeninterview einsetzen.
Standardisierte Fragebogen mit vorgegebenen Antwortmöglichkeiten eignen sich besonders für umfassendere Bestandsaufnahmen. Insbesondere mithilfe von Online-Befragungstools lassen sich Einstellungen, Meinungen und Bedürfnisse relativ vieler Personen in kurzer Zeit erfassen. Sie sind zudem gut geeignet für Wiederholungsuntersuchungen. Mit ihrer Hilfe kann nach einer gewissen Zeit ohne allzu großen Aufwand überprüft werden, ob durchgeführte Maßnahmen zu einer veränderten Einschätzung der Befragten geführt haben. Bei der Interpretation der Ergebnisse von Wiederholungsbefragungen ist allerdings zu berücksichtigen, dass die Einschätzungen nicht immer so positiv ausfallen, wie man dies nach der Durchführung von Maßnahmen zur Qualitätsverbesserung erwarten könnte. Dies hängt damit zusammen, dass durch eben diese Maßnahmen in der Regel auch die Erwartungen der Beteiligten gestiegen sind. Da bei standardisierten Befragungen immer vor dem Hintergrund des jeweils bestehenden Erwartungshorizonts gemessen wird und dieser sich verändern kann, ist es ratsam, insbesondere bei wiederholten Evaluationen u. U. andere Methoden (z. B. Datenanalyse, strukturierte Beobachtung) einzusetzen, um die angestrebte Bestandsaufnahme zu objektivieren.
Folgende Punkte sollten beachtet werden:
- Zu einem Geschehen, das erfasst werden soll, sollten nur Personen befragt werden, die daran unmittelbar beteiligt sind und über authentische Erfahrungen verfügen. Informationen über das Unterrichtsklima wird man also bei den Lehrkräften und Schülern und nicht bei den Eltern oder Ausbildern erfragen.
- Die Befragten sollten in einem Anschreiben über die Zielsetzung der Befragung, über den Befragungszeitraum bzw. den Abgabetermin für die Fragebogen und über den Zeitpunkt und die geplante Art der Ergebnisrückmeldung informiert werden.
- Die Teilnahme an einer Befragung ist freiwillig. Niemand darf dazu gezwungen werden.
- Den Befragten ist Anonymität zuzusichern. Das gesamte Erhebungsverfahren muss dies unbedingt gewährleisten. Der Datenschutzbeauftragte der Schule muss jede Befragung prüfen und eine datenschutzrechtliche Genehmigung erteilen.
- Alle Befragten haben das Recht, zeitnah über die Ergebnisse der Befragung informiert zu werden.
- An größeren Schulen (mit mehr als 200 Schülerinnen und Schülern) kann die Ziehung einer Zufallsstichprobe von 20 Prozent sinnvoll sein, um den Aufwand für die Durchführung in Grenzen zu halten. Bei Online-Befragungen spielt der Aufwand für die Auswertung hingegen keine Rolle.
- Die Länge eines Fragebogens hat häufig Einfluss auf die Rücklaufquote. Im Zweifelsfall sollte man sich beim Erstellen eines Fragebogens auf das Wesentliche konzentrieren.
- Bei der Formulierung der Items sind bestimmte Regeln einzuhalten.
Bei einer kleineren Zahl an Befragten kann man auch auf das Interview als Erhebungsmethode zurückgreifen.
Im Vorfeld eines Befragungsvorhabens ist zu überlegen, ob es für ein umfassendes Bild genügt, bestimmte Personen anzusprechen und zu einem Interview zu laden: Gibt es Experten in einem Fachgebiet (z. B. Medienbeauftragte) oder Repräsentanten verschiedener Gruppen an der Schule (z. B. Abteilungsleiter), die zu einem Sachverhalt hinreichend Auskunft geben können, sodass nicht alle Betroffenen (Lehrkräfte oder Schüler) befragt werden müssen?
Um den Aufwand für eine Befragung zu minimieren, lassen sich u. U. auch Gruppeninterviews führen. Dabei besteht allerdings die Gefahr, sich von Meinungsführern blenden zu lassen und deren Einzelmeinung unzulässig zu verallgemeinern.
Interviews eignen sich besonders auch zum Vorbereiten einer standardisierten Befragung, um ein Befragungsthema zu erschließen (Hopf, 2007). Die Antworten der Interviewpartner zeigen das mögliche Meinungsspektrum auf, mit dem bei einer Befragung zu rechnen ist und für das entsprechende geschlossene Fragen formuliert werden müssen.
Interviews zur Überprüfung der Zielerreichung werden am besten anhand von Interviewleitfäden geführt.[1] Dadurch kann sichergestellt werden, dass in allen Gesprächen auch diejenigen Aspekte fokussiert werden, an denen man interessiert ist. Der Leitfaden ist eine Anweisung, welche Themen in welcher Weise angesprochen werden sollen und wie bei der Befragung vorzugehen ist.[2] Die Interviews werden mitprotokolliert, sodass die qualitativen Argumente bei der Auswertung kategorisiert und quantifiziert werden können.
[1] Zu den verschiedenen Interviewformen insbesondere zur Technik von Leitfadeninterviews vgl. Friebertshäuser, 1997.
[2] Christel Hopf (2007, S. 358 f.) weist auf eine Reihe von „Kunstfehlern“ beim Führen von Interviews hin: ein dominierender Kommunikationsstil mit suggestiven Fragen und einem Kommentieren und Werten von Aussagen der Interviewpartner, fehlende Geduld beim Zuhören, ein pedantisches Festhalten am Leitfaden und das Abwürgen vermeintlich sachfremder Äußerungen, um nur einige zu nennen.
