Was ist eigentlich eine Evaluation?
Als Evaluation wird ein Vorgang bezeichnet, der eine Überprüfung zur Einhaltung vorgegebener Regeln oder Vorschriften beschreibt. Es ist dabei unerheblich, ob es interne oder externe Regeln oder Vorschriften sind.
Die Evaluation folgt einem Kreislaufmodell, d.h. es ist kein statischer, sondern ein dynamischer Vorgang. Er ähnelt dem „Audit-Modell“, wie es in der Wirtschaft bekannt ist.
Die Orientierung an der Qualität eines Systems oder an der Qualität eines Vorgangs machen eine Evaluation notwendig, denn ohne eine "Überprüfung" kann keine Verbesserung eingeleitet werden.
Das Verständnis bei denjenigen, die mit Evaluationsvorgängen beschäftigt sind, ist äußerst unterschiedlich. Diejenigen, die eine Evaluation vorgeben oder initiieren, sehen darin eine Quelle von Informationen, um ein System – incl. der Teilbereiche - zu beschreiben und hinsichtlich der Verbesserungen zu steuern. Diejenigen, die von einer Evaluation betroffen sind, sehen diesen Vorgang häufig als Überwachung oder Kontrolle. (siehe Reaktanz)
Alles eine Frage der Einstellung einseits und anderseits auch eine Frage, wie dieser Vorgang kommuniziert wird. Vielfach hängt es von den Persönlichkeiten derjenigen Personen ab, die ein Audit, eine Evaluation vornehmen.
Die Problematik liegt meist in der schlechten Zielformulierung, was mit einem Evaluationsvorgang wirklich erreicht werden soll. Letztendlich soll er ja schließlich den Abgleich einer IST-Situation zu einem bestimmten Thema - oder Situation - mit der Realität ermöglichen. Und das noch rein objektiv und nicht subjektiv! Hier scheiden sich bereits die Geister, allein schon deswegen, weil sich die Arbeitsrealitäten für die in der Situation arbeitenden Personen in der IST-Situation verglichen mit den Möglichkeiten in der gewünschten SOLL-Situation erheblich unterscheiden.
Im Prinzip kann aber eine Evaluation nur als positiv aufgefasst werden, wenn der Charakter der „Überprüfung“ im Sinne von „Überwachung“ zugunsten einer Stichprobe mit dem Charakter der Suche nach Verbesserungen kommuniziert wird.
Die interne Evaluation in einer Schule beispielsweise ist ein hervorragendes Mittel, die selbst festgelegten Regeln – die sich zwar auf die Gesetze und Vorgaben der Schulbehörden stützen – auf Einhaltung und Verbesserungsmöglichkeiten zu überprüfen.
Ausgangspunkt: Der PDCA-Zyklus von Deming, der sich auf einem Modell von Shewhart bezieht.
Ein Beispiel
Die einzelnen Stufen einer Evaluation sollen mit einem Beispiel erläutert werden:
Ausgangslage:
Nehmen wir an, eine Grundschule hat ein Projekt definiert, die Gesundheitsorientierung der Schule (mehr Bewegung, mehr sportliche Aktivitäten und gesunderes Essen) zu dokumentieren und eine Veranstaltung für die Eltern zu organisieren. Dazu sind entsprechende Anbieter aus dem Gesundheitswesen an einem Samstagmorgen eingeladen worden, um ihre Produkte und ihre Vorstellungen zur Unterstützung der Absichten dieser Grundschule vorzustellen. Eine entsprechende Planung mit Zielbeschreibung durch die Schulleitung (Zeiten, Maßnahmen, Verantwortlichkeiten) lag vor.
Es soll nun überprüft werden (evaluiert werden), ob die beabsichtigten Effekte und die Ziele dieser Veranstaltung auch erreicht wurden.
Stufe 1:
Abgrenzung des Evaluationsbereiches:
Es soll die Angemessenheit der Planung dieses Projektes, die Durchführung entsprechend der Planungsvorgaben und die zusammenfassende Beurteilung mit Ansätzen zur Verbesserung evaluiert werden.
.
Stufe 2: Qualitätsstandards bestimmen
Beispiele:
2.1. Die Stände der Aussteller waren ständig besetzt.
2.2. Die Aussteller / Anbieter hatten regen Zulauf und wurden von den Eltern oft frequentiert.
2.3. Die Kinder wurden von den Anbietern angesprochen.
2.4. Der „Spaßfaktor“ wurde durch einen „Lernfaktor“ ergänzt
Stufe 3: Kriterien klären
Aufgrund der vorliegenden Standards wird erneut überprüft, ob die vorgesehenen Standards auch wirklich eingehalten werden können, um den Grad des Erfolges dieser Veranstaltung beschreiben zu können. (Es kann durchaus sein, dass sich neue Erkenntnisse während der Veranstaltung ergeben haben)
Beispiel:
- 2.1. von oben: Beobachtungen
- 2.2. durchschnittliche Anzahl
Stufe 4: Indikatoren festlegen
Bei der Festlegung der Indikatoren muss auf die Messbarkeit geachtet werden. Es gibt sowohl qualitative als auch quantitativ feststellbare Indikatoren.
Beispiele für diese Indikatoren waren:alle Partnerfirmen waren rechtzeitig am Ort und wussten, wie sie sich organisieren sollten.Es gab keine Rückfragen bei den Veranstaltern zur Organisation.Es gab einen Notfallplan für mögliche Veranstaltungsstörungen (Stromausfall, Verletzungen, Wetterbedingungen)
Stufe 5: Messinstrumente finden
In diesem Fall war es vorgesehen, über eine Fragebogenaktion während der Veranstaltung sowohl die ausstellenden Partner als auch die Eltern nach ihrer Meinung zu fragen. (Als Messinstrument wären auch Interviews möglich gewesen, die lediglich auf verbaler Basis hätten geführt werden können)
Stufe 6: Daten sammeln
Die Fragebögen wurden zur Datensammlung eingesetzt. Diese Fragebögen waren im Vorfeld sowohl mit den Partnern als auch im Team der Veranstalter abgesprochen. Die Fragebögen waren strukturiert. Es wurde bereits im Vorfeld auf die mögliche Auswertung geachtet.
Stufe 7: Analyse und Interpretation der Ergebnisse
Hier kann es bereits einige Schwierigkeiten geben. Die Datensammlung muss nun in der statistisch richtigen Form auf breitet werden. Danach erfolgt die Interpretation in der Gruppe, die auch die Planung erstellt hat. Nach übereinstimmender Beschreibung, wie die Ergebnisse zu sehen sind, ist die nächste Stufe vorzubereiten.
Stufe 8: Feedback geben
Alle Beteiligten sollen nun eine Information darüber bekommen (möglichst zeitnah) ob der Erfolg - gegebenenfalls auch der Misserfolg in einigen Bereichen - nachgewiesen werden kann. Es erfolgt nun die letzte Stufe in diesem Kreislauf: die Verwertung der neuen Erkenntnisse.
(Dank an die KollegInnen des Kollegiums und an die Aussteller / Anbieter nicht vergessen.)
Stufe 9: Konsequenzen ziehen
Sollte diese Stufe nicht genau so planerisch richtig und konkret durchgeführt werden, wird es keinen Lernvorgang zur Verbesserung von Situationen geben und möglicherweise werden dadurch Fehler bei einer nächsten ähnlichen Situation wieder auftreten. Die Ergebnisse dieser Bewertung beziehungsweise dieser Konsequenzen münden erneut in eine nächste Evaluationsschleife.
Hinweis: Einige der Stufen überlappen sich oder können gemeinsam durchgeführt werden.
