Evaluation (2024)

Der Begriff „Evaluation“enthält im Wesentlichen drei Elemente:

1. das methodische Erfassen,
2. das Bewerten von Prozessen undErgebnissen sowie
3. das Verstehen und Gestalten einer Praxismaßnahmeim Bildungsbereich durch Wirkungskontrolle, Steuerung und Reflexion (Reischmann,2006).

DieEvaluation im pädagogischen Kontext ist eine Auswertung, Bewertung, Erfolgs-und Wirkungskontrolle von Lehr-Lernprozessen. Sie ermöglicht einen Rückblickauf den Lernprozess und eine Vorausschau auf die Umsetzung. Evaluiert werdenkönnen u.a.

• der individuelle Lernfortschritt,
• Lernergebnisse der gesamten Gruppe,
• das Lehrverhalten,
• die Passung des didaktisch-methodischenKonzepts sowie
• Aspekte, die die Bildungseinrichtung oderdas regionale Weiterbildungsangebot betreffen (Siebert, 2010).

Hervorgegangen aus wirtschaftlichen bzw. politischenKontexten kam die Evaluation im Rahmen der Programme „New Deal“ zurVerringerung der Arbeitslosigkeit und der Verbesserung der sozialen Sicherheitin den USA zur Geltung. Zuvor hatte Kurt Lewin, der als Pionier in der(Sozial-)Psychologie gilt, in den 1930er Jahren versucht, den Nutzen, also diepositive Wirkung von Lernleistungen, zu messen.

Im Jahr 1959 entwickelte Donald L. Kirkpatrick, einamerikanischer Wirtschaftswissenschaftler, das „Vier-Ebenen-Modell“ zurEvaluation von Bildungsmaßnahmen, das auch heute noch aktuell ist.

Seit den 1970er Jahren rückten ergänzend zu derBetrachtung der Mikroebene der Lehr-Lerninteraktionen auch andere Systemebenenin den Fokus, wie die den Lehr-Lernprozess umgebende Organisation undWeiterbildungssysteme. Seit 2005 liegt der Fokus auf Ergebnissen, Resultatenund nachhaltigen Wirkungen eines Programms oder eines bestimmtenLehrverhaltens (Abb. 1).

DieEvaluation dient der Qualitätskontrolle des Kurses in Bezug auf vereinbarteQualitätskriterien, z.B. Lernerfolg oder Lehrkompetenz. Sie gibt Auskunftdarüber, ob und in welchem Maße das Bildungsangebot und die Erwartungen bzw. Interessender Teilnehmenden übereinstimmen und dient somit dem Abgleich sowie der Steuerung.

Dieverschiedenen Zeitpunkte und Evaluationszwecke bei Planungs-,Zwischen-/Ergebnis-, und Selbstevaluation bedingen verschiedene Methoden. Gemeinist ihnen, dass immer ein Vergleich zwischen dem Ist-Wert und dem Soll-Wertermittelt wird. Aus Sicht der Lehrkräfte steht die Verbesserung der Qualitätdes Lehr-Lernprozesses, der eigenen Praxis und der eigenenProfessionalitätsentwicklung im Vordergrund (vgl. hierzu das Vier-Phasen-Modelvon Kirkpatrick, hier unter „Wie sieht man das woanders?“ dargestellt).

Die Planungsevaluation zu Kursbeginn istwichtig für den Abgleich zwischen den Lehr- und Lernzielen und den erwartetenTeilnehmervoraussetzungen. Grundlage für die Strukturierung des Inhalts, dieWahl der Lernhilfen und Materialen sind die Fragen nach den Motiven undInteressen der Teilnehmenden, welche Erfahrungen sie einbringen können, anwelche Lernvoraussetzungen angeknüpft werden kann und ob spezifischeGruppenzusammensetzungen zu erwarten sind. Im Rahmen der Anfangssituationstellt die Lehrkraft den Lehrplan sowie die Inhalte vor und erkundigt sich nachAnknüpfungspunkten, die bei der Planung der Unterrichtseinheiten berücksichtigtwerden können. Das geschieht beispielsweise im Rahmen einer Vorstellungsrunde, einerDiskussionsrunde oder Lernstandsabfragen (vgl. Checkliste „Vorbereitung Lehre“).

Die Zwischenevaluation ist ein ständigerBegleiter der Bildungsveranstaltung. Zwischenevaluationen ergeben eineBewertung des laufenden Prozesses hinsichtlich inhaltlicher und emotionaler Kriterien.Das Ziel ist, die Ergebnisse zur Verbesserung der weiteren gemeinsamen Arbeitzu nutzen. Die Zwischenevaluation ist hinsichtlich des Zeitaufwands, der Veränderungder Kurssituation und -atmosphäre sowie ihres Einflusses auf dieRollenverteilung bei der Kursplanung zu berücksichtigen. Mögliche Zeitpunktefür die Zwischenevaluation sind nach einer Einführung in ein Thema, zumAbschluss eines inhaltlichen Abschnitts oder am Ende des Seminartags.

DieErgebnisse werden offen mit den Lernenden besprochen, so dass gemeinsameSchlüsse daraus gezogen werden können. Die Beteiligung der Lernenden steigertderen Selbstverantwortlichkeit, motiviert mit der Beteiligungschance,wertschätzt den Austausch individueller Erwartungen und Einschätzungen.

MöglicheMethoden der Zwischenevaluation sind z.B. das Stimmungsbarometer, dieBlitzlicht-Methode oder Kurzinterviews mit Teilnehmenden.

Die Ergebnisevaluation stellt als Instrumentder Qualitätskontrolle das Verhältnis von Zielen und Erwartungen in denVergleich zu den eingetretenen Ergebnissen. Diese „summative Evaluation“erfolgt zum Ende der Veranstaltung. Ihr Blick kann sowohl rückwärts auf denLehr-Lernprozess gerichtet sein als auch auf den folgenden Transfer in dieZukunft. Häufig werden standardisierte Beurteilungsbögen eingesetzt mit Fragennach

• derZufriedenheit,
• demLernzuwachs,
• demGruppenprozess,
• demLernort,
• denLerninhalten und
• demmethodischen Vorgehen.

Wichtig ist,dass die Fragen klar formuliert sind. Bei der Auswertung, insbesondere beimRückblick, müssen Harmonisierungseffekte, persönliche Legitimationen undErinnerungslücken berücksichtigt werden. Um diese zu umgehen, kann man dieSchlussfragen schon während des Kursverlaufs verteilen und die Teilnehmendenbitten, hier von Zeit zu Zeit ihre Eindrücke zu dokumentieren. Dasvorausschauende Evaluationsergebnis steht jedoch gleichermaßen unter demEinfluss von Harmoniegedanken, Zweckoptimismus und Wunschdenken.

Beietablierten Bildungsveranstaltungen mit langen Laufzeiten oder mehrerenaufeinander folgenden Kursen, z.B. Fremdsprachenkursen, kann eine Evaluationder Wirkung des Lernprozesses in Bezug zum Outcome sinnvoll sein, umLernerreichungsgrade festzustellen.

Die Ergebnisevaluationkann mündlich, schriftlich oder mit Karten erfolgen. Weitere Methoden sind zumBeispiel „Kofferpacken“ und „Stimmungsbarometer“.

Ebenfallszum Ende der Veranstaltung erfolgt die DokumentierendeEvaluation mit statistischen Kennzahlen, wie Anzahl der Kursteilnehmenden,Kursstunden, etc. Diese Angaben fließen in die Bilanzierung derBildungseinrichtungen ein.

Ergänzend zuder Evaluation des Lehr-Lernprozesses erfolgt die Evaluation des Verhaltens derLehrkraft im Rahmen der Selbstevaluation,z.B. durch kollegialen Erfahrungsaustausch oder Hospitation. Ziel derSelbstevaluation ist der Gewinn von Erkenntnissen für die weitere Arbeit.Hierbei stehen folgende Fragen im Fokus:

• Wardie Gestaltung der Lernprozesse ausreichend transparent?
• Wurdendie inhaltlichen Akzente richtig gesetzt?
• Wardie Abfolge überzeugend?
• Warendie Lernschritte nachvollziehbar?
• Warder Methodeneinsatz ausreichend flexibel?
• Wardas sprachliche Niveau dem Kurs angemessen? (nicht zu viel Fachsprache)
• Warendie Materialien hilfreich?
• Wiewertschätzend wurden die Lernenden behandelt?

Der kollegialeAustausch bietet neben der Auswertung und Beratung auch den Wissensgewinn durchden Erfahrungsaustausch, z.B. durch die Verständigung über den Einsatz vonverschiedenen Methoden.

DieHospitation, Beobachtung des Kurses durch einen Kollegen, bietet die Chance zueiner Reflexion des Lehr-Lernprozesses. Oft als Kontrollinstanz empfunden,stellt sie eine gute Gelegenheit für eine professionelle Einschätzung desUnterrichtsgeschehens dar.

Bereits im Jahr 1959entwickelte Donald L. Kirkpatrick, ein amerikanischerWirtschaftswissenschaftler, mit dem „Vier-Ebenen-Modell“ einen inzwischenklassischen Ansatz zur Evaluation von Bildungsmaßnahmen, der auch heute nochaktuell ist (Abb.2).

Das Vier-Phasen-Modell von Kirkpatrick baut auf dem Prinzip auf, dass Lehrkräfte bereits bei der Planung ihrer Kurse zu lernende Inhalte, Fähigkeiten und Fertigkeiten festlegen müssen, um später gewünschte Verhaltensänderungen hervorzubringen. Aufgabe der Lehrkraft ist es folglich, dass nicht nur gelernt wird, sondern auch, dass das Gelernte angewendet wird. Nur so lässt sich später z.B. eine Erfolgskontrolle in der Anwendung des Gelernten, z.B. in Unternehmen, feststellen. Die ersten zwei Stufen „Reaction“ und „Learning“, vergleichbar mit Zwischen- und Ergebnisevaluation, finden in der Lerngruppe statt, während die dritte und vierte Stufe, „Transfer“ bzw. „Behavior“ und „Results“ erst im beruflichen Alltag durchführbar sind.

In der Schweiz verfolgt die Schweizerische Evaluationsgesellschaft (SEVAL) das Ziel, einen Beitrag zur Professionalisierung der Lehrverhaltens mit eigenen Standards hinsichtlich der Eigenschaften Nützlichkeit, Durchführbarkeit, Korrektheit und Genauigkeit zu leisten.

Die SEVAL-Standards sind in drei Gruppen gegliedert:

• Gruppe A: allgemeine Grundprinzipien, die unabhängig von bestimmten Aktivitäten oder Prozessschritten für Evaluationen grundsätzlich von Bedeutung sind (wie z.B. eine hohe Evaluationsqualität)
• Gruppe B: praktische Aspekte bei der Planung und Durchführung einer Evaluation
• Gruppe C: Standards zur Bewertung und Ergebnisvermittlung

In Österreich hat sich die Praxis der Evaluation durch alle Ebenen vom Lehr-Lern-Prozess bis zur Institution in der Erwachsenenbildung und in der Weiterbildung in Österreich etabliert (Gutknecht-Gmeiner, 2009).

DeutscheGesellschaft für Evaluation e.V. (2014). Standardfür Evaluation. Abgerufen von https://www.degeval.org/publikationen/standards-fuer-evaluation

Gutknecht-Gmeiner, M. (2009). Evaluation(in) der Erwachsenenbildung. Eine kritische Würdigung der aktuellen Praxis undAnalyse möglicher Handlungsfelder. Magazinerwachsenenbildung.at 7/8, 13-1-14. Abgerufen von http://erwachsenenbildung.at/magazin/09-7u8/meb09-7u8_13_gutknecht_gmeiner.pdf

Hartz,S., & Meisel, K. (2011). Qualitätsmanagement(3. Aufl.). Bielefeld: W. Bertelsmann.

Kirkpatrick,D. (1998). EvaluationTraining Programs – The Four Levels (2. Aufl.). San Francisco: Berrett-KoehlerPublisher.

Nuissl, E. (2013). Evaluationin der Erwachsenenbildung. Bielefeld: W.Bertelsmann.

Nuissl, E., & Siebert, H. (2013). Lehren an der VHS. Bielefeld: WBertelsmann.

Schweizer Evaluationsgesellschaft (2002). SEVAL-Standards.Abgerufen von www.seval.ch/de/documents/seval_Standards_2001_dt.pdf

Schweizer Evaluationsgesellschaft (2016). SEVAL-Standards. Abgerufen von http://www.seval.ch/documents/Standards/SEVAL-Standards%202016_d.pdf

Reischmann, J. (2006) Weiterbildungs-Evaluation.Lernerfolge messbar machen (2. Aufl.). Augsburg: Ziel.

Siebert,H. (2010). Methoden für dieBildungsarbeit (4. Aufl.). Bielefeld: W.Bertelsmann.

Stockmann,R. (2010). Evaluation. In R. Arnold, S.Nolda, & E. Nuissl, (Hrsg.), WörterbuchErwachsenenbildung (2. Aufl.). Abgerufen von www.wb-erwachsenenbildung.de