Titel

Balzer, L. & Beywl, W. (2018). evaluiert - erweitertes Planungsbuch für Evaluationen im Bildungsbereich (2., überarbeitete Auflage). Bern: hep verlag.

Zusammenfassung

“evaluiert” ist ein praxisnaher Leitfaden für Planung und Durchführung einer Evaluation. Als substantielle und praxisnahe Einführung richtet es sich besonders an Novizinnen und Novizen im Evaluieren. Es soll zum Aufbau von Basis-Evaluationswissen und -können beitragen.

Kapitel 1 enthält eine kleine Fallbeschreibung dazu, welche Herausforderungen sich schon ganz zu Beginn der Evaluation einer Bildungsmaßnahme stellen. Das Beispiel ist bewusst einfach gewählt. Dennoch entfaltet sich in seinen fiktiven Dialogen bereits die Komplexität, deren Bewältigung auch für erfahrene Evaluierende immer wieder eine große Herausforderung darstellt. In vielen der 39 Beispielkästen der nachfolgenden Kapitel wird auf dieses Eingangsszenario zurückgegriffen. Andere enthalten verdichtete kurze Fallbeispiele von Evaluationen, jeweils bezogen auf das im Kapitel behandelte Thema. Kapitel 2 entwickelt auf der ausgebreiteten Literaturbasis eine Definition von Evaluation. Die folgenden Kapitel leiten je zu einem der zehn Evaluationsschritte an: “Bestimmung des Evaluationsgegenstandes”, “Bestimmung der interessierten Akteure und die Rolle der Evaluierenden”, “Bestimmung der Evaluationszwecke und ‑fragestellungen”, “Festlegung der Bewertungskriterien”, “Auswahl von Erhebungsdesign und ‑methoden”, “Durchführung der Erhebungen”, “Datenauswertung, Interpretation und Bewertungssynthese”, “Berichterstattung”, “Nutzung der Ergebnisse” und schließlich “Evaluation der Evaluation”. In Kapitel 14 und 15 werden die methodischen Themen "Fragebogenkonstruktion" und "Text-Sortier-Technik" unter einer evaluationsspezifischen Perspektive erklärt. In Kapitel 16 illustrieren zwei reale Fallbeispiele die zehn Schritte des Evaluationsprozesses.

Als Adressatinnen und Adressaten des Buches sind zum einen Studierende in grundständigen Bachelor- und besonders Masterstudiengängen z. B. in Erziehungswissenschaften, sozialer Arbeit, Psychologie, Soziologie oder Wirtschaftswissenschaft angesprochen. Hier ist es in einer Lehrveranstaltung mit z.B. 12-14 Doppelstunden einsetzbar. Außerdem richtet sich das Buch an Weiterbildungsstudierende in Programmen, die ein substanzielles Element zur Evaluation enthalten, z. B. im Bereich des Projekt-, Change- oder Qualitätsmanagements. Schließlich werden Fachkräfte unterstützt, ihr Wissen und Können im Prozess der Arbeit auszubauen.

Bei der Ausstattung des Buches wurde auf eine prägnante Leseführung geachtet (Marginalien, zweifarbiger Druck, leitende Icons). Konsistenz und Systematik sind leitend für die didaktische Aufbereitung. Neben dem 10-schrittigen Prozessaufbau wird dies mit dem Glossar sichtbar, in dem Fachbegriffe regelgeleitet definiert, miteinander kontrolliert verbunden bzw. voneinander abgrenzt sind.

Das begleitete wie das Selbststudium wird durch detaillierte Lernziele unterstützt, die jedes inhaltliche Kapitel einleiten. Zahlreiche übungsaufgaben (mit Musterlösungen am Ende des Buches) ermöglichen eine vertiefte Auseinandersetzung.

Das Buch basiert auf Veranstaltungsskripten und Studienbriefen der Autoren. Die selbsterklärenden Texte resultieren aus kritischen überprüfungen in zahlreichen Aus- und Weiterbildungsveranstaltungen.

Für die zweite Auflage wurden alle Kapitel überarbeitet. Das gilt besonders für die Kapitel 7 (Bewertungskriterien) und 8 (Erhebungsdesign). In Kapitel 10 ist die Bewertungssynthese ausführlicher behandelt. Neu erarbeitet sind auch die übungsaufgabe zur Unterscheidung von Fragestellungs-Arten sowie die Ausführungen zur Verbindung von Evaluationsfragestellungen und Erhebungsmethoden in Kapitel 6. Von den knapp 320 Literaturangaben ist mehr als ein Viertel neu hinzugekommen oder aktualisiert. Eine exemplarische Erweiterung und Vertiefung bei Erhebung und Auswertung bilden die neu aufgenommenen Kapitel 14 und 15, welche unter einer evaluationsspezifischen Perspektive in die Konstruktion von Fragebogen sowie in die qualitative Auswertungsmethode Text-Sortier-Technik einführen. Ebenfalls neu ist Kapitel 16, in dem zwei reale Fallbeispiele den zuvor geschilderten zehnschrittigen Evaluationsprozess illustrieren.

Leseprobe

Inhaltsverzeichnis

Vorwort     7

1 Einstieg ins Thema     11

2 Was ist Evaluation?     14
2.1 Wissenschaftliche Evaluation statt Alltagsbewertung     15
2.2 Evaluation als wissenschaftliche Dienstleistung statt (Grundlagen-)Forschung     19
2.3 Evaluation als Qualitätsmanagement bzw. Controlling?     25
2.4 Evaluation als Beitrag zur gesellschaftlichen Entwicklung     26

3 Evaluationsprozess und Auftrag     29

4 Bestimmung des Evaluationsgegenstandes     35

5 Bestimmung der interessierten Akteure und die Rolle der Evaluierenden     46
5.1 Geld- und Auftraggebende der Evaluation     48
5.2 Finanzierende und Träger des Bildungsangebots     49
5.3 Programmleitende und -mitarbeitende     50
5.4 Teilnehmende     50
5.5 Vorgesetzte, Arbeitgebende, Arbeitskollegen     51
5.6 Sonstige Akteure     51
5.7 Evaluierende     52
5.8 Akteure im Zusammenspiel     56

6 Bestimmung der Evaluationszwecke und -fragestellungen     59
6.1 Evaluationszwecke     59
6.1.1 Evaluationszwecke nach Funktionen     59
6.1.2 Evaluationszwecke nach Verwendungsabsichten     62
6.1.3 Zusammenspiel von Zwecken nach Funktion, nach Verwendungsabsicht sowie die Rolle der Evaluation     67
6.1.4 Verdeckte Zwecksetzungen     69
6.2 Evaluationsfragestellungen     72
6.2.1 Festlegen der Evaluationsfragestellungen     72
6.2.2 Formulierung von Evaluationsfragestellungen     74
6.2.3 Arten von Evaluationsfragestellungen     78

7 Festlegung der Bewertungskriterien     81

8 Auswahl von Erhebungsdesign und -methoden     92
8.1 Erhebungsdesigns     92
8.2 Datenerhebungsmethoden     103
8.3 Erhebungsdesign und Datenerhebungsmethoden im Zusammenspiel     110

9 Durchführung der Erhebungen     113

10 Datenauswertung, Interpretation und Bewertungssynthese     119

11 Berichterstattung     129
11.1 Adressierte     129
11.2 Zeitpunkte     131
11.3 Verantwortung und Zuständigkeiten     132
11.4 Auswahl geeigneter Berichterstattungsformate     134
11.4.1 Schriftliche Berichte     135
11.4.2 Mündliche Berichterstattungsformate     138

12 Nutzung der Ergebnisse     141

13 Evaluation der Evaluation     150

14 Fragebogen erstellen     156
14.1 Inhalt von Fragebogen und Verbindung zum Evaluationszweck     156
14.2 Aufbau und Gestaltung von Fragebogen     158
14.3 Zwei Grundformen der Frage     161
14.4 Herausforderungen bei Antwortvorgaben     166
14.5 Hinweise zur Frageformulierung     169
14.6 Checkliste für den Vorabtest     171

15 Text-Sortier-Technik (TST)     173

16 Fallbeispiele     186
16.1 Evaluation “Jugendprojekt LIFT”     186
16.1.1 Bestimmung des Evaluationsgegenstandes     186
16.1.2 Bestimmung der Interessierten Akteure und die Rolle der Evaluierenden     188
16.1.3 Bestimmung der Evaluationszwecke und -fragestellungen     189
16.1.4 Festlegung der Bewertungskriterien     190
16.1.5 Auswahl von Erhebungsdesign und -methoden     191
16.1.6 Durchführung der Erhebungen     192
16.1.7 Datenauswertung, Interpretation und Bewertungssynthese     193
16.1.8 Berichterstattung     195
16.1.9 Nutzung der Ergebnisse     195
16.1.10 Evaluation der Evaluation     196
16.2 Evaluation der Campusbibliothek Brugg-Windisch     197
16.2.1 Bestimmung des Evaluationsgegenstandes     197
16.2.2 Bestimmung der interessierten Akteure und die Rolle der Evaluierenden     198
16.2.3 Bestimmung der Evaluationszwecke und -fragestellungen     198
16.2.4 Festlegung der Bewertungskriterien     199
16.2.5 Auswahl von Erhebungsdesign und -methoden     199
16.2.6 Durchführung der Erhebungen     201
16.2.7 Datenauswertung, Interpretation und Bewertungssynthese     201
16.2.8 Berichterstattung     203
16.2.9 Nutzung der Ergebnisse     204
16.2.10 Evaluation der Evaluation     205

Literaturverzeichnis     206

Verzeichnis der Abbildungen     223
Verzeichnis der Tabellen     223
Verzeichnis der übungsaufgaben     224

Onlineressourcen für die Evaluation     225

Musterlösungen zu den übungsaufgaben     227

Glossar     251

Stichwortverzeichnis     261

Autoreninformationen

Prof. Dr. Lars Balzer ist Leiter der Fachstelle Evaluation am Eidgenössischen Hochschulinstitut für Berufsbildung EHB und dort zuständig für Fragen der Evaluation in Forschung, Lehre sowie interner und externer Projektarbeit.
https://www.ehb.swiss/evaluation
https://person.lars-balzer.name

Prof. Dr. Wolfgang Beywl ist Seniorprofessor und Dozent für Schul- und Unterrichtsevaluation an der Pädagogischen Hochschule FHNW und Gründer von Univation – Institut für Evaluation.
https://www.fhnw.ch/de/personen/wolfgang-beywl
https://www.univation.org

Ergänzende Informationen

ISBN-13: 978-3-0355-0872-7, 9783035508727
ISBN-10: 3035508720

2. Auflage
264 Seiten

Preisangabe des Verlages: 34.00 CHF, 28.00 Euro
Erscheinungsdatum: November 2018
Verlag: hep Verlag

Das Buch ist auch als Ebook erhältlich.

Stimmen zum Buch

Im Buch werden alle wichtigen Schritte des Evaluationsprozesses vom Erstkontakt und der Planung über die Datenerhebung und -analyse, die Berichterstattung bis hin zur Metaevaluation umfassend und übersichtlich beschrieben. Zusätzlich werden die Inhalte mit praxisorientierten übungen und (Fall-)Beispielen verdeutlicht. Das sind die besonderen Stärken dieses Buchs. Es ist ein Arbeitsbuch und kein Lexikon mit Fokus auf Theorien und Ansätze. (...) Die Besonderheit dieses Buchs ist der praxisorientierte Schreib- und Darstellungsstil, der zum "Loslegen" einlädt. Hervorzuheben sind zudem die vielen Hinweise auf weiterführende Literatur und Online-Quellen im Bereich der Evaluation. Nicht nur Studierende, sondern auch Praktikerinnen und Praktiker können von den vielfältigen Anleitungen und Praxisideen profi tieren. Das Werk ist insgesamt ein sehr guter Startpunkt, um in die Thematik "Evaluation im Bildungsbereich" einzusteigen.
Melanie Hörth, Hannah Pütz, in Zeitschrift für Evaluation, Ausgabe 2/2020

Das Buch besticht durch seine gute theoretische Fundierung, die auch die internationalen Status quo der Evaluationsforschung berücksichtigt, und die praxisorientierte und eingängige Aufbereitung. Es zeichnet sich dadurch aus, dass die Spezifika der Evaluation sehr klar herausgearbeitet und die komplexen Anforderungen an Evaluation und Evaluator(inn)en in gut verständlicher Art und Weise präsentiert werden. (...) Mit dem Planungsbuch von Balzer und Bewyl gibt es nun ein Werk, in dem es hauptsächlich darum geht, darzulegen, was Evaluation – über die Anwendung sozialwissenschaftlicher Methoden hinaus – ausmacht. (...) Das Buch bietet eine theoretisch fundierte, aber gleichzeitig praxisnahe Einführung in die Evaluation für Studierende, ist aber gleichermaßen für interessierte Praktiker(innen) sehr gut geeignet und auch für Lehrende als Grundlagentext und/oder Inspiration für die eigene Lehrtätigkeit interessant.
Dr. Maria Gutknecht-Gmeiner, in Zeitschrift für Evaluation, Ausgabe 2/2016

Das Buch ist optisch sehr ansprechend gestaltet. Es ist klar strukturiert, übersichtlich und gut verständlich. In den dreizehn Kapiteln werden alle relevanten Aspekte für die Planung und Durchführung einer Evaluation angesprochen. (...) Es ist spürbar, dass das Buch auf mehrjähriger Lehr- und Unterrichtserfahrung der Autoren zum Thema Evaluation beruht. Zudem wird es dem Anspruch gerecht, nicht nur ein Leitfaden im Sinne eines Rezeptbuchs zu sein, sondern auch theoretische Konzepte zu Evaluation anzusprechen und verschiedene Hintergründe oder Einstellungen zu Evaluationen, die teilweise auch kontrovers sind, aufzuführen. Dies ist für ein Lehrbuch essenziell, damit Diskussionen angeregt werden können, welche das Verständnis von Evaluation und das Lernen über Evaluation wirkungsvoll stimulieren.
Ruth Feller-Länzlinger, in LeGes - Gesetzgebung und Evaluation, Ausgabe 2/2016

Mit diesem Lehr- und übungsbuch liegt ein Werk der Oberklasse vor. Oberklasse in doppeltem Sinn: Es ist als Lehrbuch sorgfältig geschrieben, reichhaltig an Beispielen, im Literaturbezug und den übungsaufgaben. Auf jeder Seite machen die Autoren deutlich: Der Leser soll zugleich zum Handeln und Verstehen geführt werden. Oberklasse aber auch in einem zweiten Sinne: Es reicht weit in den Bereich professioneller Evaluation hinein - dort, wo Evaluation gegen Geld als wissenschaftliche Dienstleistung angeboten wird. Für dieses Marktsegment hat das Buch Alleinstellung. (...) Wer aber Evaluation auf dem heutigen Stand erfolgreich umsetzen will, für den ist die von diesem Buch verlangte zeitaufwendige aktive Auseinandersetzung zielführend; dieser Nutzer kommt an diesem Buch nicht vorbei.
Prof. Dr. Jost Reischmann, in Hessische Blätter für Volksbildung, Ausgabe 3/2016

Das Werk bietet auf fast 200 Seiten einen sehr fundierten überblick über den Stand der Theorie und Praxis der Bildungsevaluation. Viele Beispiele und Beschreibungen geben den Gestaltern von formellen Weiterbildungsmaßnahmen vielfältige Hinweise, die sie bei der Planung ihrer eigenen Evaluationsprozesse nutzen können.
Prof. Dr. Werner Sauter, auf socialnet, am 03.05.2016

Das Buch von Balzer und Beywl befasst sich treffsicher mit den Ansprüchen und den Situationen, die sich in der Evaluationspraxis in unterschiedlicher Gestalt ergeben können. (...) Es wird dabei ein Ansatz zur Planung und Umsetzung von Evaluationen gewählt, der sich in der Evaluationspraxis auch realisieren lässt, ohne dabei aber die evaluationstheoretischen Bezugspunkte zu verlieren, die immer wieder kurz und prägnant hergestellt werden. So wird dem/der Lesenden eine ausgewogene Darstellung von verschiedenen Standpunkten und damit eine Vielfalt von begründeten Handlungsoptionen geboten. Dieses Buch ist ein wertvoller Beitrag zur – dringend erforderlichen – Professionalisierung des Evaluationshandelns im Bildungsbereich.
Martin Mayerl M.A., in bwp@, am 10.02.2016

Fazit: Als Freund und Fürsprecher der "Reduktion", entspricht mir dieses Buch in seinem Auftritt und der Griffigkeit, mit der das Thema dargeboten wird. Ich empfehle es allen Interessierten und Teilnehmenden von entsprechenden Lehrveranstaltungen, die mit einer systematischen Anleitung nützliche und glaubwürdige Evaluationen durchführen möchten.
Yvo Wueest, auf amazon am 16.12.2015

Endlich ein ausführliches, verständliches, unterhaltsames und stringentes Lern- und übungsbuch für Evaluation. (...) Mein Fazit: Rundum nützlich und gelungen!
Prof. Dr. Lilo Schmitz, auf amazon am 28.11.2015

Auswahl von Bestellmöglichkeiten

Kauf (neu) des Buches beim Online-Buchhändler Book Depository (weltweit, kostenfreie Lieferung)

Kauf des Buches bei Orell Füssli

Onlinebestellung direkt beim Verlag unter:
https://www.hep-verlag.ch/evaluiert

Das Buch ist auch als Ebook erhältlich unter:
https://www.hep-verlag.ch/evaluiert-ebook