: Niels Birbaumer, Dieter Frey, Julius Kuhl, Heinz Holling
: Grundlagen und statistische Methoden der Evaluationsforschung (Enzyklopädie der Psychologie : Themenbereich B : Ser. 4 ; Bd. 1)
: Hogrefe Verlag Göttingen
: 9783840915055
: 1
: CHF 135.60
:
: Geisteswissenschaften, Kunst, Musik
: German
: 747
: Wasserzeichen/DRM
: PC/MAC/eReader/Tablet
: PDF

Im Mittelpunkt des Enzyklopädiebandes stehen die Definition und wissenschaftstheoretische Fundierung der Evaluationsforschung sowie methodische und statistische Grundlagen. Dieses Werk ist somit nicht nur für die Psychologie, sondern auch für andere wissenschaftliche Disziplinen relevant. In nahezu allen gesellschaftlichen Bereichen, wie z.B. Bildung,Verwaltung, Wirtschaft oder Gesundheit, werden heutzutage unterschiedlichste Aktivitäten evaluiert. Somit spielt die Evaluationsforschung nicht nur in der Psychologie, sondern auch in den Nachbarwissenschaften, wie der Pädagogik, Politologie oderÖkonomie, eine bedeutende Rolle. Die Beiträge dieses Enzyklopädiebandes konzentrieren sich auf die wissenschaftlichen Grundlagen der Evaluationsforschung. Im Vordergrund stehen die Definition der Evaluationsforschung und die wissenschaftstheoretische Fundierung dieses Gebietes sowie statistische und methodische Grundlagen. Da Evaluationsstudien häufig komplexer und längerfristiger Natur sind, erfordern sie insbesondere multivariate statistische Auswertungsverfahren. Ihnen wird daher besonders viel Raum gewährt. In einzelnen Kapiteln werden u.a. folgende Themen behandelt: Facettentheorie, Aufstellen und Prüfen von Hypothesen. Generalisierbarkeitstheorie, Metaanalyse in der Evaluationsforschung, das Allgemeine Lineare Modell in der Evaluationsforschung, Hierarchische Lineare Modelle (HLM), Generalisierte Lineare Modelle, Strukturgleichungsmodelle, Multidimensionale Skalierung, Mischverteilungsmodelle, Veränderungsmessung, Zeitreihenanalyse, Resampling sowie statistische Methoden bei unvollständigen Daten.

9 Spezifische Bedingungen von Evaluationsstudien (S. 28-29)

Im Gegensatz zu den meisten Laborexperimenten sind Evaluationsstudien zumeist längerfristige, komplexe Studien, in die unterschiedliche Interessen der beteiligten Personengruppen involviert sind. Man hat es hier zumeist nicht nur mit den üblichen Schritten der Durchführung von Studien im Rahmen der empirischen Sozialforschung zu tun, es kommen weitere Aufgaben hinzu. Häufig bedarf es zunächst einer umfassenden Auseinandersetzung mit den Auftraggebern, wenn diese sehr allgemeine, z.T. diffuse und nicht selten unrealistische Zielvorstellungen haben. Dann ist zumeist ein Vertrag zu entwerfen und ein Kosten- und Projektplan zu entwickeln. Anschließend gilt es, die Akzeptanz aller beteiligten Personengruppen herzustellen, das gesamte Projekt kontinuierlich zu begleiten, d. h. zu überwachen und zu steuern. Häufig kann erst danach eine abschließende zusammenfassende Evaluation erfolgen.

Die Komplexität von Evaluationsstudien wird in dem Beitrag von Döring (in diesem Band) bei der Beschreibung der Phasen von Evaluationsstudien deutlich. Weiterhin zeigen auch die umfangreiche Menge der Standards von Evaluationsstudien sowie verschiedene Evaluationsmodelle, wie z.B. das sogenannte CIPP-Modell (Context, Input, Process, Product) von Stufflebeam (2003, vgl. dazu Wittmann in diesem Band), besondere Bedingungen und die vielfältigen Aufgaben von Evaluation auf. Wir behandeln hier kurz die zwei wohl bedeutendsten Besonderheiten von Evaluationsstudien.

Zunächst betrachten wir den Einfluss unterschiedlicher Interessengruppen, sog. Stakeholder. Anschließend gehen wir auf die besonderen Aufgaben ein, die im Rahmen der sogenannten formativen Evaluation entstehen.

9.1 Die Bedeutung der Stakeholder

Evaluationen stehen häufig in einem komplexen sozialen Kontext und werden nicht selten auch als ein strategisches Instrument betrachtet. Der Begriff"Stakeholder", bezeichnet die unterschiedlichen Interessengruppen, die mittelbar oder unmittelbar von einer Evaluation betroffen sind (vgl. Westermann, 2002). Dazu gehören Personen, deren Aktivitäten im Zentrum der Evaluation stehen (z. B. Therapeuten) sowie Personen, die Zielpersonen einer Intervention sind (z.B. Patienten). Zusätzlich können externe Personen (z.B. wissenschaftliche Berater) sowie Auftraggeber beziehungsweise Kostenträger zu den Stakeholdern gerechnet werden.

Für jede Stakeholdergruppe besitzt eine Evaluation eine unterschiedliche Bedeutsamkeit, wobei die Ziele unterschiedlicher Stakeholdergruppen natürlich auch in Konflikt zueinander stehen können. Dies hat Auswirkungen auf die Rolle des Evaluators (vgl. Rossi et al., 2004), die vom Ausmaß der Einbeziehung von Stakeholderinteressen determiniert wird. So begreift Campbell den Evaluator als objektiv und als naturwissenschaftlich ausgerichteten Forscher, der in Distanz zum evaluierenden Programm und den Stakeholdern steht und dessen Hauptaufgabe die Absicherung von Kausalschlüssen ist (z.B. Campbell, 1969).

Damit entspricht Campbells Sicht dem wertedistanzierten Evaluationsmodell nach Beywl et al. (2004). Cronbach (1982) sieht hingegen den Evaluator in einer Rolle, die den Interessen eines Auftraggebers verpflichtet (wenn auch nicht vollständig unterworfen) ist. Der Evaluator ist hier der gesellschaftlichen Aufklärung verpflichtet und hat insbesondere die Aufgabe, Verantwortungsträger auf Fehler und Schwächen der zu evaluierenden Programme hinzuweisen und bei der Verbesserung derselben zu unterstützen, damit letztendlich die gesamte Gesellschaft davon profitieren kann (werterelativistisches Evaluationsmodell nach Beywl et al., 2004)."
Autorenverzeichnis6
Vorwort10
Inhaltsverzeichnis14
Grundlagen der Evaluationsforschung30
1 Einleitung30
2 Definitionen von Evaluation und Evaluationsforschung31
3 Zwei typische Beispiele für Evaluationsforschung34
4 Gegenstand psychologischer Evaluationsforschung38
5 Ziele von Evaluationsstudien40
6 Theoretische Grundlegung psychologischer Evaluationsstudien42
7 Gütekriterien von Evaluationsstudien46
8 Nutzenmessung54
9 Spezifische Bedingungen von Evaluationsstudien57
10 Fazit60
Literatur60
Wissenschaftstheoretische Grundlagen der Evaluationsforschung64
1 Aufgaben der Wissenschaftstheorie64
2 Zur logischen Struktur des Evaluationsbegriffs65
3 Handlungsregeln und Evaluationshypothesen68
4 Zum empirischen Gehalt von Evaluationshypothesen70
5 Zum Problem der Generalisierbarkeit von Evaluationsresultaten75
6 Auffassungen über die Beschaffenheit der Welt78
7 Auffassungen über die Erkennbarkeit der Welt79
8 Zur Funktion von Theorien in der Evaluationsforschung82
Literatur84
Evaluationsmodelle88
1 Einleitung88
2 Das Modell von Posavac und Carey92
3 Konzeptuelle Beiträge aus der Urteils- und Entscheidungs-forschung zum Indikationsproblem: die Matrix von Kenneth Hammond als ein bisher vernachlässigtes Evaluationsmodell95
4 Das CIPP-Modell von Daniel Stufflebeam97
5 Die Konzeption der fünf Datenboxen als umfassendes Evaluationsmodell100
6 Varianten des Bewertungsfokus unterschiedlicher Evaluationsmodelle113
7 Fazit120
Literatur121
Phasen der Evaluationsforschung128
1 Phasenmodelle in Wissenschaft und Praxis128
2 Initiierungsphase der Evaluation134
3 Konzeptionsphase der Evaluation139
4 Planungsphase der Evaluation145
5 Realisierungsphase der Evaluation152
6 Abschlussphase der Evaluation155
7 Schlussfolgerung160
Literatur160
Facettentheorie164
1 Grundidee der Facettentheorie (FT)164
2 Beispiel: Eine Delphi-Studie166
3 FT-Design171
4 FT-Datenanalyse176
5 Der Abbildungssatz als Strukturierungshilfe183
6 Forschungsstand und Perspektiven188
Literatur189
Aufstellen und Prüfen von Hypothesen192
1 Einleitung192
2 Substanzielle Hypothesen in der Evaluation193
3 Standardmodelle zur Prüfung von Evaluationshypothesen201
4 Weitere Ansätze zur Analyse von Evaluationshypothesen213
Literatur230
Generalisierbarkeitstheorie236
1 Einleitung236
2 Grundbegriffe237
3 Generalisierbarkeitsstudie239
4 Planung von Entscheidungsstudien245
5 Gütemaße für D-Studien249
6 Design von G- und D-Studien254
7 Anwendung der Generalisierbarkeitstheorie in der Evaluationsforschung257
8 Softwareprogramme zur Generalisierbarkeitstheorie259
Literatur260
Metaanalyse in der Evaluationsforschung264
1 Einleitung264
2 Die Suche nach generalisierbaren kausalen Beziehungen265
3 Metaanalyse zur Generalisierung kausaler Beziehungen270
4 Schlussfolgerungen305
Literatur306
Das Allgemeine Lineare Modell in der Evaluationsforschung314
1 Einleitung und Überblick314
2 Das Allgemeine Lineare Modell (ALM)320
3 Regressionsanalyse344
4 Varianzanalyse348
5 Kovarianzanalyse353
6 Zusammenfassung und Ausblick357
Literatur358
Hierarchische Lineare Modelle (HLM)364
1 Einleitung364
2 Clustersampling in der Evaluationsforschung365
3 Das Zwei-Ebenen-HLM-Modell366
4 Beispiel eines Zwei-Ebenen-Modells370
5 Modellspezifikation und -optimierung372
6 Schätzalgorithmen und Software374
7 Nicht normalverteilte und nicht intervallskalierte Variablen375
8 Analyse von Längsschnittdaten im Rahmen von HLM376
9 Metaanalyse mittels HLM381
10 Resümee388
Literatur389
Generalisierte Lineare Modelle392
1 Einleitung392
2 Grundlagen generalisierter linearer Modelle393
3 Das allgemeine lineare Modell402
4 Die logistische Regression406
5 Die logistische Regression für nominale und ordinale Variablen410
6 Das loglineare Modell415
7 Abschließende Bemerkungen420
Literatur421
Strukturgleichungsmodelle422