Evaluationsforschung: Aufgaben, Probleme Und Anwendungen

ISBN-13: 9783540155294 / Niemiecki / Miękka / 1985

Werner W. Wittmann

Opis

Arbeiten dieser Art haben eine lange Vorgeschichte, in der viele Personen Anregungen und Hilfestellungen gege ben haben, die bei Fertigstellung und AbschluB nicht mehr direkt aus dem Gedachtnis des Autors abrufbar sind. Auf die Gefahr hin, den einen oder anderen nicht zu be rlicksichtigen, mochte ich mich dennoch bei einer Reihe von Personen bedanken. Vor allem zu nennen sind meine frliheren Studenten und heutigen Kollegen Jlirgen BENGEL, Ulrike JUNGE, Hans Joachim KOKOTT, Jorg MATT, Jlirgen SCHMIDT und Heinz Martin sUSS. Sie fanden meine Diplomarbeitsthemen in teressant genug, urn ihre Intelligenz, Motivation und ihr Engagement in wei taus liberdurchschnittliche Arbei ten urnzusetzen, die mit zurn Fundament dieser Abhandlung beigetragen haben. Wenn ich in dieser Arbeit haufiger zurn "wir" greife, so ist dies als eine Referenz an die sen Personenkreis gedacht. Eventuelle Fehler sind selbst verstandlich mir anzulasten. Wegen der groBzligigen Uberlassung von empirischen For schungsdaten flir Zwecke der Re- und Sekundaranalyse bin ich folgenden Personen zu Dank verpflichtet: Prof. Dr. J. FAHRENBERG, Prof. Dr. A.O. JAGER, Prof.Dr. H. C. MAURER, Prof. Dr. M. MYRTEK und Prof. Dr. J.R. NESSEL ROADE. Frau Susanne WEBER besorgte unter enormem Zeitdruck mit Umsicht die Reinschrift des Manuskripts. Frau Annette SONDHAUSS fertigte den groBten Teil der Abbildungen an. Jlirgen MERZ und Karl KREUTEL halfen beim Korrekturlesen. Der groBte Anteil geblihrt jedoch meiner Frau Elke. Sie VI ist die einzige Person, die meine Handschrift in eine korrigierbare Vorlage transkribieren kann und die mich in allen Phasen dieser Arbeit massiv unterstlitzte."

Spis treści

1. Einleitung: Evaluationsforschung, intellektuelle und praxisrelevante Herausforderungen an die Psychologie.- 2. Wesentliche Komponenten der historischen Entwicklung der Evaluationsforschung.- 3. Evaluation, Evaluationsforschung und Programmevaluation.- 3.1 Bestimmungsstücke und Definitionen.- 3.2 Ein Ablaufschema zur Auswahl verschiedener Methoden der Programmevaluation.- 3.3 Konfliktpotentiale zwischen Wissenschaft und Politik im Rahmen der Evaluationsforschung.- 3.4 Die vielen Gesichter der Evaluationsforschung: Modelle, Ansätze, Betrachtungsweisen.- 4. Grundlagen einer allgemeinen Meß- und Forschungsstrategie für die Evaluationsforschung.- 4.1 Die „kleine“ Meßtheorie von BORUCH & GOMEZ für Evaluationsforschung im Feld.- 4.2 Das Symmetrieprinzip zwischen Prädiktoren und Kriterien als Voraussetzung adäquater Validierungsstrategien.- 4.3 Das Konzept der Kovarianzzerlegung der CATTELL’ sehen Datenbox als Grundlage einer allgemeinen Reliabilitäts- und Validitätstheorie.- 4.3.1 Die Set-Korrelation als Methode der Beschreibung der statistischen Zusammenhänge zwischen verschiedenen Datenboxen.- 4.3.2 Auswege aus dem Problem der Parameter- bzw. Faktoreninflation.- 4.4 Konkrete empirische Untersuchungen zur Demonstration der Meß- und Forschungsstrategien.- 4.4.1 Der Zusammenhang PR-, NTR- und KR-Box: Die „Instructional Dimensions Study“ von COOLEY & LEINHARDT.- 4.4.2 Der Zusammenhang PR-, ETR- und KR-Box: Eine experimentelle Untersuchung zu einem Rehabilitationsprogramm für Straffällige von DOBSON & COOK.- 4.4.3 Der Zusammenhang PR- und KR-Box: Das multivariate Vorhersageproblem.- 4.4.4 Datenboxzerlegungen.- 4.4.4.1 Eine Längsschnittuntersuchung aus dem Alltag einer Herz-Kreislauf-Klinik.- 4.4.4.2 Die Konstanzer Längsschnittuntersuchung zur Veränderung von Lehrereinstellungen. Eine Reanalyse ausgewählter Daten.- 4.4.4.3 Datenboxreplikationen: Analyse einer Untersuchung zur Zustandsangst.- 4.4.5 Zusammenfassende Bewertung und Diskussion der Grenzen der Beispielsuntersuchungen.- 4.5 Stellenwert des Experimentes, des Quasi- Experimentes, der nichtexperimentellen Methoden und der quantitativen vs. qualitativen Ansätze in der Evaluationsforschung.- 5. Datenanalysestrategien und verschiedene Versuchspläne.- 5.1 Eine Klassifikation von univariaten, multiplen und multivariaten Datenanalysestrategien und Versuchsplänen.- 5.1.1 Multiple Versuchspläne.- 5.1.2 Multivariate Versuchspläne.- 5.1.3 Univariate Versuchspläne.- 5.1.4 Kovarianzanalytische Pläne bzw. Analyse partieller Varianz.- 5.1.5 Faktorenanalytische Pläne.- 5.1.6 Kausale Modellbildung, Struktur- gleichungsmodelle.- 5.2 Datenboxzerlegungen und das MRC-Konzept.- 5.3 Kriterienarten, Fragestellungen, beabsichtigte Konstruktebene und Aggrega- tionsniveau.- 6. Grundlagen und Probleme von Bewertungen und Beurteilungen.- 6.1 Betrachtungen zum Begriff „Wert“ in der Evaluationsforschung.- 6.2 Urteilsbildungsforschung: Relevante Ergebnisse für Bewertung und Entscheidung.- 6.2.1 Eine Matrix von Untersuchungsformen mit verschiedenen Konsequenzen für Beurteilung und Bewertung.- 6.2.2 Der Streit klinische vs. statistische Urteilsbildung und dessen Implikationen für die Evaluationsforschung.- 6.2.3 Eine Taxonomie von typischen Fehlern bei Urteilsbildung, Bewertung und Entscheidung.- 6.3 Hilfen bei der Beurteilung, Bewertung und Entscheidung.- 6.3.1 Multimethodale Diagnostik.- 6.3.2 Die Delphi-Technik.- 6.3.3 Goal-attainment-scaling (GAS).- 6.3.4 Multiattributive Nutzentechnologie (MAUT).- 6.3.5 Soziale Urteilsbildungstechnologie (SJT).- 6.4 Kosten-Nutzen- und Kosten-Effektivität als Bewertungsgrundlage.- 6.5 Eine Evaluationsstudie zur Diagnostik von chronischen nichtspezifischen Atem- wegserkrankungen (CNSRD): Implementation eines Diagnoseverfahrens, Bewertung und potentieller Nutzen.- 6.5.1 Überprüfung der Implementation des Testfragebogens zur verbesserten CNSRD-Diagnostik.- 6.5.2 Stellenwert der verbesserten Diagnostik im Rahmen einer umfassenden Evaluationsstrategie.- 6.5.3 Potentieller Nutzen der verbesserten CNSRD-Diagnostik.- 6.5.4 Konkrete Empfehlungen aus der CNSRD-Studie.- 7. Meta-Evaluation: Die Bewertung, Integration und Synthese von Evaluationsstudien und Forschungsergebnissen.- 7.1 Sekundäranalyse, eine Strategie zur Überprüfung und Steigerung der Qualitätsstandards von Evaluationsstudien und Minimierung einseitiger Bewertung.- 7.2 Meta-Analyse, die Synthese von Forschungsarbeiten.- 7.2.1 Integration und Synthese durch Kumulation von Effektstärken: Meta-Analyse nach GLASS.- 7.2.2 Integration und Synthese durch Kumulation von Effektstärken: Meta-Analyse nach HUNTER & SCHMIDT.- 7.2.3 Integration und Synthese durch Kombination von P-Werten: Meta-Analyse nach ROSENTHAL.- 7.2.4 Kritik am Konzept der Meta-Analyse: Stärken und Schwächen des Ansatzes.- 7.3 Eine Meta-Analyse zur Effektivität deutschsprachiger Psychotherapie.- 7.4 Schlußfolgerungen und Konsequenzen aus Empirie und Theorie der Meta-Evaluation.- 8. Rahmenbedingungen erfolgreicher Evaluationsforschung.- 9. Zusammenfassung.- Literatur.- Anhang A: Beispiel einer Datenbox-zerlegung.- Anhang B: Information zum Konstanzer Längsschnitt.- Anhang C: Information zum Berliner Intelligenzmodell.- Anhang D: Testfragebogen: Chronische Bronchitis.