Kontrollierte Experimente in Der Softwaretechnik: Potenzial Und Methodik

ISBN-13: 9783642639852 / Niemiecki / Miękka / 2014 / 270 str.

Lutz Prechelt

Spis treści

1. Einführung.- 1.1. Was ist Softwaretechnik?.- 1.2. Was ist Fortschritt in der Softwaretechnik?.- 1.3. Wodurch entsteht ein Fortschritt?.- 1.4. Wer produziert den Fortschritt?.- 1.5. Zweck, Aufbau und Benutzung dieses Buches.- 1.6. Verwandte Literatur.- 1.6.1. Aus fremden Fächern.- 1.6.2. Programmieren.- 1.6.3. Softwaretechnik.- I. Die Rolle kontrollierter Experimente.- 2. Forschungsansätze und die Rolle der Empirie.- 2.1. Das Missverständnis der Softwaretechnik.- 2.2. Ingenieurmäßiger Ansatz: Systembau.- 2.3. Wissenschaftlicher Ansatz: Modellbildung.- 2.4. Abgrenzung der Ansätze.- 2.5. Die Rolle der Empirie.- 3. Empirische Forschungsmethoden in der Softwaretechnik.- 3.1. Forschungsgegenstände.- 3.2. Forschungsfragen.- 3.3. Relevante Eigenschaften von Methoden.- 3.4. Fallstudie und Benchmarking.- 3.5. Feldstudie.- 3.6. Kontrolliertes Experiment.- 3.7. Umfrage.- 3.8. Metastudie.- 3.9. Vergleich der Methoden.- 4. Was ist ein kontrolliertes Experiment?.- 4.1. Zweck.- 4.2. Abhängige und unabhängige Variablen.- 4.3. Zu kontrollierende Variablen (Störvariablen).- 4.4. Innere Gültigkeit.- 4.5. Experimententwurf.- 4.6. Was ist kein kontrolliertes Experiment?.- 4.7. Wann ist ein Experiment gut?.- 4.8. Arbeitsschritte zur Durchführung.- 5. Mögliche Rollen kontrollierter Experimente.- 5.1. Hypothesentest.- 5.2. Erkundung.- 5.3. Qualifikation von Effekten.- 5.4. Modellbildung.- 5.5. Absicherung von Erkenntnissen.- 5.6. Verbreiterung von Erkenntnissen.- 5.7. Soziologische Rollen von Experimenten.- 5.7.1. Motivation fördern.- 5.7.2. Barrieren überwinden.- 5.7.3. Selbstwertgefühl stärken.- 5.8. Zusammenwirken mit anderen Forschungsmethoden.- 5.9. Wann ist ein kontrolliertes Experiment angebracht?.- 5.9.1. Aus Forschersicht.- 5.9.2. Aus Praktikersicht.- 6. Zu welchen Themen gab es bislang kontrollierte Experimente?.- 6.1. Die Eignung von Themen.- 6.2. Viele Experimente: Inspektionen.- 6.3. Wenige Experimente: Objektorientierung.- II. Die Methodik kontrollierter Experimente.- 7. Allgemeines zur Methodik.- 7.1. Typische Randbedingungen.- 7.2. Auswahlkriterien für Entwurfsalternativen.- 7.3. Die Essenz: Skalierung.- 7.4. Aufbau der nachfolgenden Kapitel.- 8. Versuchspersonen.- 8.1. Kompetenz.- 8.2. Homogenität.- 8.3. Teams.- 8.4. Motivation und Teilnahmeanreize.- 8.5. Zusammenfassung.- 9. Experimententwurf.- 9.1. Auswahl der Experimentfrage.- 9.2. Experimentpläne.- 9.3. Geschachtelte Experimente.- 9.4. „Natürliche Experimente“.- 9.5. Vortests.- 9.6. Paarbildung oder Balancierung.- 9.7. Reihenfolgeeffekte.- 9.8. Motivationseffekte.- 9.9. Stichprobengrößen und Trennschärfe.- 9.10. Abnahmetest.- 9.11 Zeitbeschränkung.- 9.12. Postmortem.- 9.13. Zusammenfassung.- 10. Messgrößen und Messverfahren.- 10.1. Prozessmaße versus Produktmaße.- 10.2. Einfache versus problematische Messgrößen.- 10.3. Klardefinierte Messgrößen.- 10.4. Vage Größen.- 10.5. Mehrdimensionale Größen.- 10.6. Kontextabhängige Größen.- 10.7. Subjektive Größen.- 10.8. Nichtbeobachtbare Größen.- 11. Aufgabenstellung an die Versuchspersonen.- 11.1 Struktur von Aufgaben.- 11.2. Repräsentativst und Verallgemeinerbarkeit.- 11.2.1. Lokale Verallgemeinerbarkeit.- 11.2.2. Globale Verallgemeinerbarkeit.- 11.3. Nötiges Vörwissen.- 11.4. Umfangund Skalierung.- 11.5. Verfügbarkeit.- 11.6. Veröffentlichung der Aufgabe.- 11.7. Zusammenfassung.- 12. Implementierung und Durchführung.- 12.1. Prinzipien.- 12.2. Infrastruktur für Teilnehmer.- 12.3. Infrastruktur für Datensammlung.- 12.4. Pilottests.- 12.5. Gruppeneinteilung.- 12.6. Datenvalidierung.- 13. Auswertung der Beobachtungen.- 13.1. Prinzipien.- 13.2. Andere Literatur, Software.- 13.3. Datenerfassung und -validierung.- 13.3.1. Schritt 0: Datenbewertung und Datenerfassung.- 13.3.2. Schritt 1: Konsistenzprüfung.- 13.3.3. Schritt 2: Glaubwürdigkeitsprüfung.- 13.4. Erwartungsgetriebene und spekulative Analyse.- 13.4.1.Schritt 3: Phänomene graphisch veranschaulichen.- 13.4.2. Schritt 4: Phänomene mit Zahlen beschreiben.- 13.4.3. Zwei häufige Fehler bei Hypothesentests.- 13.4.4. Anmerkung über Normalverteilung und Ausreißer.- 13.4.5. Schritt 5: Mögliche Erklärungen untersuchen.- 13.4.6. Anmerkung über Varianzreduktion.- 13.5. Explorative Analyse.- 13.5.1. Schritt 6: In den Daten stöbern.- 14. Beschreibung und Dokumentation des Experiments.- 14.1. Ziele.- 14.2. Aufbau.- 14.3. Erläuterungenzu Methodik und Statistik.- 14.4. Präsentation der Ergebnisse.- 14.5. Rohdaten und Experimentmaterialien.- 14.6. Aber ich als Praktiker... ?.- III. Fazit.- 15. Zusammenfassung und Ausblick.- 15.1. ZuTeil I: Sind kontrollierte Experimente nützlich?.- 15.1.1 Was ist billiger: eine empirische Bewertung oder keine?.- 15.1.2. Was ist billiger: ein kontrolliertes Experiment oder eine andere Methode der Bewertung?.- 15.2. Zu Teil II: Wie macht man kontrollierte Experimente?.- 15.2.1. Problem 1: Auswahl der Experimentfrage.- 15.2.2. Problem 2: Experimentmethodik.- 15.2.3. Problem 3: Überzeugen.- 15.2.4. Aber dennoch!.- 15.3. Künftige Forschungsaufgaben.- 15.3.1. Methodik: Experimente erleichtern.- 15.3.2. Interpretation: Nutzen von Experimenten erhöhen.- IV. Anhang.- 16. Über die Variabilität im Zeitbedarf.- 16.1. Das Experiment von Grant und Sackman von 1966.- 16.1.1.28:1 stimmt gar nicht!.- 16.1.2. Wie charakterisiert man Variabilität?.- 16.1.3. Auch nach 30 Jahren nur 12 Programmierer?.- 16.2. variance. data: Ein umfangreicherer Datensatz.- 16.2.1. Inhalt und Aufbau.- 16.2.2. Warnung zur Interpretation der Zeiten.- 16.3. Individuelle Unterschiede.- 16.4. Die Form von Zeitverteilungen.- 16.5. Effektgrößen.- 16.6 Wie erfolgreich sind die Hypothesentests?.- 16.7 Die Trennschärfe und Fehler verschiedener Tests.- 16.8 Zusammenfassung und Konsequenzen.- Bibliographie.

Blurb

Überall in der Informatik, in der Forschung wie in der Praxis, werden gelegentlich Fallstudien benutzt, um Methoden, Techniken oder Werkzeuge auf ihre Brauchbarkeit hin zu untersuchen. Jedoch sind die Ergebnisse von Fallstudien oft zweifelhaft, weil ein Vergleich entweder gänzlich fehlt oder möglicherweise unfair ist. Kontrollierte Experimente bieten einen Ausweg, gelten aber als zu aufwendig. Dieses Buch zeigt auf, für welche Zwecke ein Experiment sinnvoll ist, wie man es plant und durchführt und wie man die Kosten niedrig hält. Mit der Idee des "natürlichen Experiments" können die Kosten oft sogar auf das Niveau einer Fallstudie gesenkt werden. Der Schwerpunkt des Buches liegt auf Fragen, die in der experimentellen Praxis für den Erfolg besonders wichtig sind.
Das Buch ist in sehr leicht lesbarem Stil geschrieben; viele Querverweise erleichtern die Benutzung beim selektiven Lesen. Zahlreiche Kurzbeschreibungen bisheriger Experimente und ihrer Ergebnisse, die übersichtlich in separaten Textkästen angeordnet sind, geben einen Überblick über wichtige und zum Teil unmittelbar praktisch nutzbare Forschungsergebnisse.