Statistische Und Numerische Methoden Der Datenanalyse

ISBN-13: 9783519032434 / Niemiecki / Miękka / 1998 / 358 str.

Volker Blobel; Erich Lohrmann

Opis

Der Umfang des Datenmaterials in Wissenschaft und Technik nimmt immer schneller zu; seine Auswertung und Beurteilung erweisen sich zunehmend als die eigentliche Schwierigkeit bei vielen wichtigen Problemen. Dem steht auf der anderen Seite ein seit Jahren ungebrochenes Anwachsen der Rechnerleistung und die zunehmende Verfugbarkeit machtiger Algorithmen gegenuber, aber es ist oft nicht einfach, von diesen Hilfsmitteln den richtigen und professionellen Gebrauch zu machen. Dieses Buch, entstanden aus der Praxis der Verarbeitung grosser Datenmengen, will eine Einfuhrung und Hilfe auf diesem Gebiet geben. Viele der Probleme sind statistischer Natur. Hier ist es sprichwortlich leicht, Fehler zu machen. Deshalb sind der Erklarung und der kritischen Durchleuch tung statistischer Zusammenhange auch im Hinblick auf die Praxis ein ange messener Raum gewidmet und ebenso den Monte Carlo-Methoden, welche heute einen verhaltnismassig einfachen Zugang zu vielen statistischen Problemen bie ten. Werkzeuge fur die Organisation und Strukturierung grosser Datenmengen bilden ein weiteres wichtiges Thema. Dazu gehoren auch effiziente Verfahren zum Sortieren und Suchen, welche oft Teil grosserer Algorithmen sind. Die Verarbeitung grosser Datenmengen hat oft die Extraktion verhaltnismassig weniger Parameter zum Ziel. Hier sind Verfahren wie die Methoden der klein sten Quadrate und der Maximum-Likelihood wichtig, in Verbindung mit effek tiven Optimierungsalgorithmen. Ein weiteres Problem, welches oft unterschatzt wird, ist die Rekonstruktion ursprunglicher Verteilungen aus fehlerbehafteten Messungen durch Entfaltung. Mit der Verfugbarkeit mathematischer Bibliotheken fur Matrixoperationen kon nen viele Probleme elegant in Matrixschreibweise formuliert und auf Rechnern gelost werden. Deswegen werden auch die einfachen Grundlagen der Matrixal gebra behandelt."

Spis treści

1 Datenbehandlung und Programmierung.- 1.1 Information.- 1.2 Codierung.- 1.3 Informationsübertragung.- 1.4 Analogsignale — Abtasttheorem.- 1.5 Repräsentation numerischer Daten.- 1.6 Programmorganisation.- 1.7 Programmprüfung.- 2 Algorithmen und Datenstrukturen.- 2.1 Algorithmen und ihre Analyse.- 2.2 Datenstrukturen.- 2.2.1 Datenfelder.- 2.2.2 Abstrakte Datentypen.- 2.3 Sortieren.- 2.4 Suchen.- 2.5 Weitere Algorithmen.- 3 Methoden der linearen Algebra.- 3.1 Vektoren und Matrizen.- 3.2 Symmetrische Matrizen.- 3.3 Vertauschungs-Algorithmus.- 3.4 Dreiecksmatrizen.- 3.5 Allgemeine LR-Zerlegung.- 3.6 Cholesky-Zerlegung.- 3.7 Inversion durch Partitionierung.- 3.8 Diagonalisierung symmetrischer Matrizen.- 3.9 Singulärwert-Zerlegung.- 4 Statistik.- 4.1 Einleitung.- 4.2 Wahrscheinlichkeit.- 4.3 Verteilungen.- 4.3.1 Grundbegriffe.- 4.3.2 Erwartungswerte und Momente.- 4.3.3 Charakterisierung von Wahrscheinlichkeitsdichten.- 4.4 Spezielle diskrete Verteilungen.- 4.4.1 Kombinatorik.- 4.4.2 Binomialverteilung.- 4.4.3 Poisson-Verteilung.- 4.5 Spezielle Wahrscheinlichkeitsdichten.- 4.5.1 Gleichverteilung.- 4.5.2 Normalverteilung.- 4.5.3 Gammaverteilung.- 4.5.4 Charakteristische Funktionen.- 4.5.5 ?2-Verteilung.- 4.5.6 Cauchy-Verteilung.- 4.5.7 t-Verteilung.- 4.5.8 F-Verteilung.- 4.6 Theoreme.- 4.6.1 Die Tschebyscheff-Ungleichung.- 4.6.2 Das Gesetz der großen Zahl.- 4.6.3 Der Zentrale Grenzwertsatz.- 4.7 Stichproben.- 4.7.1 Auswertung von Stichproben.- 4.7.2 Gewichte.- 4.7.3 Numerische Berechnung von Stichprobenmittel und -Varianz.- 4.8 Mehrdimensionale Verteilungen.- 4.8.1 Zufallsvariable in zwei Dimensionen.- 4.8.2 Zweidimensionale Gauß-Verteilung.- 4.8.3 Mehrdimensionale Wahrscheinlichkeitsdichten.- 4.8.4 Mehrdimensionale Gauß-Verteilung.- 4.9 Transformation von Wahrscheinlichkeitsdichten.- 4.9.1 Transformation einer einzelnen Variablen.- 4.9.2 Transformation mehrerer Variabler und Fehlerfortpflanzung.- 4.9.3 Beispiele zur Fehlerfortpflanzung.- 4.10 Faltung.- 5 Monte Carlo-Methoden.- 5.1 Einführung.- 5.2 Zufallszahlengeneratoren.- 5.3 Zufallszahlen für beliebige Verteilungen.- 5.4 Zufallszahlen für spezielle Verteilungen.- 5.4.1 Zufallswinkel und -vektoren.- 5.4.2 Normalverteilung.- 5.4.3 Poisson-Verteilung.- 5.4.4 ?2-Verteilung.- 5.4.5 Cauchy-Verteilung.- 5.4.6 Binomialverteilung.- 5.5 Monte Carlo-Integration.- 5.5.1 Integration in einer Dimension.- 5.5.2 Varianzreduzierende Methoden.- 5.5.3 Vergleich mit numerischer Integration.- 5.5.4 Quasi-Zufallszahlen.- 6 Schätzung von Parametern.- 6.1 Problemstellung und Kriterien.- 6.2 Robuste Schätzung von Mittelwerten.- 6.3 Die Maximum-Likelihood-Methode.- 6.3.1 Prinzip der Maximum-Likelihood.- 6.3.2 Methode der kleinsten Quadrate.- 6.4 Fehler der Parameter.- 6.5 Anwendungen der Maximum-Likelihood-Methode.- 6.5.1 Beispiele.- 6.5.2 Histogramme.- 6.5.3 Erweiterte Maximum-Likelihood-Methode.- 6.6 Eigenschaften der Maximum-Likelihood-Methode.- 6.6.1 Konsistenz.- 6.6.2 Erwartungstreue.- 6.6.3 Asymptotische Annäherung an die Gauß-Funktion.- 6.7 Konfidenzgrenzen.- 6.8 Bayes’sche Statistik.- 6.9 Systematische Fehler.- 7 Methode der kleinsten Quadrate.- 7.1 Einleitung.- 7.2 Lineare kleinste Quadrate.- 7.2.1 Bestimmung von Parameterwerten.- 7.2.2 Normalgleichungen im Fall gleicher Fehler.- 7.2.3 Matrixschreibweise.- 7.2.4 Kovarianzmatrix der Parameter.- 7.2.5 Quadratsumme der Residuen.- 7.2.6 Korrektur der Datenwerte.- 7.3 Lösungseigenschaften.- 7.3.1 Erwartungstreue.- 7.3.2 Das Gauß-Markoff-Theorem.- 7.3.3 Erwartungswert der Summe der Residuenquadrate.- 7.4 Der Fall unterschiedlicher Fehler.- 7.4.1 Die Gewichtsmatrix.- 7.4.2 Lösung im Fall der allgemeinen Kovarianzmatrix.- 7.5 Kleinste Quadrate in der Praxis.- 7.5.1 Normalgleichungen für unkorrelierte Daten.- 7.5.2 Geradenanpassung.- 7.5.3 Reduktion der Matrixgröße.- 7.6 Nichtlineare kleinste Quadrate.- 7.6.1 Linearisierung.- 7.6.2 Konvergenz.- 7.7 Kleinste Quadrate mit Nebenbedingungen.- 7.7.1 Einleitung.- 7.7.2 Nebenbedingungen ohne ungemessene Parameter.- 7.7.3 Der allgemeine Fall.- 8 Optimierung.- 8.1 Einleitung.- 8.1.1 Optimierungsprobleme und Minimierung.- 8.1.2 Minimierung ohne Nebenbedingungen.- 8.1.3 Allgemeine Bemerkungen zu Methoden der Minimierung.- 8.2 Eindimensionale Minimierung.- 8.2.1 Suchmethoden.- 8.2.2 Die Newton-Methode.- 8.2.3 Kombinierte Methoden.- 8.3 Suchmethoden für den Fall mehrerer Variabler.- 8.3.1 Gitter- und Monte Carlo-Suchmethoden.- 8.3.2 Einfache Parametervariation.- 8.3.3 Die Simplex-Methode.- 8.4 Minimierung ohne Nebenbedingungen.- 8.4.1 Die Newton-Methode als Standardverfahren.- 8.4.2 Modifizierte Newton-Methoden.- 8.4.3 Bestimmung der Hesse-Matrix.- 8.4.4 Numerische Differentiation.- 8.5 Gleichungen als Nebenbedingungen.- 8.5.1 Lineare Nebenbedingungen.- 8.5.2 Nichtlineare Nebenbedingungen.- 8.6 Ungleichungen als Nebenbedingungen.- 8.6.1 Optimierungsbedingungen.- 8.6.2 Schranken für die Variablen.- 9 Prüfung von Hypothesen.- 9.1 Prüfung einer einzelnen Hypothese.- 9.1.1 Allgemeine Begriffe.- 9.1.2 ?2-Test.- 9.1.3 Studentscher t-Test.- 9.1.4 F-Test.- 9.1.5 Kolmogorov-Smirnov-Test.- 9.2 Entscheidung zwischen Hypothesen.- 9.2.1 Allgemeine Begriffe.- 9.2.2 Strategien zur Wahl der Verwurfsregion.- 9.2.3 Minimax-Kriterium.- 9.3 Allgemeine Klassifizierungsmethoden.- 9.3.1 Fishersche Diskriminantenmethode.- 9.3.2 Neuronale Netze.- 10 Parametrisierung von Daten.- 10.1 Einleitung.- 10.2 Spline-Funktionen.- 10.3 Orthogonale Polynome.- 10.4 Fourierreihen.- 11 Entfaltung.- 11.1 Problemstellung.- 11.2 Akzeptanzkorrekturen.- 11.3 Entfaltung in zwei Intervallen.- 11.4 Entfaltung periodischer Verteilungen.- 11.5 Diskretisierung.- 11.6 Entfaltung ohne Regularisierung.- 11.7 Entfaltung mit Regularisierung.

Blurb

Der Umfang des Datenmaterials in Wissenschaft und Technik nimmt immer schneller zu; seine Auswertung und Beurteilung erweisen sich zunehmend als die eigentliche Schwierigkeit bei vielen wichtigen Problemen. Dem steht zwar ein bisher ungebrochenes Anwachsen von Rechnerleistung und die zunehmende Verfügbarkeit mächtiger Algorithmen gegenüber, aber es ist oft nicht einfach, von diesen Hilfsmitteln den richtigen und professionellen Gebrauch zu machen. Dieses Buch, entstanden aus der Praxis der Verarbeitung großer Datenmengen, will eine Einführung und Hilfe auf diesem Gebiet geben. Viele der in den Naturwissenschaften und der Technik auftauchenden Probleme sind statistischer Natur. Hier ist es sprichwörtlich leicht, Fehler zu machen. Deshalb ist der Erklärung und der kritischen Durchleuchtung statistischer Zusammenhänge für den Praktiker ein breiter Raum gewidmet und ebenso den Monte Carlo Methoden, welche heute einen neuen einfachen Weg bei vielen statistischen Problemen bieten. Werkzeuge für die Organisation und Strukturierung großer Datenmengen bilden ein weiteres wichtiges Thema. Die Verarbeitung großer Datenmengen hat oft die Extraktion verhältnismäßig weniger Parameter zum Ziel. Hier sind Verfahren wie die Methoden der kleinsten Quadrate und der Maximum Likelihood wichtig, in Verbindung mit effektiven Optimierungsalgorithmen. Das Buch enthält Algorithmen und zahlreiche einfache Beispiele, um diese Dinge zu verdeutlichen. "... Die etwas komprimierte, vor allem als praktische Anleitung für Naturwissenschaftler und Ingenieure konzipierte Darstellung setzt nur wenige Kenntnisse aus der höheren Mathematik voraus. ... Empfehle