Theorie Der Neuronalen Netze: Eine Systematische Einführung

ISBN-13: 9783540563532 / Niemiecki / Miękka / 1993 / 446 str.

Raul Rojas

Opis

Neuronale Netze sind ein Berechenbarkeitsparadigma, das in der Informatik zunehmende Beachtung findet. In diesem Buch werden theoretische Ansatze und Modelle, die in der Literatur verstreut sind, zu einer modellubergreifenden Theorie der kunstlichen neuronalen Netze zusammengefugt. Mit standigem Blick auf die Biologie wird - ausgehend von einfachsten Netzen - gezeigt, wie sich die Eigenschaften der Modelle verandern, wenn allgemeinere Berechnungselemente und Netztopologien eingefuhrt werden. Jedes Kapitel enthalt Beispiele und ist ausfuhrlich illustriert und durch bibliographische Anmerkungen abgerundet. Das Buch richtet sich an Leser, die sich einen Uberblick verschaffen oder vorhandene Kenntnisse vertiefen wollen. Es ist als Grundlage fur Neuroinformatikvorlesungen an deutschsprachigen Universitaten geeignet."

Spis treści

Einführung.- 1 Das biologische Paradigma.- 1.1 Neuronale Netze als Berechnungsmodell.- 1.1.1 Natürliche und künstliche neuronale Netze.- 1.1.2 Entstehung der Berechenbarkeitsmodelle.- 1.1.3 Elemente eines Berechnungsmodells.- 1.2 Biologische neuronale Netze.- 1.2.1 Aufbau der Nervenzellen.- 1.2.2 Informationsübertragung in Neuronennetzen.- 1.2.3 Informationsverarbeitung an Membran und Synapse.- 1.2.4 Speicherung von Information — Lernen.- 1.3 Künstliche neuronale Netze als Funktionennetze.- 1.3.1 Atomare Bestandteile der Informationsverarbeitung.- 1.3.2 Neuronale versus Funktionennetze.- 1.4 Historische Anmerkungen.- I: Vorwärtsgerichtete Netze.- 2 Das Modell von McCulloch und Pitts.- 2.1 Netze von Funktionen.- 2.1.1 Vorwärtsgerichtete und rekursive Netze.- 2.1.2 Ein abstraktes Neuronenmodell.- 2.2 Aufbau von logischen Funktionen.- 2.2.1 Konjunktion und Disjunktion.- 2.2.2 Nichtmonotone Funktionen und die Negation.- 2.2.3 Geometrische Interpretation.- 2.3 Netze für beliebige logische Funktionen.- 2.3.1 Konstruktive Methode.- 2.3.2 Verknüpfungsbasen.- 2.4 Äquivalente Netze.- 2.4.1 Gewichtete und ungewichtete Netze.- 2.4.2 Absolute und relative Hemmung.- 2.4.3 Binäre Information.- 2.5 Rekursive Netze.- 2.5.1 Netze mit „Erinnerung“.- 2.5.2 Endliche Automaten.- 2.5.3 Äquivalenz endlicher Automaten und neuronaler Netze.- 2.5.4 Erste Klassifizierung von neuronalen Netzen.- 2.6 Historische Anmerkungen.- 3 Gewichtete Netze — Das Perzeptron.- 3.1 Perzeptronen und parallele Datenverarbeitung.- 3.1.1 Das Modell von Rosenblatt.- 3.1.2 Das klassische und das Minsky-Papert-Perzeptron.- 3.1.3 Parallele Algorithmen und unlösbare Probleme.- 3.2 Realisierung logischer Funktionen mit Perzeptronen.- 3.2.1 Einfaches Perzeptron und geometrische Interpretation.- 3.2.2 Gewichtete Netze mit einem kanonischen Baustein.- 3.2.3 Logische Funktionen und das XOR-Problem.- 3.3 Lineare Entscheidungsfunktionen.- 3.3.1 Lineare Trennbarkeit.- 3.3.2 Eingabe- und Gewichteraum - Dualität.- 3.3.3 Fehlerfunktion im Gewichteraum.- 3.3.4 Allgemeine Entscheidungskurven.- 3.4 Anwendungen und biologische Analogie.- 3.4.1 Kantenerkennung mit Perzeptronen.- 3.4.2 Die Verschaltung der Netzhaut.- 3.4.3 Die „Silicon-Retina“ von Carver Mead.- 3.5 Historische Anmerkungen.- 4 Der Perzeptron-Lernalgorithmus.- 4.1 Lernalgorithmen für neuronale Netze.- 4.1.1 Lernen in parametrischen Systemen.- 4.1.2 Klassen von Lernalgorithmen.- 4.2 Lineare Trennbarkeit.- 4.2.1 Vektornotation.- 4.2.2 Absolute lineare Trennbarkeit.- 4.2.3 Fehlerflächen und Suchvorgang.- 4.3 Perzeptron-Lernen.- 4.3.1 Definition des Lernalgorithmus.- 4.3.2 Geometrische Visualisierung.- 4.3.3 Konvergenz des Algorithmus.- 4.3.4 Beschleunigung der Konvergenz — Delta-Regel.- 4.3.5 Komplexität des Perzeptron-Lernalgorithmus.- 4.4 Perzeptron-Lernen als lineares Programm.- 4.4.1 Lineare Optimierung und innere Punkte.- 4.4.2 Lineare Trennbarkeit als lineares Programm.- 4.4.3 Der Algorithmus von Karmarkar.- 4.5 Historische Anmerkungen.- 5 Unüberwachtes Lernen.- 5.1 Lernen durch Konkurrenz.- 5.1.1 Klassen von unüberwachtem Lernen.- 5.1.2 Verallgemeinerung des Perzeptron-Problems.- 5.1.3 Unüberwachtes Lernen durch Konkurrenz.- 5.2 Konvergenzanalyse.- 5.2.1 Der eindimensionale Fall — Energiefunktion.- 5.2.2 Mehrdimensionaler Fall.- 5.2.3 Unüberwachtes Lernen als Minimierungsaufgabe.- 5.2.4 Beziehung zum Perzeptron-Lernen.- 5.2.5 Stabilität der Lösungen.- 5.3 Hauptkomponentenanalyse.- 5.3.1 Unüberwachtes Lernen mit Verstärkung.- 5.3.2 Konvergenz des Lernalgorithmus.- 5.3.3 Bestimmung zusätzlicher Hauptkomponenten.- 5.4 Beispiele.- 5.4.1 Mustererkennung.- 5.4.2 Selbstorganisation im menschlichen Gehirn.- 5.5 Historische Anmerkungen.- 6 Netze mit mehreren Schichten.- 6.1 Struktur und geometrische Visualisierung.- 6.1.1 Netzarchitekturen.- 6.1.2 Das XOR-Problem.- 6.1.3 Geometrische Visualisierung.- 6.2 Regionen im Eingabe- und Gewichteraum.- 6.2.1 Gewichteraumregionen für das XOR-Problem.- 6.2.2 Bipolarvektoren.- 6.2.3 Projektion der Lösungsregionen auf die Ebene.- 6.2.4 Geometrische Interpretation.- 6.3 Regionen für komplexere Netze.- 6.3.1 Regionen im Gewichteraum des XOR-Problems.- 6.3.2 Anzahl der Regionen im Allgemeinen.- 6.3.3 Konsequenzen.- 6.3.4 Die Vapnik-Chervonenkis-Dimension.- 6.3.5 Die Frage der lokalen Minima.- 6.4 Historische Anmerkungen.- 7 Der Backpropagation-Algorithmus.- 7.1 Lernen in Backpropagation-Netzen.- 7.1.1 Gradientenabstiegsverfahren.- 7.1.2 Differenzierbare Aktivierungsfunktionen.- 7.1.3 Regionen im Eingaberaum.- 7.1.4 Entstehung von lokalen Minima.- 7.2 Backpropagation in Funktionennetzen.- 7.2.1 Das Lernproblem.- 7.2.2 Berechnungen in einem Backpropagation-Netz.- 7.2.3 Die Kettenregel.- 7.2.4 Parallelschaltungen.- 7.2.5 Gewichtete Kanten.- 7.2.6 Die Fehlerfunktion.- 7.3 Lernen mit Backpropagation.- 7.3.1 Schritte des Algorithmus.- 7.3.2 Backpropagation in Matrixform.- 7.3.3 Backpropagation als lokale Informationsverarbeitung.- 7.3.4 Die Form der Fehlerfunktion für das XOR-Problem.- 7.3.5 Varianten des Backpropagation-Verfahrens.- 7.4 Historische Anmerkungen.- II: Theoretische Analyse.- 8 Backpropagation und statistische Regression.- 8.1 Statistische Funktionsanpassung.- 8.1.1 Annäherung versus Verallgemeinerung.- 8.1.2 Der lineare Assoziator.- 8.1.3 Lineare Regression.- 8.2 Nichtlineare Regression.- 8.2.1 Form der Ausgabefunktion.- 8.2.2 Die Logit-Transformation.- 8.2.3 Logistische Regression.- 8.3 Backpropagation in komplexen Netzen.- 8.3.1 Regression in einem Backpropagation-Netzwerk.- 8.3.2 Visualisierung der Lösungs-Regionen.- 8.3.3 Form der Fehlerfunktion.- 8.4 Regression in mehrschichtigen Netzen.- 8.4.1 Die Rolle der verborgenen Schicht.- 8.4.2 Tragweite der Nichtlinearität.- 8.4.3 Matrixinversion durch Backpropagation.- 8.5 Anwendungen.- 8.5.1 Die Lernmatrix.- 8.5.2 Datencodierung und Datenkompression.- 8.5.3 NETtalk.- 8.5.4 Prognose von Zeitreihen.- 8.6 Historische Anmerkungen.- 9 Die Komplexität des Lernens.- 9.1 Funktionen als Netze.- 9.1.1 Lernalgorithmen für mehrschichtige Netze.- 9.1.2 Hilberts Dreizehntes Problem.- 9.1.3 Der Satz von Kolmogorov.- 9.2 Funktionsannäherung.- 9.2.1 Der eindimensionale Fall.- 9.2.2 Der mehrdimensionale Fall.- 9.3 Komplexität von Lernproblemen.- 9.3.1 Das Lernproblem für neuronale Netze.- 9.3.2 Komplexitätsklassen.- 9.3.3 NP-vollständige Lernprobleme.- 9.3.4 Komplexität des Lernens bei AND-OR-Netzen.- 9.3.5 Vereinfachungen der Netzarchitektur — der Kortex.- 9.3.6 Lernen mit Hinweisen.- 9.4 Historische Anmerkungen.- 10 Fuzzy-Logik und neuronale Netze.- 10.1 Fuzzy-Mengen und Fuzzy-Logik.- 10.1.1 Unscharfe Daten und Regeln.- 10.1.2 Der Begriff der unscharfen Mengen.- 10.1.3 Geometrische Darstellung von unscharfen Mengen.- 10.1.4 Mengenlehre, logische Operatoren und Geometrie.- 10.1.5 Familien von Fuzzy-Operatoren.- 10.2 Berechnung von Fuzzy-Inferenzen.- 10.2.1 Unscharfes Schließen.- 10.2.2 Unscharfe Zahlen und inverse Operation.- 10.3 Kontrolle mit Fuzzy-Systemen.- 10.3.1 Fuzzy-Regler.- 10.3.2 Fuzzy-Netze.- 10.3.3 Funktionsapproximation mit Fuzzy-Methoden.- 10.3.4 Das Auge als fuzzifier — Farbensehen..- 10.4 Historische Anmerkungen.- III: Rekursive Netze.- 11 Assoziativspeicher.- 11.1 Grundlagen der assoziativen Speicherung.- 11.1.1 Rekursive Netze.- 11.1.2 Klassen von Assoziativspeichern.- 11.1.3 Struktur des Assoziativspeichers.- 11.1.4 Die Eigenvektorenmaschine.- 11.1.5 Bipolarvektoren und die Vorzeichen-Funktion.- 11.2 Lernen in Assoziativspeichern.- 11.2.1 Hebbian-Learning — Die Korrelationsmatrix.- 11.2.2 Geometrische Deutung der Hebb-Regel.- 11.2.3 Netze als dynamische Systeme — Resultate.- 11.3 Die Pseudoinverse.- 11.3.1 Orthogonale Projektionen.- 11.3.2 Eigenschaften der Pseudoinversen — Berechnung.- 11.3.3 Holographische Speicher.- 11.4 Historische Anmerkungen.- 12 Das Hopfield-Modell.- 12.1 Synchrone und asynchrone Netze.- 12.1.1 Rekursive Netze mit stochastischer Aktivierung.- 12.1.2 Der bidirektionale Assoziativspeicher.- 12.1.3 Definition der Energiefunktion.- 12.2 Definition der Hopfield-Netze.- 12.2.1 Asynchrone Netze.- 12.2.2 Der Ansatz von Hopfield.- 12.2.3 Isomorphie zwischen Hopfield- und Ising-Modell.- 12.3 Konvergenz des Modells.- 12.3.1 Dynamik des Hopfield-Netzes.- 12.3.2 Konvergenzanalyse.- 12.3.3 Die Hebb-Regel.- 12.4 Äquivalenz des Lernverfahrens mit Perzeptron-Lernen.- 12.4.1 Perzeptron-Lernen bei Hopfield-Netzen.- 12.4.2 Komplexität des Lernens bei Hopfield-Modellen.- 12.5 Historische Anmerkungen.- 13 Kombinatorische Optimierung und Parallelität.- 13.1 Parallele Algorithmen.- 13.1.1 NP-vollständige Probleme.- 13.1.2 Das Multi-Flop-Problem.- 13.1.3 Das Acht-Türme-Problem.- 13.1.4 Das Acht-Damen-Problem.- 13.1.5 Das Problem des Handlungsreisenden.- 13.2 Theoretische Betrachtungen.- 13.2.1 Die Klasse co-NP.- 13.2.2 Die Grenzen von Hopfield-Netzen.- 13.3 Implementierung des Hopfield-Netzes.- 13.3.1 Elektrische Realisierung.- 13.3.2 Optische Realisierung.- 13.4 Historische Anmerkungen.- 14 Stochastische Netze.- 14.1 Varianten des Hopfield-Modells.- 14.1.1 Beschränkungen des Standardmodells.- 14.1.2 Das Hopfield-Modell mit stetiger Aktivierungsfunktion.- 14.2 Stochastische Algorithmen und Systeme.- 14.2.1 Simulated Annealing.- 14.2.2 Stochastische neuronale Netze.- 14.2.3 Markov-Ketten.- 14.2.4 Die Boltzmann-Verteilung.- 14.2.5 Physikalische Bedeutung der Boltzmann-Verteilung.- 14.3 Lernverfahren und Anwendungen.- 14.3.1 Lernen in Boltzmann-Maschinen.- 14.3.2 Anwendungen in der kombinatorischen Optimierung.- 14.4 Historische Anmerkungen.- IV: Selbstorganisation und Neurohardware.- 15 Kohonens topologieerhaltende Abbildungen.- 15.1 Selbstorganisation.- 15.1.1 Kartierung des Eingaberaums.- 15.1.2 Sensorische Karten im Gehirn.- 15.2 Kohonens Modell.- 15.2.1 Der Lernalgorithmus.- 15.2.2 Projektion auf niedrigere Dimensionen.- 15.3 Konvergenzanalyse.- 15.3.1 Potentialfunktion — Eindimensionaler Fall.- 15.3.2 Zweidimensionaler Fall.- 15.3.3 Auswirkung der Nachbarschaft eines Neurons.- 15.4 Anwendungen.- 15.4.1 Kartierung von Funktionen.- 15.4.2 Kartierung von Räumen.- 15.4.3 Automatische Anpassung an Hindernisse.- 15.5 Historische Anmerkungen.- 16 Hybride Modelle.- 16.1 Netzkombinationen.- 16.1.1 Die Grossberg-Schicht.- 16.1.2 ART-Architekturen.- 16.2 Netze mit einer Kohonen-Schicht.- 16.2.1 Counterpropagation-Netz.- 16.2.2 Kohonen-Schicht und lineare Assoziatoren.- 16.2.3 Radiale Funktionen.- 16.2.4 Wechselwirkung zwischen Schichten.- 16.3 Historische Anmerkungen.- 17 Genetische Algorithmen.- 17.1 Codierung und Operatoren.- 17.1.1 Optimierung durch Evolutionsstrategien.- 17.1.2 Methoden der stochastischen Optimierung.- 17.1.3 Genetische Codierung.- 17.1.4 Informationsaustausch durch genetische Operatoren.- 17.2 Eigenschaften von genetischen Algorithmen.- 17.2.1 Konvergenzanalyse.- 17.2.2 Genetisches Driften.- 17.2.3 Gradientenmethoden versus genetische Algorithmen.- 17.3 Optimierung von Funktionen.- 17.3.1 Genetische Algorithmen für neuronale Netze.- 17.3.2 Andere Anwendungen von genetischen Algorithmen.- 17.4 Historische Anmerkungen.- 18 Hardware für neuronale Netze.- 18.1 Klassen von Neurohardware.- 18.1.1 Implementierung künstlicher neuronaler Netze.- 18.1.2 Taxonomie der Hardwarearchitekturen.- 18.2 Neuronale Netze in Analog-Technik.- 18.2.1 Codierung der Signale.- 18.2.2 VLSI-Transistor-Schaltungen.- 18.2.3 Transistoren mit eingebautem Ladungsspeicher.- 18.2.4 Pulsierende CCD-Schaltungen.- 18.3 Der digitale Ansatz.- 18.3.1 Analog versus Digital.- 18.3.2 Numerische Darstellung der Netzparameter und Signale.- 18.3.3 Vektor- und Signalprozessoren.- 18.3.4 Systolische Felder.- 18.3.5 Eindimensionale Strukturen.- 18.4 Innovative Rechnerarchitekturen.- 18.4.1 VLSI-Mikroprozessoren für neuronale Netze.- 18.4.2 Optische Rechner.- 18.4.3 Pulscodierte Netze.- 18.5 Historische Anmerkungen.