Konnektionismus: Von Neuronalen Netzwerken Zu Einer "Natürlichen" KI

ISBN-13: 9783519024552 / Niemiecki / Miękka / 1991 / 448 str.

Georg Dorffner

Opis

'Konnektionismus' - ein fur den Laien wahrscheinlich inhaltsleeres Wort. Noch. Denn unter Informatikern, Psychologen, Philosophen und Kog nitionsforschern wird dieser Begriff bereits mehr und mehr zum Schlagwort und steht dort fur eine faszinierende und immer popularer werdende neue Forschungsrichtung der kunstlichen Intelligenz (bzw. Artificial Intelligence oder Al). l Dabei wird versucht, zur Nachbildung von intelligenten und kognitiven Handlungen auf Maschinen nicht vom bisher ublichen Aufbau von Com putern auszugehen, sondern stattdessen von Modellen, die einige wichtige An leihen an der Funktionsweise des menschlichen Gehirns nehmen - passender weise neuronale Netzwerke genannt. Sie sind kein Versuch, wirklich das Gehirn nachzubauen - dafur hat man in dieses auch noch viel zu wenig Einblic- aber es ist eine entscheidende, um nicht zu sagen vielleicht revolutionare Al ternative, einen Modellansatz fur wesentliche Aspekte intelligenten Handeins zu entwerfen. In diesem Sinne konnte der Konnektionismus die Artificial In telligence nachhaltig beeinflussen. Dieses Buch versucht, in die Grundbegriffe des Konnektionismus einzufuhren und mit dessen Hilfe eine neue Form der Artificial Intelligence, die nach Ideen von Hofstadter und Smolensky so benannte sub-symbolische AI, zu for mulieren. Wesentliches Merkmal dieser Form von Artificial Intelligence ist, dass sie zunachst von der ModelIierung von unbewussten, assoziativen oder in tuitiven Vorgangen ausgeht. Symbolisches Denken, Schlussfolgern und Anwen den von Regeln spielen nach wie vor eine wesentliche Rolle, mussen aber in den Mechanismus der assoziativen Vorgange eingebettet se

Spis treści

1 Von der klassischen AI zum Konnektionismus.- 1.1 Allgemeines.- 1.2 Die Annahmen der AI.- 1.2.1 Hintergründe der Physical Symbol System Hypothesis.- 1.2.1.1 Erklärbarkeit der Modelle.- 1.2.1.2 Die Church-Turing These.- 1.2.1.3 Prozeßstrukturen auf Makroebene.- 1.3 Ebenen kognitiver Prozesse.- 2 Konnektionismus — eine Einführung.- 2.1 Allgemeines.- 2.1.1 Das XOR-Netz.- 2.2 Repräsentation — die klassische Unterscheidung.- 2.3 “Programmieren” von konnektionistischen Netzwerken.- 2.3.1 Prinzipien des konnektionistischen Lernens.- 2.3.1.1 Das Hebb’sche Prinzip.- 2.3.1.2 Erweiterung der Hebb’schen Regel.- 2.3.1.3 Von der Delta Rule zur Backpropagation.- 2.4 Netzwerkgrundtypen.- 2.4.1 Feedforward-Verbindungen zwischen Layern.- 2.4.1.1 Assoziationsnetzwerke (Pattern Associators).- 2.4.1.2 Einige Beispiele.- Das Erlernen der XOR-Funktion.- NetTalk und NETZSPRECH.- Das Erlernen von Past Tense Formen im Englischen.- 2.4.1.3 Bidirektionale Assoziation (BAM).- 2.4.2 Vollverbindungen innerhalb eines Layers.- 2.4.2.1 Interactive Activation.- 2.4.2.2 Hopfield Netze.- 2.4.3 Andere Grundtypen.- 2.4.3.1 Partielle Verbindungen.- 2.4.3.2 Eins-zu-Eins Verbindungen.- 2.4.4 Zusammengesetzte Netzwerkmodelle.- 2.4.4.1 Competitive Learning.- 2.4.4.2 Counterpropagation.- 2.4.4.3 Topological Feature Maps.- 2.4.4.4 Adaptive Resonance Theory (ART).- 2.4.4.5 Rekurrente Feedforward-Netzwerke.- 2.4.5 Stochastische Modelle.- 2.4.6 Netzwerke höherer Ordnung.- 2.4.7 Klassifikation von Netzwerkgrundtypen.- 2.5 Aspekte von konnektionistischen Modellen.- 2.5.1 Parallelität und Verteiltheit.- 2.5.2 Adressierbarkeit anhand des Inhalts.- 2.5.3 Constraint Satisfaction.- 3 Neuronale Netzwerke — Eine nähere Betrachtung.- 3.1 Ein mathematischer Abriß der Aktivierungsausbreitung (Update).- 3.1.1 Update im assoziativen Netz.- 3.1.1.1 Lineare Abhängigkeiten.- 3.1.1.2 Vektorähnlichkeit und Netzwerkantwort.- 3.1.1.3 Hidden Units und lineare Trennbarkeit.- 3.1.1.4 Partielle Verbindungen.- 3.1.2 Die Kombination von Assoziation und WTA.- 3.1.3 Update mit Vollverbindungen.- 3.1.3.1 Die Möglichkeiten der Kompetition.- 3.1.3.2 Stabilität und Liapunov-Funktionen.- 3.1.4 Stochastisches Update.- 3.2 Ein mathematischer Abriß der Lernregeln.- 3.2.1 Die Grenzen der Hebb’schen Regel.- 3.2.2 Das Wesen der Delta-Regel.- 3.2.3 Backpropagation als Optimierungsvorgang.- 3.2.4 Lernen mit Vollverbindungen.- 3.2.5 Stochastisches Lernen.- 3.2.6 Zusammenfassung.- 3.3 Verteilte Aktivierungsmuster.- 3.3.1 Die Bedeutung verteilter Aktivierungsmuster.- 3.3.2 Features und Microfeatures.- 3.3.3 Coarse Coding.- 3.3.4 Conjunctive Coding.- 3.3.5 Zufälliger m aus n Code.- 3.3.6 Selbstorganisation.- 4 Das Sub-Symbolische Paradigma.- 4.1 Von Hofstadter zu Smolensky.- 4.2 Die Gebirgsanalogie.- 4.3 Die symbolische Annäherung.- 4.4 Als Beispiel: Buchstabenerkennung.- 4.4.1 Features ersetzen den vollständigen Zustand.- 4.4.2 Zwischenzustände und Kontext.- 4.4.3 Der Versuch der symbolischen Annäherung und die sub-symbolische Antwort.- 4.5 Die Gegenprobe: identifizierbare Features.- 4.6 Die konnektionistische Version des Sub-symbolischen Paradigmas.- 5 Repräsentation und Selbstorganisation.- 5.1 Allgemeines.- 5.2 Symbolische Repräsentation.- 5.3 Sub-symbolische Repräsentation.- 5.4 Die Notwendigkeit eines Interpreters.- 5.5 Was aber passiert in Hidden Units?.- 5.6 Warum wurde Repräsentation als so wichtig eingeschätzt?.- 5.7 Kognitive Modelle ohne Repräsentation? — Das Tower-Bridge Bild.- 5.7.1 Repräsentation auf Metaebene.- 5.7.2 Repräsentationsfreie konnektionistische Modelle.- 5.8 Sub-Symbolische Repräsentation — Das ‘Binding Problem’.- 5.8.1 Die Tensor-Produkt Repräsentation.- 5.8.2 Binding Problem: Fragen und Beobachtungen.- 5.8.3 Kompositionalität.- 6 Symbole in sub-symbolischen Modellen.- 6.1 Allgemeines.- 6.2 Symbole und Informationstheorie.- 6.3 Die Rolle symbolischer Muster.- 6.4 Darstellung von Symbolen in konnektionistischen Netzwerken.- 6.4.1 Lokale Realisierung.- 6.4.2 Lokale Realisierung externer Darstellungen.- 6.4.3 Verteilte Realisierung von Symbolen.- 6.4.4 Verteilte Realisierung von externen Darstellungen — “Symbols among the Neurons”.- 6.4.5 Strukturierte Symbole.- 6.5 Ein Modellansatz für repräsentationsfreie interne Symbole.- 6.5.1 Symbol Units.- 6.5.2 Die Phasen der Referenzbildung.- 6.6 Zusammenfassung.- 7 Regeln und sub-symbolische AI.- 7.1 Allgemeines.- 7.2 Transformationsregeln.- 7.2.1 Distributed (Soft) Rules.- 7.2.2 NETZSPRECH als ein verteiltes “Regel”-System.- 7.2.2.1 Kontexteinflüsse.- 7.2.2.2 Lernen anhand der gegebenen Umwelt.- 7.2.2.3 Robustheit und Fehlertoleranz.- 7.2.3 Das Past-Tense Modell als “System of Soft Rules”.- 7.2.4 Regelfolgend vs. regelbeherrscht.- 7.2.5 Inhaltsblinde Regeln.- 7.2.5.1 Das Copy-Problem.- 7.2.5.2 Copy und Binding Problems vereint.- 7.3 Definitionsregeln: Am Beispiel Sprache.- 7.3.1 Assoziative Analyse von Mustersequenzen.- 7.3.1.1 Das Modell von Jordan.- 7.3.1.2 Selbstorganisierende Sequenzendetektoren.- 7.3.2 Sequenzen und zeitliche Erwartungen.- 7.3.3 Rekursionen.- 7.4 Zusammenfassung.- 8 Lernen.- 8.1 Was ist Lernen?.- 8.2 Lernen vom Hebb-Typus.- 8.2.1 LTM vs. STM.- 8.2.2 Lernen als statistischer Vorgang.- 8.2.3 supervised vs. unsupervised.- 8.2.3.1 Arten von Lehrern.- 8.2.3.2 Lernen und Repräsentation.- 8.2.4 Lernen über den CRI.- 8.2.5 Architektur- und Strukturlernen.- 8.3 Verlernen.- 8.4 Zusammenfassung.- 9 Zufälligkeit.- 9.1 Die Bedeutung stochastischer Komponenten.- 9.2 Pseudo-Zufälligkeit.- 10 Feedbacks, Motivation und aktive Systemkomponenten.- 10.1 Weg vom Stimulus-Response System.- 10.1.1 Feedback-Schleifen.- 10.1.2 Interner Kontext.- 10.1.3 Motivationen und Antriebe.- 10.1.4 Selbsterhaltende (autonome) Systeme.- 10.1.5 Interne Reflexionen und der CRI.- 10.2 Radikaler Konstruktivismus und sub-symbolische AI.- 10.3 Offene Fragen.- 11 Modelle der Perzeption.- 11.1 Allgemeines.- 11.2 Merkmale perzeptorischer Vorgänge.- 11.3 Akustische Spracherkennung (Speech Recognition).- 11.3.1 Vielfalt und Kontext.- 11.3.2 Segmentierung und Phoneme.- 11.3.3 Sequentialität und Zeitverhalten.- 11.3.3.1 Konnektionistische Ansätze zur Verarbeitung spatiotemporaler Inputs.- 11.3.4 Erwartungen und zeitlicher Kontext.- 11.3.5 Weitere Beispiele.- 11.3.5.1 Das TRACE Modell.- 11.3.5.2 Phonotopic maps.- 11.3.5.3 Modulares Erkennen und “connectionist glue”.- 11.4 Visuelle Mustererkennung — Vision.- 11.4.1 Invarianzen.- 11.4.2 Andere subjektive Ähnlichkeiten.- 11.4.3 Erweiterte Netzwerkarchitekturen zur Mustererkennung.- 11.4.3.1 Nachbarschaftsbeziehungen.- 11.4.3.2 Featuredetektoren.- 11.4.3.3 Rezeptive Felder.- 11.4.4 Das Neocognitron.- 11.4.5 Visuelle Filterfunktionen.- 11.4.5.1 Zentrieren von Mustern.- 11.4.5.2 Focus of Attention.- 11.4.5.3 Abheben vom Hintergrund.- 11.4.5.4 Habituation.- 11.4.6 Sequentielle Erkennung und Gestaltphänomene.- 11.5 Zusammenfassung.- 12 Kategorisierung und Konzeptualisierung.- 12.1 Allgemeines.- 12.2 Menschliche Kategorisierung und Implikationen daraus.- 12.2.1 Allgemeines.- 12.2.1 Bottom-Up und Top-Down Komponenten der Kategorisierung.- 12.3 Kategorien und Bildung von Konzepten im sub-symbolischen Wissen.- 12.3.1 Verteilte Repräsentation von Konzepten.- 12.3.2 Ein konnektionistisches Modell der Konzeptbildung.- 12.3.2.1 C-Layers und ihre Funktion.- 12.3.2.2 Die Leistungen des Modells.- 12.3.3 Hierarchien von Konzepten.- 12.3.3.1 Basic-Level Kategorien.- 12.3.3.2 Aus verteilt mach lokal.- 12.3.3.3 Natürliche und künstliche Hierarchien.- 12.3.3.4 Die sub-symbolische “Vererbung”.- 12.3.3.5 Zusammenfassung.- 12.3.4 Merkmale (Features) und Konzepte verschiedener Komplexität.- 12.4 Struktur und das Binding Problem.- 12.4.1 Die Bindingvektor-Repräsentation.- 12.4.1.1 Überlagerung.- 12.4.1.2 Ein Beispiel.- 12.4.1.3 Schlußfolgerung.- 12.5 Modularität, Rekrutierung und Resonanz.- 12.6 Schemata.- 13 Sprachverarbeitung.- 13.1 Klassische Modelle und deren Grenzen.- 13.2 Eine sub-symbolische Sicht.- 13.2.1 Wörter und ihre Bedeutung.- 13.2.2 “syntaktische” Struktur.- 13.2.3 Fixes Sprachsystem als Illusion und Wirklichkeit.- 13.2.4 “Universalgrammatik”.- 13.3 Andere konnektionistische Systeme zum Thema Sprache.- 13.3.1 Konnektionistische Parser.- 13.3.2 Andere strukturierte Modelle.- 13.3.3 Verteilte assoziative Modelle.- 13.3.4 Selbstorganisierende Modelle.- 14 Expertensysteme und Logik in der sub-symbolischen AI.- 14.1 Menschliche Expertise, IP und CRI.- 14.2 Produktionensysteme und neuronale Netzwerke.- 14.3 Die Kritiken Dreyfus’.- 14.4 Die Rolle der Logik.- 15 Eine kritische Zusammenfassung.- 15.1 Allgemeines.- 15.2 Die “Symbol Wars”.- 15.2.1 Fodor & Pylyshyn.- 15.2.2 Pinker & Prince.- 15.2.3 Andere Kritiken.- 15.3 Die Grenzen des sub-symbolischen Ansatzes.- 15.3.1 Modelldimensionen.- 15.3.2 Erlernbarkeit.- 15.3.3 Sub-symbolische AI und Evolution.- 15.3.4 Hybride Systeme.- 15.3.5 Der Conscious Rule Interpreter.- 15.3.6 Wohin führt das?.- 15.4 Konklusion (ein Versuch).- Literatur.