Informationstheorie Und Codierung

ISBN-13: 9783528030469 / Niemiecki / Miękka / 1990 / 199 str.

Otto Mildenberger

Opis

Die Informationstheorie gehOrt zu den Grundlagen fUr alle Wissenschaftsgebiete, die sich mit der Obertragung von Nachrichten und dei Verarbeitung von Informationen befassen. Ihre Geburtsstunde wird auf das Jahr 1948 dadiert, in dem C. E. Shannon seine grundlegenden Untersuchungen tiber das Wesen von Nachrichten veroffentlichte. In diesem Buch werden die auf den Gedanken von Shannon basierenden Grundla gen der Informationstheorie dargestellt und zusatzlich wichtige Teile der Codierungs theorie. Einige Codierungsmethoden, z.B. Verfahren zur Quellencodierung (Ab schnitt 5) sind ohne Kenntnisse aus der Informationstheorie tiberhaupt nicht zu ver stehen. Andere Teile der Codierungstheorie, z.B. Konstruktionsverfahren fUr fehler erkennende Codes (Abschnitt 6) sind weniger stark mit der Informationstheorie ver zahnt und konnen weitgehend eigenstandig behandelt werden. Bei dem vorliegenden Buch wird versucht mit moglichst geringen mathematischen Hilfsmitteln auszukommen. Vorausgesetzt werden neben Kenntnissen der hOheren Mathematik einige Grundlagen der Wahrscheinlichkeitsrechnung. Auf eine strenge mathematische BeweisfUhrung wird Mufig zugunsten von Plausibilitatserklarungen verzichtet. Viele Erklarungen und voll durchgerechnete Beispiele sollen zum Ver standnis des Stoffes beitragen. Das Buch ist als Begleitbuch zu Vorlesungen, beson ders aber auch ftir das Selbststudium konzipiert. Nach einem ganz kurzen einfiihrenden Abschnitt befaBt sich der Abschnitt 2 mit der Beschreibung diskreter Informationsquellen. Hier wird zunachst der Begriff des Entscheidungsgehaltes und des mittleren Informationsgehaltes (Entropie) eingefiihrt. Zum AbschluB des Abschnittes wird der InformationsfluB diskreter Informations quellen behandelt.

Spis treści

1 Einführung.- 1.1 Vorbemerkungen.- 1.2 Begriffe.- 2 Diskrete Informationsquellen.- 2.1 Die Informationsquelle.- 2.2 Der Entscheidungsgehalt.- 2.2.1 Die Definition und Interpretation des Informationsgehaltes.- 2.2.2 Einfache Beispiele.- 2.3 Der mittlere Informationsgehalt.- 2.3.1 Die Definition des mittleren Informationsgehaltes.- 2.3.2 Elementare Eigenschaften der Entropie.- 2.3.3 Beispiele.- 2.4 Verbundquellen und der Informationsfluß.- 2.4.1 Die Entropie einer Verbundquelle.- 2.4.2 Verbundquellen mit voneinander unabhängigen Teilquellen.- 2.4.3 Bedingte Entropien.- 2.4.4 Die Markoff’sche Entropie.- 2.4.5 Die hochwahrscheinlichen Wörter einer Quelle.- 2.4.6 Der Informationsfluß.- 3 Diskrete Übertragungskanäle.- 3.1 Die Entropien bei der Informationsübertragung.- 3.2 Beispiele für einfache Übertragungskanäle.- 3.2.1 Der symmetrisch gestörte Binärkanal.- 3.2.2 Der nicht symmetrisch gestörte Binärkanal.- 3.2.3 Der symmetrisch gestörte Binärkanal mit Auslöschungen.- 3.2.4 Der allgemeine symmetrisch gestörte Kanal.- 3.3 Die Reihenschaltung gestörter Kanäle.- 3.4 Die maximal erreichbare Transinformation.- 3.5 Die Kanalkapazität.- 3.5.1 Definition der Kanalkapazität.- 3.5.2 Der ideale Tiefpaß als Modell für den Übertragungskanal.- 3.5.3 Ein Hauptsatz der Informationstheorie.- 4 Kontinuierliche Informationsquellen und Kanäle.- 4.1 Vorbemerkungen.- 4.2 Zufällige Signale.- 4.2.1 Die Beschreibung von Zufallssignalen.- 4.2.2 Die mittlere Leistung.- 4.2.3 Autokorrelationsfunktion und spektrale Leistungsdichte.- 4.2.3.1 Autokorrelationsfunktionen.- 4.2.3.2 Die spektrale Leistungsdichte.- 4.3 Die Entropie kontinuierlicher Quellen.- 4.3.1 Die differentielle Entropie.- 4.3.2 Eigenschaften der differentiellen Entropie und Beispiele.- 4.3.2.1 Gleichverteilte Signale.- 4.3.2.2 Dreieckverteilte Signale.- 4.3.2.3 Normalverteilte Signale.- 4.3.2.4 Ein Vergleich der Ergebnisse.- 4.3.2.5 Ein Beweis für das Maximum der differentiellen Entropie.- 4.4 Kontinuierliche Kanäle.- 4.4.1 Die Transinformation.- 4.4.2 Die Kanalkapazität.- 4.4.2.1 Eine Ableitung der Shannon’schen Formel.- 4.4.2.2 Einige Schlußfolgerungen.- 4.4.2.3 Beispiele.- 5 Optimalcodes, Quellencodierung.- 5.1 Einführung.- 5.1.1 Begriffserklärung.- 5.1.2 Ein einführendes Beispiel.- 5.1.2.1 Die unmittelbare Codierung der Quellenzeichen.- 5.1.2.2 Die Codierung von Gruppen von Quellenzeichen.- 5.2 Grundlegende Sätze über Optimalcodes.- 5.2.1 Die Ungleichung von Kraft.- 5.2.2 Untere und obere Grenzen für die mittleren Codewortlängen.- 5.2.2.1 Der Satz von Shannon.- 5.2.2.2 Ein Beweis des Satzes von Shannon.- 5.2.2.3 Möglichkeiten zur weiteren Verminderung der Codewortlängen.- 5.3 Konstruktionsverfahren für Optimalcodes.- 5.3.1 Der Shannon-Code.- 5.3.2 Der Fano-Code.- 5.3.3 Der Huffman-Code.- 6 Sicherung gegen Übertragungsfehler, Kanalcodierung.- 6.1 Probleme und Ziele.- 6.2 Grundlegende Begriffe und Prinzipien.- 6.2.1 Die geometrische Darstellung von Codes im n-dimensionalen Coderaum.- 6.2.2 Das Prinzip der Fehlererkennung und Fehlerkorrektur.- 6.2.2.1 Fehlererkennung.- 6.2.2.2 Fehlerkorrektur.- 6.2.2.3 Zusammenfassung der Ergebnisse.- 6.2.3 Codes mit Prüfstellen.- 6.2.3.1 Die einfache Paritätskontrolle.- 6.2.3.2 Eine Erweiterung der einfachen Paritätsprüfung durch die Einfügung von Prüfworten.- 6.2.3.3 Ein Beispiel für einen fehlerkorrigierenden Code.- 6.2.3.4 Die erforderliche Mindestzahl von Prüfstellen.- 6.2.4 Restfehlerwahrscheinlichkeiten.- 6.2.4.1 Die Fehlerverteilung in einem Codewort.- 6.2.4.2 Die Übertragungsfehlerwahrscheinlichkeit bei Fehlerkorrektur.- 6.2.4.3 Bemerkungen zu den Restfehlerwahrscheinlichkeiten bei Fehlererkennung.- 6.2.5 Ergänzende Bemerkungen.- 6.2.5.1 Mehrwertige Codes.- 6.2.5.2 Synchronisationsprobleme.- 6.2.5.3 Faltungscodes.- 6.3 Mathematische Grundlagen für die Konstruktion von Codes.- 6.3.1 Gruppe, Ring und Körper.- 6.3.1.1 Die Gruppe.- 6.3.1.2 Der Ring.- 6.3.1.3 Der Körper.- 6.3.2 Die modulo M Rechnung.- 6.3.3 Arithmetik im Galois-Feld GF(2).- 6.3.4 Polynome.- 6.3.4.1 Reduzible und nichtreduzible Polynome.- 6.3.4.2 Die Rechnung mit Polynomrestklassen.- 6.3.4.3 Zyklische Polynomreste.- 6.4 Die Konstruktion fehlerkorrigierender Codes.- 6.4.1 Vorbemerkungen.- 6.4.2 Die Konstruktion allgemeiner Gruppencodes.- 6.4.3 Systematische Codes.- 6.4.3.1 Die Generator- und die Kontrollmatrix.- 6.4.3.2 Die Erkennbarkeit von Fehlern.- 6.4.3.3 Zusammenfassung der Ergebnisse.- 6.4.3.4 Beispiele.- 6.5 Zyklische Codes.- 6.5.1 Eigenschaften und Konstruktion zyklischer Hamming-Codes.- 6.5.1.1 Die Generatormatrix.- 6.5.1.2 Die Ermittlung der Codeworte.- 6.5.1.3 Beispiele zur Berechnung der Codeworte.- 6.5.2 Zyklische Eigenschaften der Codeworte und das Prüfschema.- 6.5.2.1 Zyklische Eigenschaften.- 6.5.2.2 Das Prüfschema.- 6.5.3 Zusammenfassung.- 6.5.4 Bemerkungen zu BCH-Codes.- Verzeichnis der wichtigsten Formelzeichen.