Einführung in Die Mathematischen Grundlagen Der Informationstheorie

ISBN-13: 9783540046332 / Niemiecki / Miękka / 1969 / 120 str.

Ernst Schultze

Opis

Die Fragestellungen der Informationstheorieentstammen der Nachrichten technik. Die heutige Nachrichtentechnik kennt die verschiedenartigsten Uebertragungssysteme (Telefon, Fernschreiber, Radio, Fernsehen, usw.). Sie haben aber aIle das folgende allgemeine Schema der Nachrichtentiber tragung gemeinsam: Kodleruno O.kodl.runo Nachrlcht.n- Ueb.rtraounOI- Nachricht- bzw. bzw. - quell. kanal s.nk. odulation O odulatlon Storunoen I.B. Rausch.n Dieses Schema widerspiegelt die yom Standpunkt der Theorie her wesent lichen Bestandteile einer Nachrichtentibertragung. Es bildet den Rahmen der Informationstheorie im engeren Sinne, d.h. der Theorie der Uebertragung von Nachrichten. Zu dieser Theorie gehort vor allem die Aufgabe, das Wesen der Information zu klaren und die Information quantitativ zu er fassen, um damit eine mathematische Behandlung des obigen Schemas zu ermoglichen. Erste Versuche in dieser Richtung wurden von Hartley 1928 unternommen. Von einer eigentlichen Theorie der Nachrichtentibertragung kann jedoch erst .ait dem Erscheinen der Arbeiten von Shannon 1948 gesprochen werden. Shannon gilt als der eigentliche Begrtinder der Intormationstheorie. Der Grundgedanke der Informationstheorie beruht auf dem Zusammenhang zwischen Information und Wahrscheinlichkeit: So, wie in der Wahrschein lichkeitsrechnung vor der Durchttihrung eines Versuchs Ungewissheit dartiber besteht, welches Ereignis eintreten wird, so ist auch der - 2 - Nachrichtenempfanger in Ungewissheit liber die Nachricht, die ein treffen wird. Dieser Zusammenhang gestattet es, die Erzeugung von Information in einer Nachrichtenquelle flir einen Nachrichtenempfanger als einen zufalligen Prozess aufzufassen."

Spis treści

1. Die Entropie des endlichen Wahrscheinlichkeitsfeldes.- 1.1. Definition und Eigenschaften der Entropie.- 1.1.1. Die Ungevissheit.- 1.1.2. Eigenschaften der Entropie.- 1.1.3. Beispiele.- 1.2. Entropie eines zusammengesetzten Wahrscheinlichkeitsfeldes. Bedingte Entropie.- 1.2.1. Bezeichnungen.- 1.2.2. Unabhängige Wahrscheinlichkeitsfelder.- 1.2.3. Abhängige Wahrscheinlichkeitsfelder.- 1.2.4. Entropieungleichungen.- 1.2.5. Umkehrung der Abhängigkeit.- 1.3. Die Synentropie zweier Wahrscheinlichkeitsfelder.- 1.3.1. Definition und Interpretation.- 1.3.2. Schranken.- 1.3.3. Beispiel und Aufgaben.- 1.4. Informationsgehalt.- 1.4.1. Informationsgehalt eines Wahrscheinlichkeitsfeldes.- 1.4.2. Informationsgehalt eines Elementarereignisses.- 1.4.3. Gegenseitiger Informationsgehalt zweier Elementarereignisse.- 1.5. Eindeutigkeitssatz der Entropie.- 2. Die diskrete Informationsquelle und ihre Kodierung.- 2.1. Beschreibung.- 2.2. Diskrete Informationsquelle ohne Gedächtnis.- 2.2.1. Beschreibung.- 2.2.2. Kodierung.- 2.2.3. Eindeutige Dekodierbarkeit.- 2.2.4. Kodierbaum.- 2.2.5. Ungleichung von Kraft.- 2.2.6. Mittlere Kodewortlänge.- 2.2.7. Optimaler Kode.- 2.2.8. Konstruktion eines optimalen Kodes nach Huffman.- 2.2.9. Kettchenkodierung.- 2.3. Informationsgehalt und Redundanz.- 2.4. Stationäre diskrete Informationsquelle mit Gedächtnis.- 2.4.1. Definition.- 2.4.2. Entropie der stationären Informationsquelle.- 2.4.3. Informationsgehalt.- 2.5. Beispiele diskreter Informationsquellen.- 2.5.1. Allgemeine stationäre Quelle 2. Ordnung mit 2 Symbolen.- 2.5.2. “Künstliche” Schriftsprache.- 2.5.3. Die natürliche Schriftsprache.- 3. Diskreter Uebertragungskanal mit Störungen.- 3.1. Einführung.- 3.2. Definition des diskreten stationären Kanals.- 3.3. Kanalkapazität.- 3.3.1. Definition der Kanalkapazität.- 3.3.2. Die Kapazität des Kanals ohne Gedächtnis.- 3.3.3. Beispiele.- 3.4. Fundamentalsatz der Informationstheorie.- 3.4.1. Entstörung durch den “idealen Beobachter”.- 3.4.2. Kodierer zwischen Quelle und Kanal.- 3.4.3. Formulierung des Fundaraentalsatzes.- 3.4.4. Asymptotische Verteilung der Kettchen.- 3.4.5. Heuristischer Beweis des Fundamentalsatzes.