Ein Handbuch zur Migration von parallelen Webcrawlern

ISBN-13: 9786205058633 / Miękka / 260 str.

Md. Faizan Farooqui; Mohd. Muqeem

Opis

Die Größe des Internets ist groß und es ist enorm gewachsen, Suchmaschinen sind die Werkzeuge für die Navigation und Suche auf Webseiten. Suchmaschinen führen Indizes für Webdokumente und bieten Suchmöglichkeiten durch kontinuierliches Herunterladen von Webseiten zur Verarbeitung. Dieser Prozess des Herunterladens von Webseiten wird als Web-Crawling bezeichnet. In diesem Buch wird eine Architektur für einen effektiven migrierenden parallelen Web-Crawling-Ansatz mit domänenspezifischer und inkrementeller Crawling-Strategie vorgeschlagen. Die Hauptvorteile des parallelen Web-Crawlers bestehen darin, dass der Analyseteil des Crawling-Prozesses lokal am Aufenthaltsort der Daten und nicht im Repository der Web-Suchmaschine durchgeführt wird. Dies reduziert die Netzwerklast und den Datenverkehr erheblich, was wiederum die Leistung, Effektivität und Effizienz des Crawling-Prozesses verbessert. Ein weiterer Vorteil der Migration eines parallelen Crawlers ist, dass mit zunehmender Größe des Webs die Parallelisierung eines Crawling-Prozesses notwendig wird, um das Herunterladen von Webseiten in vergleichsweise kürzerer Zeit zu beenden. Domänenspezifisches Crawling wird qualitativ hochwertige Seiten liefern.

O autorze

Dr. Md. Faizan Farooqui hat MCA, M.Tech, Ph.D absolviert und arbeitet als außerordentlicher Professor an der Abteilung für Computeranwendungen der Integral University, Lucknow, Indien. Er hat insgesamt mehr als 18 Jahre Erfahrung auf dem Gebiet der akademischen Lehre. Er ist aktiv in der Forschung tätig und hat Beiträge in renommierten Fachzeitschriften veröffentlicht und ist Mitglied verschiedener Berufsverbände.