Paralleler K-Means-Algorithmus basierend auf Hadoop-MapReduce für Data Mining

ISBN-13: 9786209134555 / Niemiecki / Miękka / 2025 / 60 str.

Lays Helena Lopes Veloso; Luciano José Senger

Opis

Ziel dieser Arbeit war es, die Verwendung eines parallelen K-Means-Clustering-Algorithmus auf Basis des MapReduce-Programmiermodells zu untersuchen, um die Reaktionszeit beim Data Mining zu verbessern. Die Leistung des Algorithmus wurde hinsichtlich SpeedUp und ScaleUp bewertet. Zu diesem Zweck wurden Experimente in einem Hadoop-Cluster durchgeführt, der aus sechs Computern mit handelsüblicher Hardware bestand. Die gruppierten Daten sind Messungen von Strömungstürmen in landwirtschaftlichen Regionen und stammen von Ameriflux. Die Experimente wurden mit 3, 4 bzw. 6 Maschinen durchgeführt. Die Ergebnisse zeigten, dass mit der Erhöhung der Anzahl der Maschinen eine Leistungssteigerung erzielt wurde, wobei die beste Zeit mit sechs Maschinen erreicht wurde und ein SpeedUp von 3,25 erzielt wurde. Es wurde festgestellt, dass die Anwendung mit der entsprechenden Erhöhung der Datenmenge und der Anzahl der Maschinen im Cluster gut skaliert und in den Tests eine ähnliche Leistung erzielt.