Effiziente Datendeduplizierung in Hadoop [German]

By Priteshkumar Prajapati and Parth Shah

Hadoop wird h ufig f r die Speicherung massiv verteilter Daten verwendet. Obwohl es sehr fehlertolerant und skalierbar ist und auf handels blicher Hardware l uft, bietet es keine effiziente und optimierte Datenspeicherl sung. Wenn Benutzer Dateien mit identischem Inhalt in Hadoop hochladen, werden alle Dateien im HDFS (Hadoop Distributed File System) gespeichert, auch wenn der Inhalt identisch ist, was zu einer Duplizierung des Inhalts und damit zu einer Verschwendung von Speicherplatz f hrt. Datendeduplizierung ist ein Prozess zur Reduzierung der erforderlichen Speicherkapazit t, da nur die eindeutigen Dateninstanzen gespeichert werden. Der Prozess der Datendeduplizierung wird h ufig in Dateiservern, Datenbankmanagementsystemen, Backup-Speichern und vielen anderen Speicherl sungen eingesetzt. Eine geeignete Deduplizierungsstrategie nutzt den Speicherplatz auf den begrenzten Speicherger ten ausreichend aus. Hadoop bietet keine L sung zur Datendeduplizierung. In dieser Arbeit wurde das Modul zur Deduplizierung in das Hadoop-Framework integriert, um eine optimierte Datenspeicherung zu erreichen.

• Format: Paperback
• Language: German
• ISBN: 6202087269
• ISBN13: 9786202087261
• Release Date: September 2025
• Publisher: Verlag Unser Wissen
• Length: 76 Pages
• Weight: 0.25 lbs.
• Dimensions: 0.2" x 6.0" x 9.0"