Die 5 besten Tools zum Suchen und Löschen doppelter Dateien unter Linux

Die Organisation Ihres Home-Verzeichnisses oder sogar Ihres Systems kann besonders schwierig sein, wenn Sie die Gewohnheit haben, alle möglichen Dinge aus dem Internet mit Ihren Download-Managern herunterzuladen.

Oft stellen Sie fest, dass Sie dieselben mp3-, pdf- und epub-Dateien (und alle möglichen anderen Dateierweiterungen) heruntergeladen und in verschiedene Verzeichnisse kopiert haben. Dies kann dazu führen, dass Ihre Verzeichnisse mit allen möglichen nutzlosen Duplikaten überladen werden.

In diesem Tutorial erfahren Sie, wie Sie doppelte Dateien unter Linux mit den Befehlszeilentools rdfind, fdupes und rmlint sowie mit den GUI-Tools DupeGuru und FSlint finden und löschen.

Ein Hinweis zur Vorsicht: Seien Sie immer vorsichtig, was Sie auf Ihrem System löschen, da dies zu unerwünschtem Datenverlust führen kann. Wenn Sie ein neues Tool verwenden, probieren Sie es zuerst in einem Testverzeichnis aus, in dem das Löschen von Dateien kein Problem darstellt.

1. rdfind – Doppelte Dateien unter Linux finden

Rdfind stammt von redundant data find, einem kostenlosen Befehlszeilentool, das verwendet wird, um doppelte Dateien in oder innerhalb mehrerer Verzeichnisse zu finden. Es scannt rekursiv Verzeichnisse und identifiziert Dateien mit identischem Inhalt, sodass Sie geeignete Aktionen wie das Löschen oder Verschieben der Duplikate ergreifen können.

Rdfind verwendet einen Algorithmus, um die Dateien zu klassifizieren und erkennt, welche der Duplikate die Originaldatei ist, und betrachtet den Rest als Duplikate.

Die Regeln für die Rangfolge sind:

Wenn A beim Durchsuchen eines Eingabearguments vor B gefunden wurde, ist A höher eingestuft.
Wenn A in einer tieferen Tiefe als B gefunden wurde, ist A höher eingestuft.
Wenn A früher als B gefunden wurde, ist A höher eingestuft.

Die letzte Regel wird insbesondere dann verwendet, wenn sich zwei Dateien im selben Verzeichnis befinden.

Installieren Sie Rdfind unter Linux

Um rdfind unter Linux zu installieren, verwenden Sie den folgenden Befehl gemäß Ihrer Linux-Distribution.

$ sudo apt install rdfind         [On Debian, Ubuntu and Mint]
sudo yum install rdfind         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/rdfind  [On Gentoo Linux]
sudo apk add rdfind             [On Alpine Linux]
sudo pacman -S rdfind           [On Arch Linux]
sudo zypper install rdfind      [On OpenSUSE]

Um rdfind in einem Verzeichnis auszuführen, geben Sie einfach rdfind und das Zielverzeichnis ein.

$ rdfind /home/user

Wie Sie sehen können, speichert rdfind die Ergebnisse in einer Datei namens results.txt, die sich im selben Verzeichnis befindet, in dem Sie das Programm ausgeführt haben. Die Datei enthält alle doppelten Dateien, die rdfind gefunden hat. Sie können die Datei überprüfen und die doppelten Dateien manuell entfernen, wenn Sie möchten.

Eine andere Sache, die Sie tun können, ist die Verwendung von -dryrun, eine Option, die eine Liste von Duplikaten bereitstellt, ohne dass Sie etwas tun müssen:

$ rdfind -dryrun true /home/user

Wenn Sie die Duplikate gefunden haben, können Sie sie durch Hardlinks ersetzen.

$ rdfind -makehardlinks true /home/user

Und wenn Sie die Duplikate löschen möchten, können Sie ausführen.

$ rdfind -deleteduplicates true /home/user

Um andere nützliche Optionen von rdfind zu überprüfen, können Sie das rdfind-Handbuch verwenden.

$ man rdfind

2. Fdupes – Nach doppelten Dateien unter Linux suchen

Fdupes ist ein weiteres Befehlszeilenprogramm, mit dem Sie doppelte Dateien auf Ihrem System identifizieren können. Es durchsucht Verzeichnisse rekursiv und vergleicht Dateigrößen und Inhalte, um Duplikate zu identifizieren.

Es werden die folgenden Methoden verwendet, um doppelte Dateien zu bestimmen:

Vergleichen von partiellen md5sum-Signaturen
Vergleichen vollständiger md5sum-Signaturen
Überprüfung des Byte-für-Byte-Vergleichs

Genau wie rdfind hat es ähnliche Optionen:

Rekursiv suchen
Leere Dateien ausschließen
Zeigt die Größe doppelter Dateien an
Duplikate sofort löschen
Ausschließen von Dateien mit einem anderen Besitzer

Installieren Sie Fdupes unter Linux

Um fdupes unter Linux zu installieren, verwenden Sie den folgenden Befehl gemäß Ihrer Linux-Distribution.

$ sudo apt install fdupes         [On Debian, Ubuntu and Mint]
sudo yum install fdupes         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/fdupes  [On Gentoo Linux]
sudo apk add fdupes             [On Alpine Linux]
sudo pacman -S fdupes           [On Arch Linux]
sudo zypper install fdupes      [On OpenSUSE]

Die Syntax von Fdupes ähnelt der von rdfind. Geben Sie einfach den Befehl ein, gefolgt von dem Verzeichnis, das Sie scannen möchten.

$ fdupes <dir>

Um Dateien rekursiv zu durchsuchen, müssen Sie die Option -r wie diese angeben.

$ fdupes -r <dir>

Sie können auch mehrere Verzeichnisse angeben und ein Verzeichnis angeben, das rekursiv durchsucht werden soll.

$ fdupes <dir1> -r <dir2>

Um fdupes die Größe der doppelten Dateien berechnen zu lassen, verwenden Sie die Option -S.

$ fdupes -S <dir>

Um zusammengefasste Informationen über die gefundenen Dateien zu sammeln, verwenden Sie die Option -m.

$ fdupes -m <dir>

Wenn Sie schließlich alle Duplikate löschen möchten, verwenden Sie die Option -d wie diese.

$ fdupes -d <dir>

Fdupes fragt, welche der gefundenen Dateien gelöscht werden soll. Sie müssen die Dateinummer eingeben:

Eine Lösung, die definitiv nicht empfohlen wird, ist die Verwendung der Option -N, die dazu führt, dass nur die erste Datei beibehalten wird.

$ fdupes -dN <dir>

Um eine Liste der verfügbaren Optionen für die Verwendung mit fdupes zu erhalten, überprüfen Sie die Hilfeseite, indem Sie Folgendes ausführen.

$ fdupes -help

3. Rmlint – Doppelte Dateien entfernen

Rmlint ist ein Befehlszeilentool, das zum Suchen und Entfernen von doppelten und fusselartigen Dateien in Linux-Systemen verwendet wird. Es hilft bei der Identifizierung von Dateien mit identischem Inhalt sowie verschiedenen Formen von Redundanz oder Flusen, wie z. B. leeren Dateien, defekten symbolischen Links und verwaisten Dateien.

Installieren Sie Rmlint unter Linux

Um Rmlint unter Linux zu installieren, verwenden Sie den folgenden Befehl gemäß Ihrer Linux-Distribution.

$ sudo apt install rmlint         [On Debian, Ubuntu and Mint]
sudo yum install rmlint         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/rmlint  [On Gentoo Linux]
sudo apk add rmlint             [On Alpine Linux]
sudo pacman -S rmlint           [On Arch Linux]
sudo zypper install rmlint      [On OpenSUSE]

4. dupeGuru – Finde doppelte Dateien in einem Linux

dupeGuru ist ein Open-Source- und plattformübergreifendes Tool, mit dem doppelte Dateien in einem Linux-System gefunden werden können. Das Tool kann entweder Dateinamen oder Inhalte in einem oder mehreren Ordnern scannen. Es ermöglicht Ihnen auch, den Dateinamen zu finden, der den Dateien ähnelt, nach denen Sie suchen.

dupeGuru gibt es in verschiedenen Versionen für Windows-, Mac- und Linux-Plattformen. Die Funktion des schnellen Fuzzy-Matching-Algorithmus hilft Ihnen, doppelte Dateien innerhalb einer Minute zu finden. Es ist anpassbar, Sie können genau die doppelten Dateien abrufen, die Sie möchten, und unerwünschte Dateien aus dem System löschen.

Installieren Sie dupeGuru unter Linux

Um dupeGuru unter Linux zu installieren, verwenden Sie den folgenden Befehl gemäß Ihrer Linux-Distribution.

$ sudo apt install dupeguru         [On Debian, Ubuntu and Mint]
sudo yum install dupeguru         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/dupeguru  [On Gentoo Linux]
sudo apk add dupeguru             [On Alpine Linux]
sudo pacman -S dupeguru           [On Arch Linux]
sudo zypper install dupeguru      [On OpenSUSE]

5. FSlint – Duplicate File Finder für Linux

FSlint ist ein kostenloses Dienstprogramm, das verwendet wird, um verschiedene Formen von Flusen in einem Dateisystem zu finden und zu reinigen. Es meldet auch doppelte Dateien, leere Verzeichnisse, temporäre Dateien, doppelte/widersprüchliche (binäre) Namen, fehlerhafte symbolische Links und vieles mehr. Es verfügt sowohl über einen Befehlszeilen- als auch über einen GUI-Modus.

Es ist jedoch wichtig zu beachten, dass FSlint zum Zeitpunkt meines Wissensstichs im September 2022 zuletzt im Jahr 2013 aktualisiert wurde und möglicherweise nicht aktiv gepflegt wird oder mit neueren Linux-Distributionen kompatibel ist.

Installieren Sie FSlint unter Linux

Um FSlint unter Linux zu installieren, verwenden Sie den folgenden Befehl gemäß Ihrer Linux-Distribution.

$ sudo apt install fslint         [On Debian, Ubuntu and Mint]
sudo yum install fslint         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/fslint  [On Gentoo Linux]
sudo apk add fslint             [On Alpine Linux]
sudo pacman -S fslint           [On Arch Linux]
sudo zypper install fslint      [On OpenSUSE]

Schlussfolgerung

Dies sind sehr nützliche Tools, um doppelte Dateien auf Ihrem Linux-System zu finden, aber Sie sollten beim Löschen solcher Dateien sehr vorsichtig sein.

Wenn Sie sich nicht sicher sind, ob Sie eine Datei benötigen oder nicht, ist es besser, eine Sicherungskopie dieser Datei zu erstellen und sich das Verzeichnis zu merken, bevor Sie sie löschen. Wenn Sie Fragen oder Kommentare haben, senden Sie diese bitte im Kommentarbereich unten.