Busca o elimina ficheros duplicados con rclone

2 minutos de lectura

Con el tiempo tendemos a ir almacenando muchas cosas en la nube, hacemos copias de nuestros datos, fotos, documentos, etc. muchas de ellas a veces pueden ser copiadas dos o tres veces sin darnos cuenta.

Para solucionar esto, rclone tiene un opción, dedupe que permite la búsqueda de ficheros duplicados para borrarlos o renombrarlos de una forma interactiva o automática, con el consiguiente ahorro de espacio en disco.

Para ejecutarlo de forma interactiva por cada fichero duplicado que encuentra

 1
 2rclone dedupe gdrive:/carpeta
 3
 42019/08/22 16:24:37 Google drive root 'carpeta': Looking for duplicates using interactive mode.
 5one.txt: Found 4 duplicates - deleting identical copies
 6one.txt: Deleting 2/3 identical duplicates (md5sum "1eedaa9fe86fd4b8632e2ac549403b36")
 7one.txt: 2 duplicates remain
 8  1:      6048320 bytes, 2019/08/22 16:23:37.798000000, md5sum 1eedaa9fe86fd4b8632e2ac549403b36
 9  2:       564374 bytes, 2019/08/22 16:23:37.731000000, md5sum 7594e7dc9fc28f727c42ee3e0749de81
10s) Skip and do nothing
11k) Keep just one (choose which in next step)
12r) Rename all to be different (by changing file.jpg to file-1.jpg)
13s/k/r> k
14Enter the number of the file to keep> 1
15one.txt: Deleted 1 extra copies
16two.txt: Found 3 duplicates - deleting identical copies
17two.txt: 3 duplicates remain
18  1:       564374 bytes, 2019/08/22 16:24:06.118000000, md5sum 7594e7dc9fc28f727c42ee3e0749de81
19  2:      6048320 bytes, 2019/08/22 16:24:52.185000000, md5sum 1eedaa9fe86fd4b8632e2ac549403b36
20  3:      1744073 bytes, 2019/08/22 16:24:59.104000000, md5sum 851957f7fb6f0bc4ce76be966d336802
21s) Skip and do nothing
22k) Keep just one (choose which in next step)
23r) Rename all to be different (by changing file.jpg to file-1.jpg)
24s/k/r> r
25two-1.txt: renamed from: two.txt
26two-2.txt: renamed from: two.txt
27two-3.txt: renamed from: two.txt

Podemos agregar diferentes opciones para ejecutarlo de forma automática

1
2--dedupe-mode interactive - interactivo como el anterior.
3--dedupe-mode skip - elimina archivos idénticos y luego omite todo lo que queda.
4--dedupe-mode first : elimina los archivos idénticos y luego conserva el primero.
5--dedupe-mode newest : elimina archivos idénticos y luego conserva el más nuevo.
6--dedupe-mode oldest : elimina los archivos idénticos y luego conserva el más antiguo.
7--dedupe-mode largest - elimina archivos idénticos y luego mantiene el más grande.
8--dedupe-mode rename : elimina archivos idénticos y luego cambia el nombre del resto para que sea diferente.

Para eliminar los ficheros idénticos y conservando el mas antiguo

1
2rclone dedupe gdrive_md: --dedupe-mode oldest

Espero que te haya gustado, pasa un buen día.