Con el tiempo tendemos a ir almacenando muchas cosas en la nube, hacemos copias de nuestros datos, fotos, documentos, etc. muchas de ellas a veces pueden ser copiadas dos o tres veces sin darnos cuenta.

Para solucionar esto, rclone tiene un opción, dedupe que permite la búsqueda de ficheros duplicados para borrarlos o renombrarlos de una forma interactiva o automática, con el consiguiente ahorro de espacio en disco.

Para ejecutarlo de forma interactiva por cada fichero duplicado que encuentra

rclone dedupe gdrive:/carpeta

     2019/08/22 16:24:37 Google drive root 'carpeta': Looking for duplicates using interactive mode.
    one.txt: Found 4 duplicates - deleting identical copies
    one.txt: Deleting 2/3 identical duplicates (md5sum "1eedaa9fe86fd4b8632e2ac549403b36")
    one.txt: 2 duplicates remain
      1:      6048320 bytes, 2019/08/22 16:23:37.798000000, md5sum 1eedaa9fe86fd4b8632e2ac549403b36
      2:       564374 bytes, 2019/08/22 16:23:37.731000000, md5sum 7594e7dc9fc28f727c42ee3e0749de81
    s) Skip and do nothing
    k) Keep just one (choose which in next step)
    r) Rename all to be different (by changing file.jpg to file-1.jpg)
    s/k/r> k
    Enter the number of the file to keep> 1
    one.txt: Deleted 1 extra copies
    two.txt: Found 3 duplicates - deleting identical copies
    two.txt: 3 duplicates remain
      1:       564374 bytes, 2019/08/22 16:24:06.118000000, md5sum 7594e7dc9fc28f727c42ee3e0749de81
      2:      6048320 bytes, 2019/08/22 16:24:52.185000000, md5sum 1eedaa9fe86fd4b8632e2ac549403b36
      3:      1744073 bytes, 2019/08/22 16:24:59.104000000, md5sum 851957f7fb6f0bc4ce76be966d336802
    s) Skip and do nothing
    k) Keep just one (choose which in next step)
    r) Rename all to be different (by changing file.jpg to file-1.jpg)
    s/k/r> r
    two-1.txt: renamed from: two.txt
    two-2.txt: renamed from: two.txt
    two-3.txt: renamed from: two.txt

Podemos agregar diferentes opciones para ejecutarlo de forma automática

--dedupe-mode interactive - interactivo como el anterior.
--dedupe-mode skip - elimina archivos idónticos y luego omite todo lo que queda.
--dedupe-mode first : elimina los archivos idónticos y luego conserva el primero.
--dedupe-mode newest : elimina archivos idónticos y luego conserva el más nuevo.
--dedupe-mode oldest : elimina los archivos idónticos y luego conserva el más antiguo.
--dedupe-mode largest - elimina archivos idónticos y luego mantiene el más grande.
--dedupe-mode rename : elimina archivos idónticos y luego cambia el nombre del resto para que sea diferente.

Para eliminar los ficheros idónticos y conservando el mas antiguo

rclone dedupe gdrive_md: --dedupe-mode oldest

Espero que te haya gustado, pasa un buen día. 🐧