find /glftpd/site/archive -type f|grep '([0-9]\{1,9\})\.[^.]\+$'|parallel -n1 -j200% md5sum ::: |awk 'x[$1]++ { print $2 " :::"}'|sed 's/^/Dupe: /g'|sed 's,Dupe,\x1B[31m&\x1B[0m,'
Эта команда ищет все файлы в указанном каталоге и его подкаталогах, затем вычисляет их хэш-значение md5 и выводит пути к файлам, которые имеют одинаковые хэши md5, обозначая их как дубликаты. Использование ‘parallel -n1 -j200%’ позволяет ускорить процесс обработки файлов путем параллельного выполнения подзадач.