perl -ane 'print unless $x{$F[0]}++' infile > outfile
Эта команда perl используется для удаления дубликатов строк из неотсортированного файла, основываясь на значении первого столбца каждой строки. Команда открывает файл «infile» и записывает уникальные строки (т.е. строки, у которых значение в первом столбце встречается только один раз) в файл «outfile». Аргумент «-ane» позволяет разделять входной файл пробелами и сохранять каждое слово в элементе массива «F», а также автоматически пропускать пустые строки. Альтернативные подходы к удалению дубликатов строк включают использование команд awk или sort с опцией «-u».