awk '{ if ($1 in stored_lines) x=1; else print; stored_lines[$1]=1 }' infile.txt > outfile.txt
Команда awk используется для обработки текстовых данных в файле. В данном случае, команда удаляет дублирующиеся строки на основе значения в первом столбце исходного файла (infile.txt).
При выполнении команды, awk итерирует по каждой строке в исходном файле. Если значение в первом столбце уже встречалось ранее (оно хранится в массиве stored_lines), переменная x устанавливается в 1. В противном случае, строка выводится. Также, значение первого столбца сохраняется в массиве stored_lines.
Результат работы скрипта выводится в файл outfile.txt.
Альтернативный подход для удаления дублирующихся строк может быть использование команды sort для предварительной сортировки исходного файла по первому столбцу, а затем использование команды uniq для удаления дублирующихся строк.