awk '!x[$0]++'
Команда awk ‘!x[$0]++’ удаляет дубликаты строк в файле без предварительной сортировки. Она использует специальный механизм массивов в awk, где каждая уникальная строка является ключом массива. Если ключ уже существует (строка уже встречалась ранее), то команда игнорирует эту строку.
Эта команда полезна для удаления дубликатов строк в файле, особенно если сохранение порядка строк важно. Альтернативным подходом может быть использование команды «sort» с опцией «-u», которая сортирует файл и удаляет дубликаты, но порядок строк может измениться.