awk '!a[$0]++' file
Команда awk ‘!a[$0]++’ file позволяет вывести содержимое файла без дублирующихся строк. Она использует уникальный идентификатор a[$0], который проверяется на равенство 0. Если значение равно 0, то строка $0 (текущая строка) выводится, а значение идентификатора увеличивается на 1. Если значение идентификатора не равно 0, то строка уже была выведена ранее и не выводится снова. Эта команда полезна, когда необходимо удалить дублирующиеся строки из файла. Альтернативой может быть использование команды uniq, но awk позволяет более гибко работать с текстовыми данными.