URL=www.example.com && wget -rq --spider --force-html "http://$URL" && find $URL -type d > url-list.txt && rm -rf $URL
Эта команда использует утилиту wget для получения списка всех веб-страниц на указанном сайте (www.example.com).
Опция -r позволяет рекурсивно загружать все страницы сайта. Опция -q отключает вывод сообщений, чтобы команда выполнялась без вывода на экран.
Опция —spider указывает wget’у выполнять только проверку наличия страниц, не загружая их содержимое.
Опция —force-html говорит wget’у обрабатывать все файлы как HTML, чтобы он мог найти ссылки на другие страницы.
После выполнения wget команда использует команду find для поиска всех директорий внутри сайта и записывает их в файл url-list.txt.
Затем команда удаляет сайт с помощью команды rm -rf $URL, где $URL — это переменная, содержащая адрес сайта.
Альтернативные способы получения списка веб-страниц могут включать использование других инструментов, таких как curl или Python скрипты.