wget --spider -o wget.log -e robots=off --wait 1 -r -p http://www.example.com
Команда «wget —spider» используется для проверки битых ссылок на указанном веб-сайте. Она отправляет HTTP-запросы на каждую ссылку и проверяет ответный код. Если код не является успешным (например, 404 Not Found), то ссылка считается битой.
Аргументы:
— «-o wget.log» указывает, чтобы результаты проверки сохранялись в файл wget.log.
— «-e robots=off» отключает соблюдение правил robots.txt, чтобы проверить все ссылки.
— «—wait 1» задает интервал между запросами в 1 секунду, чтобы не нагружать сервер.
— «-r» включает рекурсивную загрузку, чтобы проверить все ссылки на странице.
— «-p» сохраняет все необходимые файлы (CSS, изображения и т. д.) для проверки ссылок.
Альтернативой может быть использование других инструментов, таких как Xenu’s Link Sleuth или Screaming Frog SEO Spider, которые также способны проверять битые ссылки на веб-сайте.