wget --random-wait -r -p -e robots=off -U mozilla http://www.example.com


Команда wget скачивает весь сайт http://www.example.com, игнорируя файл robots.txt, с задержкой между запросами и имитацией браузера Mozilla.

Ответить

Ваш адрес email не будет опубликован. Обязательные поля помечены *