lynx -dump http://www.domain.com | awk '/http/{print $2}' | egrep "^https{0,1}"
Команда «lynx -dump http://www.domain.com» выполняет загрузку и отображение содержимого веб-страницы http://www.domain.com в текстовом формате. Команда «awk ‘/http/{print $2}'» используется для фильтрации вывода предыдущей команды и извлечения только URL-адресов, содержащихся в тексте. Команда «egrep «^https{0,1}»» используется для фильтрации вывода предыдущей команды и извлечения только ссылок, начинающихся с «http://» или «https://». Эта команда дает возможность получить все ссылки, содержащиеся на веб-сайте http://www.domain.com. Альтернативным подходом может быть использование инструментов парсинга веб-страниц, таких как Beautiful Soup в Python или XPath в языке запросов XML.