Команда Wget в Linux с примерами

GNU Wget - это утилита командной строки для загрузки файлов из Интернета. С помощью Wget вы можете загружать файлы с использованием протоколов HTTP, HTTPS и FTP. Wget предоставляет ряд опций, позволяющих загружать несколько файлов, возобновлять загрузку, ограничивать пропускную способность, рекурсивные загрузки, загружать в фоновом режиме, зеркалировать веб-сайт и многое другое.

В этом руководстве мы покажем вам, как использовать команду Wget, на практических примерах и подробных объяснениях наиболее распространенных параметров Wget.

Установка Wget

Пакет wget уже предустановлен в большинстве дистрибутивов Linux.

Чтобы проверить, установлен ли пакет Wget в вашей системе, откройте консоль, введите wget и нажмите enter. Если у вас установлен wget, система напечатает wget: missing URL , в противном случае будет напечатана wget command not found .

Если wget не установлен, вы можете легко установить его с помощью менеджера пакетов вашего дистрибутива.

Установка Wget на Ubuntu и Debian

sudo apt install wget

Установка Wget на CentOS и Fedora

sudo yum install wget

Синтаксис команды Wget

Прежде чем приступить к использованию команды wget , давайте начнем с обзора основного синтаксиса.

Выражения утилиты wget имеют следующую форму:

wget

• options - url Wget options - URL-адрес файла или каталога, который вы хотите загрузить или синхронизировать.

Как скачать файл с помощью Wget

В простейшей форме, когда используется без какой-либо опции, wget загрузит ресурс, указанный в, в текущий каталог.

В следующем примере мы загружаем tar-архив ядра Linux:

wget

Как видно из рисунка выше, Wget начинает с разрешения IP-адреса домена, затем подключается к удаленному серверу и начинает передачу.

Во время загрузки Wget показывает индикатор выполнения наряду с именем файла, размером файла, скоростью загрузки и предполагаемым временем завершения загрузки. После завершения загрузки вы можете найти загруженный файл в текущем рабочем каталоге.

Чтобы отключить вывод Wget, используйте опцию -q .

Если файл уже существует, Wget добавит .N (число) в конце имени файла.

Использование команды Wget для сохранения загруженного файла под другим именем

Чтобы сохранить загруженный файл под другим именем, передайте опцию -O а затем выбранное имя:

wget -O latest-hugo.zip

Приведенная выше команда сохранит самый последний файл hugo zip из GitHub как latest-hugo.zip вместо его исходного имени.

Использование команды Wget для загрузки файла в определенный каталог

По умолчанию Wget сохраняет загруженный файл в текущем рабочем каталоге. Чтобы сохранить файл в определенном месте, используйте параметр -P :

wget -P /mnt/iso

С помощью приведенной выше команды мы сообщаем Wget сохранить iso-файл CentOS 7 в каталог /mnt/iso .

Как ограничить скорость загрузки с помощью Wget

Чтобы ограничить скорость загрузки, используйте параметр --limit-rate . По умолчанию скорость измеряется в байтах / секунду. Добавьте k для килобайт, m для мегабайт и g для гигабайт.

Следующая команда загрузит двоичный файл Go и ограничит скорость загрузки до 1 Мб:

wget --limit-rate=1m

Эта опция полезна, когда вы не хотите, чтобы wget использовал всю доступную пропускную способность.

Как возобновить загрузку с помощью Wget

Вы можете возобновить загрузку, используя опцию -c . Это полезно, если ваше соединение разрывается во время загрузки большого файла, и вместо того, чтобы начать загрузку с нуля, вы можете продолжить предыдущую.

В следующем примере мы возобновляем загрузку iso-файла Ubuntu 18.04:

wget -c

Если удаленный сервер не поддерживает возобновление загрузки, Wget начнет загрузку с начала и перезапишет существующий файл.

Как скачать в фоновом режиме с Wget

Для загрузки в фоновом режиме используйте опцию -b . В следующем примере мы загружаем iso-файл OpenSuse в фоновом режиме:

wget -b

По умолчанию выходные данные перенаправляются в файл wget-log в текущем каталоге. Чтобы посмотреть статус загрузки, используйте команду tail :

tail -f wget-log

Как изменить Wget User-Agent от Wget

Иногда при загрузке файла удаленный сервер может быть настроен на блокировку Wget User-Agent. В подобных ситуациях для эмуляции другого браузера передайте опцию -U .

wget --user-agent="Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0"

Приведенная выше команда будет эмулировать Firefox 60, запрашивающий страницу с wget-forbidden.com

Как скачать несколько файлов с помощью Wget

В следующем примере мы загружаем iso файлы Arch Linux, Debian и Fedora с URL-адресами, указанными в linux-distros.txt :

wget -i linux-distros.txt линукс-distros.txt

http://mirrors.edge.kernel.org/archlinux/iso/2018.06.01/archlinux-2018.06.01-x86_64.iso https://cdimage.debian.org/debian-cd/current/amd64/iso-cd/debian-9.4.0-amd64-netinst.iso

Использование команды Wget для загрузки через FTP

Чтобы загрузить файл с FTP-сервера, защищенного паролем, укажите имя пользователя и пароль, как показано ниже:

wget --ftp-user=FTP_USERNAME --ftp-password=FTP_PASSWORD ftp://ftp.example.com/filename.tar.gz

Использование команды Wget для создания зеркала сайта

Чтобы создать зеркало веб-сайта с помощью Wget, используйте параметр -m . Это создаст полную локальную копию веб-сайта, перейдя и загрузив все внутренние ссылки, а также ресурсы веб-сайта (JavaScript, CSS, изображения).

wget -m

wget -m -k -p

Опция -k заставит Wget конвертировать ссылки в загруженных документах, чтобы сделать их пригодными для локального просмотра. Опция -p скажет wget загрузить все необходимые файлы для отображения HTML-страницы.

Как пропустить проверку сертификата с помощью Wget

wget --no-check-certificate

Как скачать в стандартный вывод с помощью Wget

В следующем примере Wget тихо (flag -q ) загрузит и выведет последнюю версию WordPress в stdout (flag -O - ) и передаст ее утилите tar которая извлечет архив в каталог /var/www .

wget -q -O - "http://wordpress.org/latest.tar.gz" | tar -xzf - -C /var/www

Вывод

С помощью Wget вы можете загружать несколько файлов, возобновлять частичную загрузку, зеркалировать веб-сайты и комбинировать параметры Wget в соответствии с вашими потребностями.

Чтобы узнать больше о Wget, посетите страницу руководства GNU wget.

терминал wget