wget, 一个强大的下载命令

阅读量：2220 次

发布时间：2019-05-08

本文共 13647 字，大约阅读时间需要 45 分钟。

1 wget常用参数如下

GNU Wget ，一个非交谈式的网路抓档工具.
　　用法: wget [选项]... [URL]...
　　命令的引数使用长项目与短项目相同.
  　启动:
　　-V, --version显示Wget的版本并且离开.
　　-h, --help显示这个说明档.
　　-b, -background在启动之後跳到背景去.
　　-e, -execute=COMMAND执行一个`.wgetrc'里面的COMMAND指令.
　　纪录档与输入的档案:
　　-o, --output-file=FILE纪录讯息到FILE去.
　　-a, -append-output=FILE增加讯息到FILE去.
　　-d, --debug显示除错的输出.
　　-q, --quiet安静模式(不输入任何讯息).
　　-v, --verbose冗长模式(这是内定值).
　　-nv, --non-verbose关闭verboseness,但不是安静模式.
　　-i, --input-file=FILE从FILE读取URL .
　　-F, --force-html把输入的档案当作HTML.
　　下载:
　　-t, --tries=NUMBER设定重复尝试NUMBER次(0是无限制).
　　-O --output-document=FILE把文件写到FILE里.
　　-nc, --no-clobber不破坏已经存在的档案.
　　-c, --continue重新取得一个已经存在的档案.
　　--dot-style=STYLE设定取回状况的显示风格.
　　-N, --timestamping不取回比本地旧的档案.
　　-S, --server-response显示伺服器回应状况.
　　--spider不下载任何东西.
　　-T, --timeout=SECONDS设定读取时超过的时间为SECONDS秒.
　　-w, --wait=SECONDS在取回档案时等待SECONDS秒.
　　-Y, --proxy=on/off开启或关闭Proxy.
  　-Q, --quota=NUMBER设定取回档案的定额限制为NUMBER个.
　　目录:
　　-nd --no-directories不建立目录.
　　-x, --force-directories强制进行目录建立的工作.
　　-nH, --no-host-directories不建立主机的目录.
　　-P, --directory-prefix=PREFIX把档案存到PREFIX/...
　　--cut-dirs=NUMBER忽略NUMBER个远端的目录元件.
　　HTTP选项:
　　--http-user=USER设http使用者为USER.
　　--http0passwd=PASS设http使用者的密码为PASS.
　　-C, --cache=on/off提供/关闭快取伺服器资料(正常情况为提供).
　　--ignore-length忽略`Content-Length'标头栏位.
　　--proxy-user=USER设USER为Proxy使用者名称.
　　--proxy-passwd=PASS设PASS为Proxy密码.
　　-s, --save-headers储存HTTP标头成为档案.
　　-U, --user-agent=AGENT使用AGENT取代Wget/VERSION作为识别代号.
　　FTP选项:
　　--retr-symlinks取回FTP的象徵连结.
　　-g, --glob=on/off turn file name globbing on ot off.
　　--passive-ftp使用"passive"传输模式.
　　使用递回方式的取回:
　　-r, --recursive像是吸入web的取回--请小心使用!.
　　-l, --level=NUMBER递回层次的最大值(0不限制).
　　--delete-after删除下载完毕的档案.
　　-k, --convert-links改变没有关连的连结成为有关连.
　　-m, --mirror开启适合用来映射的选项.
　　-nr, --dont-remove-listing不要移除`.listing'档.
　　递回式作业的允许与拒绝选项:
　　-A, --accept=LIST允许的扩充项目的列表.
　　-R, --reject=LIST拒绝的扩充项目的列表.
　　-D, --domains=LIST允许的网域列表.
　　--exclude-domains=LIST拒绝的网域列表(使用逗号来分隔).
　　-L, --relative只跟随关联连结前进.
　　--follow-ftp跟随HTML文件里面的FTP连结.
　　-H, --span-hosts当开始递回时便到外面的主机.
　　-I, --include-directories=LIST允许的目录列表.
　　-X, --exclude-directories=LIST排除的目录列表.
　　-nh, --no-host-lookup不透过DNS查寻主机.
　　-np, --no-parent不追朔到起源目录.
　　范例一：mirror一个网站
　　wget -r

作者：

<script></script>



2005-4-5 17:28 　

2 wget常用参数如下

　　范例二：mirror一个网站下的某个目录：
　　wget -r
------------------------------------------------------------------
语法:
    wget [options] [URL-list]
URL地址格式说明:可以使用如下格式的URL:
    ::URL:: [ort]/path
例如:
    ::URL::
    ::URL::ftp://ftp.xemacs.org/pub/xemacs/xemacs-19.14.tar.gz
    ::URL::ftp://username assword@host/dir/file
在最后一种形式中，以URL编码形式为FTP主机提供了用户名和密码（当然，也可以使
用参数提供该信息，见后）。
参数说明：
wget的参数较多，但大部分应用只需要如下几个常用的参数：
    -r    递归；对于HTTP主机，wget首先下载URL指定的文件，然后（如果该文件是
    一个HTML文档的话）递归下载该文件所引用（超级连接）的所有文件（递归深度
    由参数-l指定）。对FTP主机，该参数意味着要下载URL指定的目录中的所有文件，
    递归方法与HTTP主机类似。
    -N    时间戳：该参数指定wget只下载更新的文件，也就是说，与本地目录中的对
    应文件的长度和最后修改日期一样的文件将不被下载。
    -m    镜像：相当于同时使用-r和-N参数。
    -l    设置递归级数；默认为5。-l1相当于不递归；-l0为无穷递归；注意，当递
    归深度增加时，文件数量将呈指数级增长。
    -t     设置重试次数。当连接中断（或超时）时，wget将试图重新连接。如果指
    定-t0，则重试次数设为无穷多。
    -c    指定断点续传功能。实际上，wget默认具有断点续传功能，只有当你使用别
    的ftp工具下载了某一文件的一部分，并希望wget接着完成此工作的时候，才需要
    指定此参数。
使用举例：
    wget -m -l4 -t0 ::URL::
将在本地硬盘建立::URL:: 的镜像，镜像文件存入当前目录下一个名为
oneweb.com.cn的子目录中（你也可以使用-nH参数指定不建立该子目录，而直接在当前
目录下建立镜像的目录结构），递归深度为4，重试次数为无穷（若连接出现问题，
wget将坚韧不拔地永远重试下去，直到任务完成！）
另外一些使用频率稍低的参数如下：
    -A acclist / -R rejlist：
这两个参数用于指定wget接受或排除的文件扩展名，多个名称之间用逗号隔开。例如，
假设我们不想下载MPEG视频影像文件和.AU声音文件，可使用如下参数：
    -R mpg,mpeg,au
其它参数还有：
    -L     只扩展相对连接，该参数对于抓取指定站点很有用，可以避免向宿主主机
    的其他目录扩散。例如，某个人网站地址为：::URL::，使用
    如下命令行：
    wget -L ::URL::
    则只提取该个人网站，而不涉及主机上的其他目录。
    -k    转换连接：HTML文件存盘时，将其中的非相对连接转换成为相对连接。
    -X    在下载FTP主机上的文件时，排除若干指定的目录
另外，下面参数用于设置wget的工作界面：
    -v    设置wget输出详细的工作信息。
    -q    设置wget不输出任何信息。
如果我们已经在一个HTML文档（或普通文本文档）中存储了所要提取的文件的连接，
可以让wget直接从该文件中提取信息，而不用在命令行中提供URL地址，参数格式为：
    -i filename
地址文件也可以不是HTML文档，例如，一个普通的文本文件，其中有需要下载的URL列
表即可。
我们可以用以下技巧提高下载速度：由于Linux是一个多任务系统，我们可以同时运行
多个wget进程以提高下载速度，例如，先下载某主页文件（index.html），然后将该
文件所列出的所有地址分别用一个独立的wget进程进行下载。

作者：

<script></script>



2005-4-5 17:28 　

3 wget常用参数如下

至于其他的参数，可参考wget的man手册页，命令为：
    man wget
bb_sun 发表于 >2005-1-18 15:31:20 保存该日志到本地 [全文] [评论] [引用] [推荐] [档案] [推给好友]
2005-1-18
wget使用详解 [转]
      wget是在Linux下开发的开放源代码的软件，作者是Hrvoje Niksic，后来被移植到包括Windows在内的各个平台上。它有以下功能和特点：
　　（1）支持断点下传功能；这一点，也是网络蚂蚁和FlashGet当年最大的卖点，现在，Wget也可以使用此功能，那些网络不是太好的用户可以放心了；
　　（2）同时支持FTP和HTTP下载方式；尽管现在大部分软件可以使用HTTP方式下载，但是，有些时候，仍然需要使用FTP方式下载软件；
　　（3）支持代理服务器；对安全强度很高的系统而言，一般不会将自己的系统直接暴露在互联网上，所以，支持代理是下载软件必须有的功能；
　　（4）设置方便简单；可能，习惯图形界面的用户已经不是太习惯命令行了，但是，命令行在设置上其实有更多的优点，最少，鼠标可以少点很多次，也不要担心是否错点鼠标；
　　（5）程序小，完全免费；程序小可以考虑不计，因为现在的硬盘实在太大了；完全免费就不得不考虑了，即使网络上有很多所谓的免费软件，但是，这些软件的广告却不是我们喜欢的；
    wget虽然功能强大，但是使用起来还是比较简单的，基本的语法是：wget [参数列表] URL。下面就结合具体的例子来说明一下wget的用法。
    1、下载整个http或者ftp站点。
    wget ::URL::
    这个命令可以将::URL::  首页下载下来。使用-x会强制建立服务器上一模一样的目录，如果使用-nd参数，那么服务器上下载的所有内容都会加到本地当前目录。
    wget -r ::URL::
     这个命令会按照递归的方法，下载服务器上所有的目录和文件，实质就是下载整个网站。这个命令一定要小心使用，因为在下载的时候，被下载网站指向的所有地址同样会被下载，因此，如果这个网站引用了其他网站，那么被引用的网站也会被下载下来！基于这个原因，这个参数不常用。可以用-l number参数来指定下载的层次。例如只下载两层，那么使用-l 2。
    要是您想制作镜像站点，那么可以使用－m参数，例如：wget -m ::URL::
    这时wget会自动判断合适的参数来制作镜像站点。此时，wget会登录到服务器上，读入robots.txt并按robots.txt的规定来执行。
    2、断点续传。
    当文件特别大或者网络特别慢的时候，往往一个文件还没有下载完，连接就已经被切断，此时就需要断点续传。wget的断点续传是自动的，只需要使用-c参数，例如：
    wget -c ::URL::
    使用断点续传要求服务器支持断点续传。-t参数表示重试次数，例如需要重试100次，那么就写-t 100，如果设成-t 0，那么表示无穷次重试，直到连接成功。-T参数表示超时等待时间，例如-T 120，表示等待120秒连接不上就算超时。
    3、批量下载。
    如果有多个文件需要下载，那么可以生成一个文件，把每个文件的URL写一行，例如生成文件download.txt，然后用命令：wget -i download.txt
这样就会把download.txt里面列出的每个URL都下载下来。（如果列的是文件就下载文件，如果列的是网站，那么下载首页）
    4、选择性的下载。
    可以指定让wget只下载一类文件，或者不下载什么文件。例如：
    wget -m --reject=gif ::URL::
    表示下载::URL:: ，但是忽略gif文件。--accept=LIST 可以接受的文件类型，--reject=LIST拒绝接受的文件类型。
    5、密码和认证。
    wget只能处理利用用户名/密码方式限制访问的网站，可以利用两个参数：

作者：

<script></script>



2005-4-5 17:28 　

6 wget常用参数如下

  -w,  --wait=SECONDS           两次尝试之间间隔SECONDS秒
       --waitretry=SECONDS      在重新链接之间等待1...SECONDS秒
       --random-wait            在下载之间等待0...2WAIT秒
  -Y,  --proxy=on/off           打开或关闭代理
  -Q,  --quota=NUMBER           设置下载的容量限制(限制下载文件的总大小最多不能超过多少，比如"-Q2k"
                                表示不能超过2K字节，"-Q3m"表示最多不能超过3M字节，如果数字后面什么
                                都不加，就表示是以字节为单位，比如"-Q200"表示最多不能超过200字节)
       --limit-rate=RATE        限定下载输率
     目录
  -nd  --no-directories            不创建目录
  -x,  --force-directories         强制创建目录
  -nH, --no-host-directories       不创建主机目录
  -P,  --directory-prefix=PREFIX   将文件保存到目录 PREFIX/...
       --cut-dirs=NUMBER           忽略 NUMBER层远程目录
    * HTTP 选项
       --http-user=USER      设定HTTP用户名为 USER.
       --http-passwd=PASS    设定http密码为 PASS.
  -C,  --cache=on/off        允许/不允许服务器端的数据缓存 (一般情况下允许).
  -E,  --html-extension      将所有text/html文档以.html扩展名保存
       --ignore-length       忽略 `Content-Length'头域
       --header=STRING       在headers中插入字符串 STRING
       --proxy-user=USER     设定代理的用户名为 USER
       --proxy-passwd=PASS   设定代理的密码为 PASS
       --referer=URL         在HTTP请求中包含 `Referer: URL'头
  -s,  --save-headers        保存HTTP头到文件
  -U,  --user-agent=AGENT    设定代理的名称为 AGENT而不是 Wget/VERSION.
       --no-http-keep-alive  关闭 HTTP活动链接 (永远链接).
       --cookies=off         不使用 cookies.
       --load-cookies=FILE   在开始会话前从文件 FILE中加载cookie
       --save-cookies=FILE   在会话结束后将 cookies保存到 FILE文件中
    * FTP 选项
  -nr, --dont-remove-listing   不移走 `.listing'文件
  -g,  --glob=on/off           打开或关闭文件名的 globbing机制
       --passive-ftp           使用被动传输模式 (缺省值).
       --active-ftp            使用主动传输模式
       --retr-symlinks         在递归的时候，将链接指向文件(而不是目录)
    * 递归下载
  -r,  --recursive          递归下载－－慎用!
  -l,  --level=NUMBER       最大递归深度 (inf 或 0 代表无穷).
       --delete-after       在现在完毕后局部删除文件
  -k,  --convert-links      转换非相对链接为相对链接
  -K,  --backup-converted   在转换文件X之前，将之备份为 X.orig
  -m,  --mirror             等价于 -r -N -l inf -nr.
  -p,  --page-requisites    下载显示HTML文件的所有图片
    * 递归下载中的包含和不包含(accept/reject)
  -A,  --accept=LIST                分号分隔的被接受扩展名的列表
  -R,  --reject=LIST                分号分隔的不被接受的扩展名的列表
  -D,  --domains=LIST               分号分隔的被接受域的列表
       --exclude-domains=LIST       分号分隔的不被接受的域的列表
       --follow-ftp                 跟踪HTML文档中的FTP链接
       --follow-tags=LIST           分号分隔的被跟踪的HTML标签的列表
  -G,  --ignore-tags=LIST           分号分隔的被忽略的HTML标签的列表
  -H,  --span-hosts                 当递归时转到外部主机
  -L,  --relative                   仅仅跟踪相对链接
  -I,  --include-directories=LIST   允许目录的列表
  -X,  --exclude-directories=LIST   不被包含目录的列表
  -np, --no-parent                  不要追溯到父目录(只下载目标站点指定目录及其子目录的内容。
                                    这也是一个非常有用的选项，我们假设某个人的个人主页里面有
                                    一个指向这个站点其他人个人主页的连接，而我们只想下载这个人的
                                    个人主页，如果不设置这个选项，甚至--有可能把整个站点给抓下来，
                                     这显然是我们通常不希望的)
问题
在递归下载的时候，遇到目录中有中文的时候，wget创建的本地目录名会用URL编码规则处理。如"天网防火墙"会被存为"%CC%EC%CD%F8%B7%C0%BB%F0%C7%BD",这造成阅读上的极大不方便。

可以用来开发web测试工具。

wget

　　开始:

　　-V, --version 显示Wget版本之后退出。

　　-h, --help 显示本帮助

　　-b, --background 启动后转到后台运行。

　　-e, --execute=COMMAND 运行 `.wgetrc'-那样的命令。

　　日志和输入文件:

　　-o, --output-file=FILE 将日志记录到文件 FILE.

　　-a, --append-output=FILE 添加消息到文件 FILE.

　　-d, --debug 输出大量调试信息。

　　-q, --quiet 静默模式 (无输出)。

　　-v, --verbose 显示信息 (默认打开).

　　-nv, --no-verbose 显示很少信息但不是完全安静.

　　-i, --input-file=FILE 下载存储在 FILE 文件中的所有URL地址指向的文件。

　　-F, --force-html 把输入文件当成 HTML.

　　-B, --base=URL prepends URL to relative links in -F -i file.

　　下载:

　　-t, --tries=NUMBER 设定重试次数(0 一直重试)。

　　--retry-connrefused retry even if connection is refused.

　　-O, --output-document=FILE 写入文档到 FILE.

　　-nc, --no-clobber 跳过将要到已存在文件的下载。

　　-c, --continue 续传下载。

　　--progress=TYPE select progress gauge type.

　　-N, --timestamping don't re-retrieve files unless newer than

　　local.

　　-S, --server-response 显示服务器的响应。

　　--spider 什么都不下载

　　-T, --timeout=SECONDS 把所有超时时间设为SECONDS秒。

　　--dns-timeout=SECS 把DNS超时时间设为SECS秒。

　　--connect-timeout=SECS 设定连接超时为 SECS.

　　--read-timeout=SECS 设定读取超时为 SECS.

　　-w, --wait=SECONDS wait SECONDS between retrievals.

　　--waitretry=SECONDS wait 1..SECONDS between retries of a retrieval.

　　--random-wait wait from 0...2*WAIT secs between retrievals.

　　--no-proxy 显示关闭代理

　　-Q, --quota=NUMBER set retrieval quota to NUMBER.

　　--bind-address=ADDRESS bind to ADDRESS (hostname or IP) on local host.

　　--limit-rate=RATE 把下载速度限制为RATE。

　　--no-dns-cache 禁止查找DNS缓存。

　　--restrict-file-names=OS restrict chars in file names to ones OS allows.

　　--ignore-case ignore case when matching files/directories.

　　-4, --inet4-only 仅连接IPv4地址。

　　-6, --inet6-only 只连接到 IPv6 地址。

　　--prefer-family=FAMILY connect first to addresses of specified family,

　　one of IPv6, IPv4, or none.

　　--user=USER 把ftp和http的用户名设定为UESR。

　　--password=PASS 把ftp和http的密码设定为PASS。

　　-nd，--no-directories 不建立文件夹。

　　-x，--force-directories 强制建立文件夹。

　　-nH, --no-host-directories 不创建主机目录。

　　--protocol-directories use protocol name in directories.

　　-P, --directory-prefix=PREFIX 将文件保存到 PREFIX/...

　　--cut-dirs=NUMBER ignore NUMBER remote directory components.

　　HTTP 选项:

　　--http-user=USER 将 http用户设为 USER.

　　--http-password=PASS 将http密码设为 PASS.

　　--no-cache 不接受服务器缓存的数据.

　　-E，--html-extension 以'.html'扩展名保存HTML文档。

　　--ignore-length ignore `Content-Length' header field.

　　--header=STRING insert STRING among the headers.

　　--max-redirect maximum redirections allowed per page.

　　--proxy-user=USER 设定 USER 作为代理用户名。

　　--proxy-password=PASS 设定 PASS 作为代理密码。

　　--referer=URL include `Referer: URL' header in HTTP request.

　　--save-headers 保存 HTTP 头到文件。

　　-U, --user-agent=AGENT identify as AGENT instead of Wget/VERSION.

　　--no-http-keep-alive disable HTTP keep-alive (persistent connections).

　　--no-cookies 不使用cookies.

　　--load-cookies=FILE 在会话前从文件中读取cookies。

　　--save-cookies=FILE 在会话结束后保存 cookies 到 FILE。

　　--keep-session-cookies load and save session (non-permanent) cookies.

　　--post-data=STRING use the POST method; send STRING as the data.

　　--post-file=FILE use the POST method; send contents of FILE.

　　--content-disposition honor the Content-Disposition header when

　　choosing local file names (EXPERIMENTAL).

　　--auth-no-challenge Send Basic HTTP authentication information

　　without first waiting for the server's

　　challenge.

　　HTTPS (SSL/TLS) 选项:

　　--secure-protocol=PR choose secure protocol, one of auto, SSLv2,

　　SSLv3, and TLSv1.

　　--no-check-certificate don't validate the server's certificate.

　　--certificate=FILE client certificate file.

　　--certificate-type=TYPE client certificate type, PEM or DER.

　　--private-key=FILE private key file.

　　--private-key-type=TYPE private key type, PEM or DER.

　　--ca-certificate=FILE file with the bundle of CA's.

　　--ca-directory=DIR directory where hash list of CA's is stored.

　　--random-file=FILE file with random data for seeding the SSL PRNG.

　　--egd-file=FILE file naming the EGD socket with random data.

　　FTP 选项:

　　--ftp-user=USER 设置ftp用户为 USER.

　　--ftp-password=PASS 设置ftp密码为 PASS.

　　--no-remove-listing don't remove `.listing' files.

　　--no-glob turn off FTP file name globbing.

　　--no-passive-ftp disable the "passive" transfer mode.

　　--retr-symlinks when recursing, get linked-to files (not dir).

　　--preserve-permissions preserve remote file permissions.

　　递归下载：

　　-r, --recursive specify recursive download.

　　-l, --level=NUMBER maximum recursion depth (inf or 0 for infinite).

　　--delete-after delete files locally after downloading them.

　　-k, --convert-links make links in downloaded HTML point to local files.

　　-K, --backup-converted before converting file X, back up as X.orig.

　　-m, --mirror shortcut for -N -r -l inf --no-remove-listing.

　　-p, --page-requisites get all images, etc. needed to display HTML page.

　　--strict-comments turn on strict (SGML) handling of HTML comments.

　　Recursive accept/reject:

　　-A, --accept=LIST comma-separated list of accepted extensions.

　　-R, --reject=LIST comma-separated list of rejected extensions.

　　-D, --domains=LIST comma-separated list of accepted domains.

　　--exclude-domains=LIST 被拒绝的域名的用逗号分开的列表。

　　--follow-ftp follow FTP links from HTML documents.

　　--follow-tags=LIST comma-separated list of followed HTML tags.

　　--ignore-tags=LIST comma-separated list of ignored HTML tags.

　　-H, --span-hosts 当递归时转到陌生的主机。

　　-L, --relative 只跟随相对链接。

　　-I, --include-directories=LIST 允许的目录的列表。

　　-X, --exclude-directories=LIST 不包括的目录的列表。

　　-np, --no-parent don't ascend to the parent directory.

如果你认为只是一个命令行下载工具, 那你就错了, wget 有能力完成各种各样的下载任务. 下面我会给出一些简单的例子:

如果你想从网站上下载一个文件.

http://www.dummy.com/foo.tar.gz

有时下载到一半会丢失链接, 我可以恢复之前的下载么?

-c http://www/dummy.com/foo.tar.gz

好吧, 我的网速很慢, 经常会断开链接, 我想让他自动重试直到下载完成该怎么办？

-t 0 -c http://www.dummy.com/foo.tar.gz #默认会重试20次, -t 0 会让他一直重试.

嗯… 不错, 如果我有URL我可以一次下载整张网页么?

-p http://www.dummy.com/blog

如果我要下载文件的网址需要指定用户名和密码怎么办?

http://www.dummy.com/bar.tar --user=name --password=passwd?

我还可以做什么?

更多的操作, 输入man 吧.

转载地址：http://cenfb.baihongyu.com/

你可能感兴趣的文章

手把手用 IntelliJ IDEA 和 SBT 创建 scala 项目

Logistic regression 为什么用 sigmoid ？

查看>>

Logistic Regression 为什么用极大似然函数

用 TensorFlow.js 在浏览器中训练神经网络

查看>>

cs230 深度学习 Lecture 2 编程作业： Logistic Regression with a Neural Network mindset

查看>>

梯度消失问题与如何选择激活函数

查看>>

为什么需要 Mini-batch 梯度下降，及 TensorFlow 应用举例

5 分钟入门 Google 最强NLP模型：BERT

查看>>

初探Java设计模式4：一文带你掌握JDK中的设计模式

查看>>

初探Java设计模式5：一文了解Spring涉及到的9种设计模式

查看>>