我是靠谱客的博主 单薄墨镜,最近开发中收集的这篇文章主要介绍wget 递归下载整个网站,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

使用方法:
cd ${word_dir}
wget -r -p -np -k $url

参数介绍:
-r 递归,指定递归下载
-p 页面必须元素,下载所有的图片等页面所需的内容
-np 不追溯至上父级目录
-k 转换链接,将下载的HTML页面中的链接转换为相对链接即本地链接

此方法优化方案:
1、增加如下参数:
-c 断点续传
–no-check-certificate 不验证网站HTTPS证书

2、下载之后会每个目录会有一个index.html文件,批量删除方法:
cd ${work_dir}
find ./ -name “index.html” -exec rm -rf {} ;

最后

以上就是单薄墨镜为你收集整理的wget 递归下载整个网站的全部内容,希望文章能够帮你解决wget 递归下载整个网站所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(66)

评论列表共有 0 条评论

立即
投稿
返回
顶部