我如何下载整个网站?
我想下载整个网站(包含子网站)。 那有什么工具吗?
从这里尝试例子10:
wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL
-
–mirror
:启用适合镜像的选项。 -
-p
:下载正确显示给定HTML页面所需的所有文件。 -
--convert-links
:下载后,转换文档中的链接以供本地查看。 -
-P ./LOCAL-DIR
:将所有文件和目录保存到指定目录。
httrack是您正在寻找的工具。
HTTrack允许您从Internet下载万维网站点到本地目录,递归构建所有目录,从服务器获取HTML,图像和其他文件到您的计算机。 HTTrack安排原始网站的相对链接结构。
使用wget
可以下载整个网站,你应该使用-r
开关进行递归下载。 例如,
wget -r http://www.google.com
WEBHTTRACK WEBSITE COPIER是一个将整个网站下载到硬盘上以便离线浏览的便捷工具。 启动ubuntu软件中心,在搜索框中输入“webhttrack网站复印机”,不带引号。 选择并从软件中心下载到您的系统上。 从laucher或开始菜单启动webHTTrack,从那里你可以开始享受这个伟大的工具下载你的网站
我不知道子域名,即子站点,但wget可用于获取完整的站点。 看看这个超级用户的问题 。 它说你可以使用-D domain1.com,domain2.com
在单个脚本中下载不同的域。 我认为您可以使用该选项下载子域,即-D site1.somesite.com,site2.somesite.com
我使用Burp – 蜘蛛工具比wget更智能,并且可以配置为在必要时避免使用部分。 Burp Suite本身是一套强大的工具来帮助测试,但蜘蛛工具非常有效。
您可以下载整个网站命令:
wget -r -l 0 website
示例:
wget -r -l 0 http://google.com
观看本教程: https : //youtu.be/8cnrQqGiWBc
如果速度是一个问题(并且服务器的健康不是),你可以尝试puf ,它的工作方式与wget类似,但可以并行下载多个页面。 然而,它不是成品,没有维护和可怕的无证。 尽管如此,要下载包含大量小文件的网站,这可能是一个不错的选择。