Tag: wget

Wget like utility可以在mysite.com/img/目录下载所有图像

我对mysite.com/img/目录的访问被阻止。 但是，该目录中的所有图像都是n.jpgforms，其中n是第n个图像。 我对mysite.com/img/n.jpg访问权限未被阻止 无论如何，我保存图像1-500（ mysite.com/img/1.jpg到mysite.com/img/500.jpg ）？ 我正在使用ubuntu 11.10

如何从wget’ed文件中删除CRLF行终止符？

我想下载一个原始文件的pastebin，我试过： wget http://pastebin.com/raw.php?i=LBVNiRXa -O somefile 我唯一的问题是该文件到达CRLF行终止符。 我可以只用一个命令行删除行终止符吗？

如何仅使用根域名下载网站的PDF？

我正在使用此命令： wget -nd -e robots=off –wait 0.25 -r -A.pdf http://yourWebsite.net/ 但我无法从网站上获取PDF。 例如，我有一个根域名： www.example.com 这个网站有PDF，DOC，HTML等。我想通过只插入根域名而不是下载页面的确切地址来下载所有PDF。

wget如何从提示您单击“同意”条件的网页下载文件

我想使用wget实用程序下载文件。 我按照“ 如何使用wget / curl从我登录的站点下载？ ”的说明进行操作，下载过程正常; 但是，保存的cookie会在一段时间后过期，因此我无法在第二天继续下载该文件。 这是我正在尝试从以下位置下载文件的URL： https://frbservices.org/EPaymentsDirectory/FedACHdir.txt 下载页面要求我在继续下载之前单击“同意”按钮。 有没有办法在wget实用程序中包含“同意”提交？ 谢谢。

如何创建使用关键字和过滤内容的CLI Web Spider？

我想在弃用的（过时的）文学论坛e-bane.net中找到我的文章。 一些论坛模块被禁用，我无法获得作者的文章列表。 此外，该网站未被搜索引擎编入索引，如Google，Yndex等。 找到我所有文章的唯一方法是打开网站的存档页面 （图1）。 然后我必须选择某些年份和月份 – 例如2013年1月 （图1）。 然后我必须检查每篇文章（图2）是否在开头写了我的昵称 – pa4080 （图3）。 但是有几千篇文章。 我已经阅读了以下几个主题，但没有一个解决方案符合我的需求： Ubuntu的网络蜘蛛 如何在Linux系统上编写Web蜘蛛 从站点获取URL列表 我会发布自己的解决方案 。 但对我来说很有趣： 有没有更优雅的方法来解决这个任务？

gzip：stdin：不是gzip格式

当我跑： tar -zxvf john-1.7.0.2.tar.gz 我明白了： gzip: stdin: not in gzip format tar: Child returned status 1 tar: Error is not recoverable: exiting now 它应该开始拆包。 有些人告诉我不要使用z但我得到了同样的错误。 这是我用这种方式下载的文件： wget http://openwall.com/john/f/john-1.7.0.2.tar.gz

如何下载整个网站的.mp3文件？

我想下载网站上的所有mp3文件（甚至在主页和子链接中）。 例如，我想从“ http://example.org/musics/ ”和所有子链接下载所有.mp3链接。 如何使用wget或httrack命令执行此操作？

如何创建具有多个进度条的wget GUI？

我正在编写自己的脚本来使用wget下载多个项目（同时，每个命令一个项目），我需要一个进度条。 我目前使用zenity –progress进行我的进度条，但问题是它在下载时产生了多个进度条。 我想要实现的是类似于Nautilus中的文件传输对话框： 任何人都可以指出哪个程序或语言可以实现这一目标的正确方向。 注意：我只掌握shell脚本的基本知识，而不是其他。

如何在wget中继续下载，通过flashgot与firefox集成

我使用wget作为下载程序。 这是一个出色的，出色的应用程序。 我使用Flashgot将它与Firefox集成。 如何恢复按CTRL + C键按下或在此配置的wget中关闭的下载？

如何查看/停止当前运行的crontab任务？

如何查看正在进行的crontab任务？ 如何手动停止正在进行的crontab任务？ 关于当前运行的cron进程是否[问题]？ 是 手动杀死进程的一种方法是使用pkill 我曾经想过pkill / killall，但我在crontab文件中的一些命令分别是！ 这意味着在完成命令后，下一个命令将启动！ 例如： sudo crontab -e 00 10 * * * /usr/bin/wget LINK ; shutdown -h now 所以，如果我杀了wget，计算机将关机！ – >我想完全杀死一个cron任务，而不是它的一部分！ 下一个pkill问题：脚本怎么样？ （我已经将一些bash脚本导入到crontab -e） – > sudo pkill ???