Ubuntu的网络蜘蛛

我正在寻找Ubuntu的网络蜘蛛,就像这个Webripper – Calluna Software 。 您可以下载整个网站

wget -r -m example.com 

但我正在寻找的function是你可以输入一个像“Linux”这样的搜索词,它会在网上搜索并下载它们。 Ubuntu上有这样的程序吗?

您可以使用Google快讯创建一种传送到Feed的搜索页面,然后使用RSS阅读器或Thunderbird来阅读它们。

我使用Thunderbird for RSS。 我不知道是否有任何RSS阅读器可以将feed导出到简单的html。

给httrack(CLI)或webhttrack(web界面)一个镜头,它在宇宙回购中。 我不确定您描述的搜索术语function,但它确实提供了一堆易于配置的选项。

http://packages.ubuntu.com/de/oneiric/webhttrack

HTTrack网站复印机 – 免费软件离线浏览器(GNU GPL)

你可以试试http ripper 。

以下是网站上发布的一些function:

 Free Software (GPL 3) Generic (works with almost every website) Runs on GNU/Linux and Windows Nearly undetectable / blockable by servers Built with python and pygtk 

http://29a.ch/httpripper/screenshots/2.png 屏幕截图

从httpripper自己的开发人员那里观看教程:

  • httpripper.ogg 。

下载链接:

  • httpripper_1.1.1_all.deb

它在Ubuntu 11.10 x64下对我有用

Perl的CPAN有足够的模块。 你只需要一点perl脚本。

特别是,请查看WWW:Mechanize模块中的WWW:Mechanize模块 。