求一个可以扒网站的工具！

7981869 · 发表于 2023-4-9 13:39

求一个可以扒网站的工具！
求一个可以扒网站的工具！
求大佬分享一下！！！

孤狼微博 · 发表于 2023-4-9 18:43

https://smalltool.github.io/ 不知道可以满足不

h404ack · 发表于 2023-4-9 19:59

https://www.geckoandfly.com/32437/download-websites/

7981869 · 发表于 2023-4-9 22:29

h404ack 发表于 2023-4-9 19:59
https://www.geckoandfly.com/32437/download-websites/

这个可以整站拔下来嘛带后台的那种

liu00cheng · 发表于 2023-4-9 22:31

https://www.qianguw.com/down/1472.html
网站整站下载器--中国网协专版

kunshan94 · 发表于 2023-12-27 14:40

可以下载小飞兔整站下载工具

lebang86 · 发表于 2023-12-27 15:18

7981869 发表于 2023-4-9 22:29
这个可以整站拔下来嘛带后台的那种

想多了。

JIeJaitt · 发表于 2023-12-27 16:58

在线爬取工具
------

在线扒站工具：[https://bazhan.wang](https://bazhan.wang/) 或 [https://bazhan.me](https://bazhan.me/) 。只允许爬取单个页面。

Archivarix：[https://archivarix.com/en/website-downloader-cms-converter/](https://archivarix.com/en/website-downloader-cms-converter/) 可以免费下载 200 个文件。

HTTrack 类软件
-----------

对不懂编程的，推荐老牌的爬站工具 HTTrack 。

HTTrack ：[https://www.httrack.com](https://www.httrack.com/) 支持 Windows/Linux/OSX/Android。类似工具还有 teleport ultra。

Cyotek WebCopy：[https://www.cyotek.com/cyotek-webcopy](https://www.cyotek.com/cyotek-webcopy)

这些工具都只能处理静态页面内容，无法处理使用了 Ajax 动态数据展示的网站。

离线存档工具
------

定位于网站离线存档的工具，也可以作为爬取工具使用，功能更为强大，但需要一定技术基础。

ArchiveBox：[https://archivebox.io](https://archivebox.io/)

Kiwix：[https://www.kiwix.org](https://www.kiwix.org/)

Conifer：[https://conifer.rhizome.org](https://conifer.rhizome.org/)

这几个都支持 Headless Chromium，因此可以爬取 ajax 动态数据的网站。

当然技术人员也可以基于万能的爬虫框架 [Scrapy](https://scrapy.org/) 自己开发一个。

ArchiveBox 的 [Wiki](https://github.com/ArchiveBox/ArchiveBox/wiki/Web-Archiving-Community) 对各种 Web Archiving 工具及服务做了很好的总结，值得参考和挖掘：[https://github.com/ArchiveBox/ArchiveBox/wiki/Web-Archiving-Community](

JIeJaitt · 发表于 2023-12-27 16:59

7981869 发表于 2023-4-9 22:29
这个可以整站拔下来嘛带后台的那种

从没听过可以扒后台的网站

JIeJaitt · 发表于 2023-12-27 17:13

扒站（网站爬虫）是指通过程序自动化地提取网站上的信息。通常情况下，扒站是基于公开可访问的网页内容进行的，而网站的后台通常是需要登录和授权才能访问的部分。

帐号		自动登录	找回密码
密码			注册[Register]

[资源求助] 求一个可以扒网站的工具！