求批量下载网站图片的软件和方法

dreamlife1979

求批量下载整个网站的图片的软件和方法，比如某个网站：https://xxxx/xxxx/xxxx/xxx/xxx/xxx.jpg , 如何批量下载整个网站的图片呢？标注红色的为变量

有用过extreme picture finder软件，不知道是不是不会设置还是其他原因，输入整个网站: https://xxxx/ ，然后各个选项按照默认，花的时间比较多，又抓不到理想的图片。

qiupeiyuan

dreamlife1979 发表于 2024-9-9 10:53
那个我有装，以前都是提当页页面图片，比如我所提到的，如何编辑网址页面规则呢？

https://xxxx/xxxx/xxxx/2015/10/rooster-milk-mug-of-herend-1.jpg
https://xxxx/xxxx/xxxx/2015/10/rooster-milk-mug-of-herend-1.jpg
https://xxxx/xxxx/xxxx/2015/10/herend-vrh-vienna-rose-tea-cup-1.jpg
https://xxxx/xxxx/xxxx/2019/01/apponyi-gold-grey-coffee-cup-1.jpg
https://xxxx/xxxx/xxxx/2019/03/royal-garden-tea-pot-606-0-17-evict2-11.jpg

就拿你提到的图片网址举个栗子，https://xxxx/xxxx/xxxx/2015/10/rooster-milk-mug-of-herend-1.jpg的图片页面可以用通配符这样写https://xxxx/xxxx/xxxx/2015/page=[1-10]，这样它就自动打开1-10的页面收集所有的图片了，只要有页面规则就很好处理，我打开过300多个页面收集，内存用了20多G，电脑硬件性能不高不建议打开太多，可以很几次

Cristy

/xxx/xxx/xxx.jpg   后面这一串有什么规律？写个py脚本批量爬，或者浏览器插件将所有已经读取过的图片资源可以打包下下来，类似嗅探之类的插件

wkfy

1.自己写脚本，毕竟每一个网站不一样。
2.如果是数字规则，用IDM批量下载，但是每次只能1000个。
3.如果网页上可见链接。那idm的任务--运行站点抓取。

42328669425

得有几个例子  只x 咋看得出来

dreamlife1979

Cristy 发表于 2024-9-8 10:13
/xxx/xxx/xxx.jpg   后面这一串有什么规律？写个py脚本批量爬，或者浏览器插件将所有已经读取过的图片资源 ...

我抓的是产品图片，因为大部分网站类似我提供的那样结构，如果是数字有规律早就用IDM批量下载了，另外测试extreme picture finder 估计不会设置，这个软件可以整站的图片抓取下来，但感觉我抓不了，不知道有使用类似的软件大神么

dreamlife1979

42328669425 发表于 2024-9-8 12:11
得有几个例子  只x 咋看得出来

https://xxxx/xxxx/xxxx/2015/10/rooster-milk-mug-of-herend-1.jpg
https://xxxx/xxxx/xxxx/2015/10/rooster-milk-mug-of-herend-1.jpg
https://xxxx/xxxx/xxxx/2015/10/herend-vrh-vienna-rose-tea-cup-1.jpg
https://xxxx/xxxx/xxxx/2019/01/apponyi-gold-grey-coffee-cup-1.jpg
https://xxxx/xxxx/xxxx/2019/03/royal-garden-tea-pot-606-0-17-evict2-11.jpg

带XXX的不变，主要变化后面

qiupeiyuan

dreamlife1979 发表于 2024-9-8 12:26
https://xxxx/xxxx/xxxx/2015/10/rooster-milk-mug-of-herend-1.jpg
https://xxxx/xxxx/xxxx/2015/10/ro ...

基于你说的例子，chrome内核的Fatkun图片批量下载插件可以做到，可以编辑网址页面规则，一次打开几百个网页，收集打开网页的图片批量下载，可以一键下载整个页面的图片，也可以选择性下载。

dreamlife1979

qiupeiyuan 发表于 2024-9-8 15:19
基于你说的例子，chrome内核的Fatkun图片批量下载插件可以做到，可以编辑网址页面规则，一次打开几百个网 ...

那个我有装，以前都是提当页页面图片，比如我所提到的，如何编辑网址页面规则呢？

dreamlife1979

qiupeiyuan 发表于 2024-9-8 15:19
基于你说的例子，chrome内核的Fatkun图片批量下载插件可以做到，可以编辑网址页面规则，一次打开几百个网 ...

一次打开几百个网页是手动还是插件自动打开？手动的话，就没啥意义