吾爱破解 - LCG - LSG |安卓破解|病毒分析|www.52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 28158|回复: 357
收起左侧

[Network Analyzer] 全系统百宝箱之网站扒皮工具

     关闭 [复制链接]
txq0211 发表于 2022-4-19 12:02
本帖最后由 txq0211 于 2022-4-22 15:06 编辑

目标:
整理完善我的百宝箱,不段更新避免有些工具太久没用过时了都不知道,
覆盖范围Windows+Mac+Linux(KylinOS、UOS,支持国产操作系统的工具研究优先),
研究常用工具如何向国产终端过渡,跟进国产化工具进程,如有不足希望大家指正,会不根据大家建议不断优化工具箱。

工具箱内容:

废话少说,先上网站扒皮工具地址:https://www.123pan.com/s/2GLRVv-4W4Gv

Windows工具:仿站小工具,适合单页面抓,只想用一个页面的时候用它。
Windows工具:WinHTTrack(2017以来未更新),非常好用的一个工具,我抓整站用的最多就是它。
MacOS工具:SiteSucker Pro,Mac系统上一款暴力整站工具,只需输入一个URL,按下回车键,就可以下载整个网站,就是这么简单!。
Linux工具:需要用到我们平时最常用的命令行下载器Wget,就能完成整个网站数据的下载操作。

[Shell] 纯文本查看 复制代码
#下面的命令会在终端所在目录创建一个www.2kil.com目录,将网站www.2kil.com上的数据全部下载到这个目录中wget -rck -np www.2kil.com
wget -rck -np www.2kil.com
#对应参数解释:
#-r,递归下载
#-c,断点续传,若网站长时间未响应或中途断开,此参数可以让数据断点续传
#-k,转换链接为本地链接
#-np,--no-parent不追溯至父级

Windows工具:wget.exe,用法和Linux相似,不过可以基于此开发
[Shell] 纯文本查看 复制代码
 .\wget.exe -rck -np www.2kil.com


这些工具可以将目标站点的目录结构、html 网页、图像、PDF、样式表、音视频等文件异步保存到本地。
工具思考:

曾经有一个非常棒的网站摆在我面前我没有珍惜。
等这个网站404的时候我才后悔莫及,人世间最痛苦的事莫过于此。
好在,自从会扒皮后,看到好的网站,就把它扒下来。当然不是所有的网站都能扒下来,
对于静态网站(没后台,代码是写死的,包括动画效果代码,包括模板网站)效果比较好,
对于动态网站(有后台,有数据库的,前端代码通过接口由后台数据库生成的网站)的效果可能不太好。
简单说来,没后台的随便扒,有后台的就看后台腹部复杂了。
就像我扒下这个动效周期表网站,就是一个动画网站,但是不影响我把它全部扒下来:
QQ20220417-212100.png
搞教程的不会扒皮,官网没了,搞到后面就断更了太监了。
(学动画的话,动效周期表挺不错的资源,之前帖子发错位置被清除。
懒得重发了,下载地址放这里。如果恰好有学动画,又有想扒皮的小伙伴一个彩蛋吧)
动效周期表地址:https://www.123pan.com/s/2GLRVv-wW4Gv
1、Windows工具:仿站小工具
微信截图_20220419120218.png 微信截图_20220419112730.png

2、Windows工具:WinHTTrack
微信截图_20220419112513.png
微信截图_20220419112452.png
3、MacOS工具:SiteSucker Pro
QQ20220421-233243.png

4、Linux工具:Wget
2022-04-22_08-44-40.png
5、Windows工具:wget.exe
QQ截图20220422150048.jpg

免费评分

参与人数 102吾爱币 +88 热心值 +89 收起 理由
menlaoshi168 + 1 + 1 我很赞同!
jlm + 1 + 1 热心回复!
a1327831029 + 1 + 1 谢谢@Thanks!
huangn2008 + 1 + 1 我很赞同!
xiaoyur + 1 我很赞同!
浮生半歇 + 1 用心讨论,共获提升!
johnsky83 + 1 + 1 我很赞同!
CyberAzrael + 1 + 1 我很赞同!
lunker2019 + 1 + 1 谢谢@Thanks!
Zyw + 1 + 1 用心讨论,共获提升!
glz220 + 1 鼓励转贴优秀软件安全工具和文档!
1000Y + 1 这个牛啊!
Star0928 + 1 + 1 谢谢@Thanks!
wwwxxxddd999 + 1 用心讨论,共获提升!
bbs090213 + 1 我很赞同!
我风之浪子 + 1 + 1 我很赞同!
a282619133 + 1 + 1 谢谢@Thanks!
nlp + 1 热心回复!
happyfox1999 + 1 我很赞同!
tocabd + 1 + 1 谢谢@Thanks!
jikic + 1 + 1 热心回复!
smallchop + 1 + 1 我很赞同!
liyqckli + 1 + 1 我很赞同!
龙山的阿明 + 1 我很赞同!
李佑辰 + 1 + 1 谢谢@Thanks!
nakasou + 2 + 1 热心回复!
奥怪 + 1 + 1 鼓励转贴优秀软件安全工具和文档!
jomen + 1 + 1 谢谢@Thanks!
60000ak + 1 + 1 热心回复!
yzqgeorge + 1 + 1 谢谢@Thanks!
lu6xueqi + 1 + 1 谢谢@Thanks!
猫宁Morning + 1 + 1 用心讨论,共获提升!
voila。 + 1 + 1 谢谢@Thanks!
resu + 1 + 1 用心讨论,共获提升!
豪气冲天 + 1 + 1 谢谢@Thanks!
ll090822 + 1 + 1 我很赞同!
why3316 + 1 + 1 谢谢@Thanks!
zhouyunfei1979 + 1 + 1 谢谢@Thanks!
ccwcjun + 1 + 1 我很赞同!
jie520yun + 1 + 1 我很赞同!
hhk007 + 1 + 1 我很赞同!
chok98 + 1 + 1 谢谢@Thanks!
rumushiyi + 1 + 1 用心讨论,共获提升!
blindcat + 1 + 1 谢谢@Thanks!
yk1807 + 1 + 1 我很赞同!
root000001 + 1 我很赞同!
SAPLU + 1 + 1 谢谢@Thanks!
zxcvbnmaiaimi + 1 + 1 感谢分享!
94079490 + 1 + 1 用心讨论,共获提升!
Zhaofeiyan + 1 + 1 我很赞同!
挚爱红蓝 + 1 热心回复!
Ricardo41 + 1 + 1 热心回复!
ZZF1949 + 1 + 1 我很赞同!
lyslxx + 1 + 1 我很赞同!
lishixin23 + 1 + 1 谢谢@Thanks!
tte + 1 已经处理,感谢您对吾爱破解论坛的支持!
yydebug + 1 我很赞同!
options + 1 我很赞同!
一枝梨花 + 1 谢谢@Thanks!
pojiecainiao + 1 + 1 谢谢@Thanks!
WuAi5324499 + 1 热心回复!
cuxin + 1 热心回复!
小白白爱吃糖 + 1 谢谢@Thanks!
诗和远方代言人 + 1 + 1 谢谢@Thanks!
SFY110 + 1 + 1 谢谢@Thanks!
丿坨坨灬 + 1 + 1 我很赞同!
lwq229 + 1 + 1 谢谢@Thanks!
bbl_li + 1 + 1 谢谢@Thanks!
bugof52pj + 1 + 1 谢谢@Thanks!
Issacclark1 + 1 谢谢@Thanks!
wang82530 + 1 + 1 我很赞同!
chen6qi + 1 谢谢@Thanks!
lyricsaya + 1 + 1 谢谢@Thanks!
ws001980 + 1 + 1 谢谢@Thanks!
wuo121 + 1 + 1 我很赞同!
wumingluan + 1 + 1 谢谢@Thanks!
hongchangbo + 1 + 1 谢谢@Thanks!
grrr_zhao + 1 + 1 谢谢@Thanks!
mhaitao + 1 + 1 我很赞同!
wwj123 + 1 谢谢@Thanks!
邓阿房 + 1 + 1 我很赞同!
Zed丶小灰狼 + 1 + 1 热心回复!
zhengsg5 + 1 + 1 谢谢@Thanks!
dave496 + 1 我很赞同!
mEIhUAlU123 + 1 我很赞同!
185 + 1 + 1 我很赞同!
hwh425 + 1 我很赞同!
longpo + 1 + 1 我很赞同!
er_nianni + 1 + 1 热心回复!
clocker321 + 1 + 1 我很赞同!
宾鹏博 + 1 + 1 谢谢@Thanks!
ycdcsrj + 1 + 1 热心回复!
alongzhenggang + 1 + 1 除了第二个 都需要.net环境 有教程吗
qwe134133987 + 1 + 1 热心回复!
kk1212 + 1 + 1 谢谢@Thanks!
shihdhr + 1 + 1 我很赞同!
林沫 + 1 谢谢@Thanks!
Launhing + 1 + 1 热心回复!
yanglinman + 1 谢谢@Thanks!
1MajorTom1 + 1 我很赞同!

查看全部评分

本帖被以下淘专辑推荐:

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

rooob 发表于 2022-4-19 14:19
wget -r -p -np -k 网站地址
 楼主| txq0211 发表于 2022-4-19 17:00
本帖最后由 txq0211 于 2022-4-19 17:04 编辑

微信截图_20220419170239.png
uan 发表于 2022-4-19 15:02
这两个工具其实已经不怎么好用了,尤其是现在的h5、及各种特效类的网站,这两个工具都不怎么好用

H5、动效这些只要是静态的,代码不是数据生成的都可以抓
uan 发表于 2022-4-19 15:02
这两个工具其实已经不怎么好用了,尤其是现在的h5、及各种特效类的网站,这两个工具都不怎么好用
jimmy1177 发表于 2022-4-21 14:15
网站扒皮其实就是要网站的风格,所以用浏览器直接保存静态HTML页面就可以了,无非就是首页,列表页,详情页,以及部分专题, 一个种类的页面保存一个就行了,因为统一都调用style.css, 把各页面的元素拼凑一下也能自己创造新页面出来,没那么复杂。  专业扒皮20年~~~
我是一个外星人 发表于 2022-4-19 12:16
支持一下。
long8586 发表于 2022-4-19 12:21
支持一下。感谢!
LTcorpio 发表于 2022-4-19 12:21
曾经想找却怎么也找不到,如今吾爱一眼便遇见。
感谢作者大大
okay1024 发表于 2022-4-19 12:22
感谢分享,我去试试,哈哈
djxding 发表于 2022-4-19 12:23
感谢楼主分享。

收藏备用。

lugo 发表于 2022-4-19 12:31

支持一下。感谢!
symbolshen 发表于 2022-4-19 12:58
学习一下 很有用
CXC303 发表于 2022-4-19 13:03
感谢分享
huiker231 发表于 2022-4-19 13:10
感谢分享。只能扒些图片吗?
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则 警告:本版块禁止灌水或回复与主题无关内容,违者重罚!

快速回复 收藏帖子 返回列表 搜索

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2024-4-20 01:59

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表