370125229 发表于 2024-2-14 19:57

阅读3.0 书源快速校验小工具,30秒 校验 2000+ 书源

自带的校验功能还是比较慢,且不支持去重和清洗分组,所以自己就搓了一个简陋的小工具,来实现这些需求
验证了去重后的 2004 条书源,耗时仅 30 秒,具体详情可以看后面的说明。

因为是花了差不多一天写的,还比较简陋,功能不多,局限也多,不能接受的话,可以在寻找其他方案,下载链接在文末

## 局限

1. 仅支持检测单个 `json文件` 书源(导出)
2. 仅判断书源地址是否可访问(状态码:200),不支持复杂判断(包括不限于,搜索功能是否可用、小说内容是否正常获取、内容是否缺失等等)
3. 已有功能(自动归类、去重)强制执行,不支持关闭

## 功能

1. 批量判断书源是否能被访问(状态码:200)
2. 清理分组并自动归类(去除原始分组,自动按照:小说、漫画、音频、文件 进行分组)、
3. 去除重复 URL(按照域名判断,相同域名只保留第一条)

采用了 **多线程+协程** 的方式进行批量检测

我采用默认配置进行了测试,验证了去重后的 **2004** 条书源,耗时仅 **30** 秒





## 用法

### 界面运行

双击打开(只能使用默认配置,读取 `book.json` 文件)



### 命令行

```shell
start.exe [-h] [-f JSON_FILE] [-t NUM_THREADS] [-b BATCH_SIZE] [-s TIMEOUT]
-f --json_file json文件路径(默认读取 book.json)
-t --num_threads 并发线程数 (默认: 16)
-b --batch_size 批量大小 (默认: 30)
-s --timeout 请求超时时间 (默认: 5秒)

// 示例
start.exe
start.exe -f "book.json"
start.exe -f "book.json" -s 10
start.exe -f "book.json" -t 8 -b 10 -s 3
```

下载:https://www.lanzv.com/iXEWr1o90tuj 密码:ctxs

370125229 发表于 2024-2-14 22:19

本帖最后由 370125229 于 2024-2-14 22:26 编辑

helh0275 发表于 2024-2-14 22:14
楼主也不写明,必须改名为“Book.json”
测试了一下,居然能用的书源没几个啦?!但我有点怀疑这 ...
文章中已经说明了,如果是双击运行 只支持 book.json 的文件(默认),如果想要读取其他文件 或者 修改配置,请使用命令行的方式执行,你这个大部分是超时了(默认超时时间是5秒),可能是你的网络不好,建议你使用命令行执行,并配置超时时间到10秒甚至更大

如下示例(读取 书源.json 文件,设置超时时间为 10 秒):
start.exe -f "书源.json" -s 10

adama 发表于 2024-2-14 23:21

楼主,这里有个问题是不是忽略了?
书源中有大量的wap站,在电脑的浏览器上是不显示页面的,
这类网站会不会校验时被做为url无效剔除?

helh0275 发表于 2024-2-14 22:14

本帖最后由 helh0275 于 2024-2-14 22:15 编辑

{:1_925:}楼主也不写明,必须改名为“Book.json”
测试了一下,居然能用的书源没几个啦?!但我有点怀疑这结果啊,不至于失效这么多吧...{:1_923:}
https://pic.rmb.bdstatic.com/bjh/240214/31a5c43e4fe52b5bb7ab286a04da8cac3493.png

MSS 发表于 2024-2-15 09:49

https://picshack.net/ib/ZTTMIk5lxl.pnghttps://picshack.net/ib/qhNJln3XLr.jpghttps://picshack.net/ib/dl7jR7Onpk.jpg

同一个书源文件。同样的网络环境。测试后三种结果。建议大佬后面考虑做下优化或者做个外置配置文件来设置验证参数。

xshn 发表于 2024-2-16 10:43

最好能增加一些判断,不用追求速度

kghong 发表于 2024-2-16 19:34

https://www.lanzv.com/iXEWr1o90tuj这样的我怎么打不开

CCQc 发表于 2024-2-14 21:46

这个可以。请完善一下可以当做阅读停更后的另类更新。祝楼主新年快乐。

xalpha 发表于 2024-2-14 21:49

很厉害,建议加个壳(UI),鼠标点击可视化操作

小朙 发表于 2024-2-14 21:53

厉害了,整理书源更加方便拉

Ld23 发表于 2024-2-14 22:18

不错,很方便

pj666a 发表于 2024-2-14 22:29

52shijie 发表于 2024-2-14 22:39

支持下收藏了

junm123 发表于 2024-2-14 22:52

好东西 这个确实有用
页: [1] 2 3 4 5 6 7 8 9 10
查看完整版本: 阅读3.0 书源快速校验小工具,30秒 校验 2000+ 书源