关于图标点选验证码识别方案

BinYoooo · 发表于 2025-7-20 07:39

本帖最后由 BinYoooo 于 2025-7-20 10:18 编辑

现在碰到图标点选验证码的方式，一般通过使用labelimg的方式进行打标，这种方式费时又费力。

labelImg打标

现在有一个比较通用的方式。首先获取验证码的图标种类，去重之后与自己的数据集整合。在这过程中可以直接记录位置与种类，并转成yolo的格式。这样可以直接通过yolo的方式直接训练，而且数据集的大小完全可以自己定义。

数据集我使用了10000张左右训练。大概400个epoch，mPA50-95在94左右。使用的是YOLOv12。
截屏2025-07-19 16.33.38.png
截屏2025-07-19 16.34.09.png

原图识别效果

参考 main.py的使用方式。
最终数据集会保存在save_path里，已经分好images和labels。训练集和测试集的话可以修改save_path，分两次运行。这样最终效果可以直接在Yolo里训练。

像类似下面这些验证码都可以使用以上方式进行，主要在于图标去重部分，图标解决了后续就简单了。

最后

代码已放在github上，仅供参考，其它类型也有其对应的方案。点我跳转

仅提供思路，不提供任何解决办法。代码问题请自行参考修改。

如果对你有用的话，点个star支持一下。

如有侵权，请联系我～

转载请声明来源！！！

Niuer · 发表于 2025-7-20 08:13

再有个孪生神经网络模型对比图片相似度然后通过得分输出最佳匹配结果识别率就提上去了。

lz8668 · 发表于 2025-7-22 15:16

做过类似的，可以使用角点检测，然后保利匹配的算法，使用传统的图像处理算法，不需要模型训练，速度很快，cpu就能很快处理

BinYoooo · 发表于 2025-7-20 07:41

第一次发帖，排版可能有些乱。

st0rm · 发表于 2025-7-20 08:42

很厉害，拿来学习学习

BinYoooo · 发表于 2025-7-20 09:09

Niuer 发表于 2025-7-20 08:13
再有个孪生神经网络模型对比图片相似度然后通过得分输出最佳匹配结果识别率就提上去了。

加上这个精度确实能提高很多，我这个方案也就是懒得打标了

markbob123 · 发表于 2025-7-20 17:53

之前好像在opencv看过简单的，图片二值化匹配的方式

wf6994jie · 发表于 2025-7-20 19:23

看着很复杂，学习学习，谢谢！

ko4625 · 发表于 2025-7-21 00:33

支持主播

hopecolor514 · 发表于 2025-7-21 05:58

很厉害，拿来学习学习，支持

HaveAnOrange · 发表于 2025-7-21 10:57

这思路牛啊，打开了视野

帐号		自动登录	找回密码
密码			注册[Register]