简单重复文件处理工具

hope910

自己本子上一T的硬盘快满了，加盘也不好加，因为储存的大多数是一些产品的图片和视频之类的文件，很多文件之前都被复制重复使用了，占了很大的空间。所以便做了这个工具，给硬盘瘦了下身。
开始写得很粗造，就几段代码，几个循环。后面想想，应该其他人也用得着，所以便整理了一下，发了出来。

为了提高效率，对于大文件的指纹获取方式，采用的截取部份数据识别的方式，这样的好处是可以加快软件的执行效率，
缺点是可能会有少量相似度很高的文件无法被识别，所以删除10M以上的文件的时候，请手动辨别之后再进行批量删除。切记！切记！

去重原理采用的是最原始的暴力对比方法，所有软件的整体执行效率不高，如果文件太多的话，你点开始之后，把软件最少化，让它自己在那里慢慢跑就可以了。
如果用得着的人多的话，后期再优化一下算法。

易语言写的，UPX的简单外壳，杀软报毒很正常，怕毒的慎用，我人格担保，自己不会放毒在上面。




简单重复文件处理工具.rar (767.14 KB, 下载次数: 3141)

2020-3-21 14:39 上传

点击文件名下载附件

hope910

20082010 发表于 2020-3-21 16:12
这个思路挺棒的，是不是可以考虑所有文件都用固定长度的随机取样来判定重复性呢？一方面可能还能提升效率， ...

其实我还有一个思路，就是第一次处理完成之后，再对已经找出来的可能会误杀的大文件再进行一次完整的对比，这样效率和误杀都解决了。因为毕竟可能会误判的文件不会太多，第一次过滤之后剩下的也就没有那么多了，整体执行一次，应该也用不了多长时间。只是我个人觉得这个工具可能要很久才用得上一次，所以就没有做那么详细了，先看下，用得着的朋友多的话，再更新上去就好了。

看，六眼飞鱼

有啥好担保的，我们吾爱论坛上怎么会有不开眼的放毒呢，分分钟揪出来吊打。
谢谢楼主的劳动成果

20082010

这个思路挺棒的，是不是可以考虑所有文件都用固定长度的随机取样来判定重复性呢？一方面可能还能提升效率，大文件小文件一视同仁。不过还不完美，无法做到只是几个字节上的变动。

有没有可能，一般文件是头部或尾部变动，这两个部分截取，中间随机再找几个截取。

现在能想到的只是类似，同一个文件，保存了jpg，png的格式，这样就无法识别了。。

miqi1314

试一试，挺需要

chong

下载试试 本来就想上论坛找 一上来就看到你发了

Crazy开发仔

编程思路可以，不过指纹的获取容易出现误差，比如说两个应用程序，只是有部分的字节集内容不同，但这两个程序是不同的，就会被误杀。
不过依旧支持楼主。

zzs_70

不错，支持一下原创

1wang

试试給硬盘瘦瘦身

Z温柔夏天

谢谢楼主的劳动成果

美想成真

下载试一试。。。。。。