迅捷搜.最快去重复 [亿级去重]

winlpl · 发表于 2026-1-6 20:28

本帖最后由 winlpl 于 2026-1-6 20:36 编辑

软件支持命令行调用:

命令行	值	注释
-target	"D:\\目标文件.txt"	要去重的目标文件.
-saveresults	"D:\\结果.txt"	保存去重后的结果文件
-saveremove	"D:\\剔除.txt"	保存被剔除的文本行~
-multicore	true	开启多核心加速. false则不开启.

您可以很方便的通过命令行集成到您的项目中 (不允许用于违法项目.)
控制台输出的是英文, 为什么不是中文呢(其实我也是翻译的)..因为乱码, 懒得折腾了...

数据量: 415589244 (4.15亿)
文件大小: 6.49G
内存峰值: 16.5G
开启多核加速去重耗时: 33.03秒
单核去重耗时: 65.01秒
保留数量: 415589244 (4.15亿)
重复数量: 0
说全网最快不算过分吧?

最快去重.7z (240.3 KB, 下载次数: 77)

tao2018 · 发表于 2026-1-10 10:00

先下载后收藏以备不时之需

temp2005 · 发表于 2026-1-10 10:03

暂时用不到

webdong925 · 发表于 2026-1-10 10:29

谢谢分享

好基友 · 发表于 2026-1-10 16:34

很不错的软件，感谢分享

hydn · 发表于 2026-1-10 21:09

整理硬盘时很有用，谢谢分享，

sqg1980529 · 发表于 2026-1-11 01:14

感谢分享

康铎严 · 发表于 2026-1-11 12:07

导出的结果并没有去重啊，我测试的500w字样

summer3036 · 发表于 2026-1-11 13:40

下来整理一下

会飞的花 · 发表于 2026-1-11 15:20

这个看着很腻害

帐号		自动登录	找回密码
密码			注册[Register]

[原创工具] 迅捷搜.最快去重复 [亿级去重]

免费评分