【文本工具】文本高效去重工具，适合大数据去重

bubuding

根据前人的代码和算法，制作了一款文本行去重工具：
1：可以去重，可以查重。
2：去重和查重，结果文件都会写入到新文件中。
3：支持批量处理。
4：支持txt、log、csv等文本文件。
5：1000万行数据，去重时间差不多在5秒。
工作界面如下：



下载地址：https://wwz.lanzoul.com/ipHvL1ek4nng
密码:eq3t

xinluqw008

做语音通信的，这工具用途还是挺大的，每天千万的话单，刚好用这个去重

hfxiang

俺比较习惯用于awk命令行来处置此类情况：
awk  "!x[$0]++" 1.txt>2.txt

fengwang

有多文件对比显示功能？下载来看下。

bubuding

fengwang 发表于 2023-11-13 16:01
有多文件对比显示功能？下载来看下。

实话实说，没有多文件比对功能哦

wellshang

牛牛牛，明天下载试试

shenmiyuzhou123

感谢分享

ouzhzh0

不能多文件对比，应用场景是……

bubuding

ouzhzh0 发表于 2023-11-14 09:04
不能多文件对比，应用场景是……

应用场景：单文件查重，单文件去重。

bubuding

ouzhzh0 发表于 2023-11-14 09:04
不能多文件对比，应用场景是……

最重要的场景是：提取重复行。

skzhaixing

不错的一个小工具  实用场景比较局限

bubuding

skzhaixing 发表于 2023-11-14 09:17
不错的一个小工具  实用场景比较局限

重点是：高效。