如何批量删除文档中重复的文字

chuanglue · 发表于 2024-6-23 15:28

本帖最后由 chuanglue 于 2024-6-23 15:40 编辑

需求场景：比如百度了一堆木字旁的汉字到一个TXT或excel或word文件中
其中有很多字重复了，现在需要删除其中的重复文字，只保留重复文字中的一个即可
百度了不少方法：
1、有说替换的——一个一个字替换，有点费时间
2、有说可以智能的,比如“首助编辑高手”——但收费，也尝试不了其功能
故请教高手有否轻松、一键实现上述功能的（比如代码BAT文件，比如excel中的删除重复项）的方法或工具。
测试文件：链接: https://pan.baidu.com/s/14V3y-hdP8d7qmwLiM-0gqA?pwd=wcx3 提取码: wcx3 （抱歉没有蓝奏）

Arcticlyc · 发表于 2024-6-23 15:28

在线文本去重复工具

hebeijianke · 发表于 2024-6-23 15:33

发一个测试文件看看

chuanglue · 发表于 2024-6-23 15:41

hebeijianke 发表于 2024-6-23 15:33
发一个测试文件看看

谢谢关注，已上传一txt版测试文件，麻烦了！

chuanglue · 发表于 2024-6-23 15:45

Arcticlyc 发表于 2024-6-23 15:40
在线文本去重复工具

甭说，很牛皮！

有否离线版的文本去除重复功能的工具或方法！
若木有其他高手更更好的方法，便选您为最佳了！

Arcticlyc · 发表于 2024-6-23 16:07

chuanglue 发表于 2024-6-23 15:45
甭说，很牛皮！有否离线版的文本去除重复功能的工具或方法！
若木有其他高手更更好的 ...

我看 gpt 的回答，使用 bat 脚本似乎有点困难，看看其他大佬有没有更好的办法吧

Arcticlyc · 发表于 2024-6-23 16:08

1045837055lucy 发表于 2024-6-23 16:04
不错的网站，关键还免费，感谢分享

搜索“在线文本去重“，挺多的

hebeijianke · 发表于 2024-6-23 16:08

chuanglue 发表于 2024-6-23 15:41
谢谢关注，已上传一txt版测试文件，麻烦了！

你发的这个txt文件中，是要去掉笔画之前的“木字旁的字”这几个字吗，每一行里面应该没有重复的字了吧

chuanglue · 发表于 2024-6-23 16:11

hebeijianke 发表于 2024-6-23 16:08
你发的这个txt文件中，是要去掉笔画之前的“木字旁的字”这几个字吗，每一行里面应该没有重复的字了吧

其实就是https://www.wdku.net/smalltools/TextRemoveRepeat.html上的“文字去重复功能”

hebeijianke · 发表于 2024-6-23 16:23

chuanglue 发表于 2024-6-23 16:11
其实就是https://www.wdku.net/smalltools/TextRemoveRepeat.html上的“文字去重复功能”

这个网页去重后，笔画数字不完整了，不知道你想要的最终结果

帐号		自动登录	找回密码
密码			注册[Register]

[经验求助] 如何批量删除文档中重复的文字

最佳答案