文本数据处理问题

lcg888

有没有什么办法或者软件能监测重复源删除重复源，再自动把相同地区的源自动归类到一块  比如     

江苏卫视,http://666.m3u8
江苏卫视,http://666.m3u8
北京卫视,http://123.m3u8
江苏卫视,http://999.m3u8

注意,网址不只是m3u8结尾，有很多直播源都是长尾字母字符等
自动监测重复的源删除重复的，然后自动把江苏卫视跟一样是江苏卫视的排在一上一下
例如：
江苏卫视,http://666.m3u8
江苏卫视,http://999.m3u8
北京卫视,http://123.m3u8

osmake

使用 notepad++，里面有按字母，数字等等排序，还有重复去重，相邻去重

17sheng

excel，一个删除重复值，一个排序，完事。

lcg888

17sheng 发表于 2024-8-21 09:02
excel，一个删除重复值，一个排序，完事。

关键不会excel

lcg888

osmake 发表于 2024-8-21 08:31
使用 notepad++，里面有按字母，数字等等排序，还有重复去重，相邻去重

等今晚回去我试试

PGNET

给一个思路，如果你需要根据网址内容进行排重的话，你需要用爬虫抓取网址打开后关键信息来判断。比如网址title这种信息。

lcg888

PGNET 发表于 2024-8-21 11:14
给一个思路，如果你需要根据网址内容进行排重的话，你需要用爬虫抓取网址打开后关键信息来判断。比如网址ti ...

不根据网址……