基于Stream流的去重操作

mabin

基于Stream流的去重操作，主要包括下面几种方式：

• distinct 按照对象去重(实现 hashCode()和 equals()方法)
• filter 按照对象属性去重(不需要实现 hashCode()和 equals()方法)
• 利用stream的collectingAndThen+TreeSet去重（推荐）

去重实例对象

@Data
@AllArgsConstructor
public class Student implements Serializable{

    private static final long serialVersionUID = 8170834275910515552L;
    private String name;
    private Integer age;
    private Boolean sex;

}

distinct

    /**
     * distinct 按照对象去重(实现 hashCode()和 equals()方法)
     *
     * @Param students
     */
    public static void distinctHandleRepeat(List<Student> students) {
        students.stream().distinct().collect(Collectors.toList()).forEach(System.out::println);
    }

filter

    /**
     * filter 按照对象属性去重(不需要实现 hashCode()和 equals()方法)
     * 单属性去重
     * 多属性去重(例如: 根据age去重后,再根据sex再次进行去重)
     *
     * @param students
     */
    public static void filterHandleRepeat(List<Student> students) {
        students.stream()
                .filter(filterByKey(Student::getAge))
                .filter(filterByKey(Student::getSex))
                .forEach(System.out::println);
    }

    /**
     * putIfAbsent(): key存在时不添加到map并返回value，不存在时则添加返回null
     *
     * @param keyExtractor
     * @param <T>
     * @return
     */
    public static <T> Predicate<T> filterByKey(Function<? super T, ?> keyExtractor) {
        Map<Object, Boolean> seen = new ConcurrentHashMap<>(16);
        return t -> seen.putIfAbsent(keyExtractor.apply(t), Boolean.TRUE) == null;
    }

TreeSet(推荐)

    /**
     * 利用stream的collectingAndThen+TreeSet去重
     *
     * @param students
     */
    public static void collectingAndThenHandleRepeat(List<Student> students) {
        students.stream()
                .collect(Collectors.collectingAndThen(Collectors.toCollection(() -> new TreeSet<>(Comparator.comparing(Student::getAge))), ArrayList::new))
                .forEach(System.out::println);
    }

调用示例

    public static void main(String[] args) {
        // distinct去重
        distinctHandleRepeat(getStudents());
        System.out.println("================================================");
        // filter去重
        filterHandleRepeat(getStudents());
        System.out.println("================================================");
    // collectingAndThen+TreeSet去重
        collectingAndThenHandleRepeat(getStudents());
    }

    public static List<Student> getStudents() {
        List<Student> students = new ArrayList<>();
        students.add(new Student("Tom", 25, Boolean.TRUE));
        students.add(new Student("Jack", 23, Boolean.TRUE));
        students.add(new Student("Top", 22, Boolean.FALSE));
        students.add(new Student("Gao", 22, Boolean.FALSE));
        students.add(new Student("Top", 22, Boolean.FALSE));
        return students;
    }

测试结果

Student(name=Tom, age=25, sex=true)
Student(name=Jack, age=23, sex=true)
Student(name=Top, age=22, sex=false)
Student(name=Gao, age=22, sex=false)
================================================
Student(name=Tom, age=25, sex=true)
Student(name=Top, age=22, sex=false)
================================================
Student(name=Top, age=22, sex=false)
Student(name=Jack, age=23, sex=true)
Student(name=Tom, age=25, sex=true)

推荐利用stream的collectingAndThen+TreeSet去重，灵活度和简洁度都较高

allxxall

Java中对存在存储结构的对象data的处理，可以使用stream和for循环处理；
其中如果是简单的数据处理，就没有必要使用stream，直接for循环即可，因为这样做没有额外的性能消耗且简单易懂；
在对于stream的使用中，存在顺序流和并行流，如果其中要处理的数据量太大就可以考虑其中的并行流处理数据，将其分成多个线程处理；
当前了，如果数据量是中等规模的话，就没有必要使用并行流，毕竟并行流的开启和管理使用的消耗也不小
如果有什么遗漏的，欢迎大家补充

jstar

太优秀啦

crystalZ

挺妙的，学会了

jinwuxiong

谢谢分享

TabKey9

不错不错

RabbitBearLove

谢谢分享,很实用

mabin

sherlocked1314 发表于 2024-3-18 13:27
不错的去重方式，很棒，我也是java选手，好好奇啥业务会用到stream流的去重啊

某些直接操作DB无法灵活达到去重要求的时候，可以使用这种stream流方式

yangxia98

又学会了一招

liilong

使用stream就是简洁

StoreDS

有些场景确实使用stream去重更方便快捷