StreamAPI的并行

作者: 椰子奶糖 | 来源:发表于2019-08-04 10:31 被阅读24次

并行流与串行流

  • 并行流就是把一个内容分成多个数据块,并用不同的线程分 别处理每个数据块的流。
  • Java 8 中将并行进行了优化,我们可以很容易的对数据进行行操作。Stream API 可以声明性地通过 parallel() 与 sequential() 在并行流与顺序流之间进行切换。

Fork/Join

  • Fork/Join 框架:就是在必要的情况下,将一个大任务,进行拆分(fork)成若干个 小任务(拆到不可再拆时),再将一个个的小任务运算的结果进行 join 汇总.
image.png

Fork/Join 框架与传统线程池的区别

  • 采用 “工作窃取”模式(work-stealing): 当执行新的任务时它可以将其拆分分成更小的任务执行,并将小任务加到线 程队列中,然后再从一个随机线程的队列中偷一个并把它放在自己的队列中。 相对于一般的线程池实现,fork/join框架的优势体现在对其中包含的任务的 处理方式上.在一般的线程池中,如果一个线程正在执行的任务由于某些原因 无法继续运行,那么该线程会处于等待状态.而在fork/join框架实现中,如果 某个子问题由于等待另外一个子问题的完成而无法继续运行.那么处理该子 问题的线程会主动寻找其他尚未运行的子问题来执行.这种方式减少了线程 的等待时间,提高了性能.
image.png

以加法为例:

import java.util.concurrent.RecursiveTask;

//继承RecursiveTask
public class ForkJoinCalculate extends RecursiveTask<Long>{

    /**
     *
     */
    private static final long serialVersionUID = 1L;

    private long start;
    private long end;

    //任务大小的临界值
    private static final long THRESHOLD = 10000L;

    public ForkJoinCalculate(long start, long end) {
        this.start = start;
        this.end = end;
    }

    @Override
    protected Long compute() {
        long length = end - start;

        //如果任务大小小于这个临界值则开始计算
        if(length <= THRESHOLD){
            long sum = 0;

            for (long i = start; i <= end; i++) {
                sum += i;
            }

            return sum;
        }else{
            //如果大于临界值则继续递归拆分,这里采用对半分
            long middle = (start + end) / 2;

            //拆分,并将该子任务压入线程队列
            ForkJoinCalculate left = new ForkJoinCalculate(start, middle);
            left.fork();

            ForkJoinCalculate right = new ForkJoinCalculate(middle+1, end);
            right.fork();

            //将左右结果相加并返回,合成总结果
            return left.join() + right.join();
        }

    }

}

import java.util.concurrent.ForkJoinPool;
import java.util.concurrent.ForkJoinTask;
import java.util.stream.LongStream;

import org.junit.Test;

public class TestForkJoin {
    
    @Test
    public void test1(){
        long start = System.currentTimeMillis();
        
        ForkJoinPool pool = new ForkJoinPool();
        ForkJoinTask<Long> task = new ForkJoinCalculate(0L, 100000000000L);
        
        long sum = pool.invoke(task);
        System.out.println(sum);
        
        long end = System.currentTimeMillis();
        
        System.out.println("耗费的时间为: " + (end - start)); //20464
    }
    
    @Test
    public void test2(){
        long start = System.currentTimeMillis();
        
        long sum = 0L;
        
        for (long i = 0L; i <= 100000000000L; i++) {
            sum += i;
        }
        
        System.out.println(sum);
        
        long end = System.currentTimeMillis();
        
        System.out.println("耗费的时间为: " + (end - start)); //31006
    }
    


}
  • 这两个个方法中都标了消耗的时间,可以看到,在数据规模足够大的情况下ForkJoin相对于有一定的优势,

StreamAPI中的多线程parallel()

    @Test
    public void test3(){
        long start = System.currentTimeMillis();
        
        Long sum = LongStream.rangeClosed(0L, 100000000000L)
                             .parallel()
                             .sum();
        
        System.out.println(sum);
        
        long end = System.currentTimeMillis();
        
        System.out.println("耗费的时间为: " + (end - start)); //12725
    }

这段代码给我的第一感觉其实不是消耗时间只有12S,它对于单线程与多线程的切换只需要一行代码,至于效率,猜想是底层实现比较完善,并不一定说效率一定比ForkJoin来得高。

相关文章

  • StreamAPI的并行

    由于上次对于并行流与串行流的学习忘记记录,于是这篇补上 上一篇:https://www.jianshu.com/p...

  • StreamAPI

    1.流的基本概念 1.1 什么是流? 流是Java8引入的全新概念,它用来处理集合中的数据,暂且可以把它理解为一种...

  • StreamAPI

    StreamAPI的作用 Java8中有两大最为重要的改变。第一个是 Lambda 表达式;另外一个则是 Stre...

  • StreamAPI

  • 强大的StreamAPI

    04 强大的StreamAPI 什么是Stream流: 对于数据源,可以是Collection或是Array,进行...

  • Flink Dag简述

    Flink Dag 1、流程简图 2、流程简述 ① API : StreamAPI: 实时流 API BatchA...

  • 写给大忙人的javaSE8(2)-常用流操作

    java8中的 StreamAPI 非常丰富,本文介绍几种比较重要的API。 collect(toList()) ...

  • through2

    帮忙处理stream的,因为Node自带的streamAPI不好用,相当于新建(封装)一个流(不需要每次newSt...

  • Java8之StreamAPI

    Java8的两大特性(1)Lambda 表达式Lambda表达式 前面文章已经详细讲解过 lambda语法、函数式...

  • 多GPU-TensorFlow

    首先,TensorFlow并行计算分为:模型并行,数据并行。 模型并行:根据不同模型设计不同并行方式,模型不同计算...

网友评论

    本文标题:StreamAPI的并行

    本文链接:https://www.haomeiwen.com/subject/kovedctx.html