美文网首页
JStorm基础问题

JStorm基础问题

作者: w黄杨w | 来源:发表于2017-06-22 16:05 被阅读0次
  • 若bolt的并发度为N(N > 1),则会有N个task来执行此component。那这些task是公用一个bolt实例,还是为每个task都创建一个bolt实例呢?
    答:从Task的创建过来看,每个task都会创建自己的bolt实例。
    com.alibaba.jstorm.task.Task
public Task(WorkerData workerData, int taskId) throws Exception {
    ...
    this.taskObj = Common.get_task_object(
                    topologyContext.getRawTopology(), componentId, WorkerClassLoader.getInstance());
    ...
}

com.alibaba.jstorm.cluster.Common

public static Object get_task_object(StormTopology topology, String component_id, URLClassLoader loader) {
        ...
        Object rtn;
        if (componentObject instanceof JavaObject) {
            rtn = Thrift.instantiateJavaObject((JavaObject) componentObject);
        }
       ...
       return rtn;
} 
  • 延时调度 / 窗口式调度 / 节拍式调度:若期望bolt的执行具有下列特点,可使用storm的定时任务来完成
    • bolt每次执行要有时间间隔
    • bolt微批量消费数据
    • 高频幂等

相关文章

  • JStorm基础问题

    若bolt的并发度为N(N > 1),则会有N个task来执行此component。那这些task是公用一个bol...

  • JStorm

    JStorm JStorm官方网站 JStorm Chinese Documentation [github]

  • jstorm常用命令汇总

    1、运行jstorm项目如下我的jstorm项目打包为: jstorm-test-1.0-SNAPSHOT.jar...

  • JStorm使用问题

    基本执行流程 以SequenceTopology为例,其加载流程为: 用户提交拓扑的时候,会先将自己的代码打成ja...

  • JStorm和Storm比较

    1、What——JStorm是什么? 概述: JStorm 是一个分布式实时计算引擎,类似Hadoop MapRe...

  • JStorm学习笔记 - 基本概念

    JStorm 是一个分布式实时计算引擎。JStorm 是一个类似Hadoop MapReduce的系统, 用户按照...

  • Jstorm集群的搭建

    1、为什么选择jstorm而不是storm? 阿里Jstorm和storm的对比 简单说下安装步骤: 三台机器:分...

  • 分布式流式计算-jstorm部署

    jstorm是阿里巴巴使用java语言重写的storm,可以用来做流式计算,我们使用jstorm从kafka中读取...

  • JStorm:单词计数-开发示例

    JStorm:1、概念与编程模型JStorm:2、任务调度 转载自个人博客示例功能说明:统计单词出现的次数,spo...

  • JStorm源码分析-2.组装Topology

    我们在使用jstorm的时候,主要的工作就是将我们的数据处理逻辑构造为Topology,再提交给jstorm集群运...

网友评论

      本文标题:JStorm基础问题

      本文链接:https://www.haomeiwen.com/subject/upefcxtx.html