美文网首页美文共赏
DRAIS业务调度系统(21.12.14)

DRAIS业务调度系统(21.12.14)

作者: 次第前行 | 来源:发表于2021-12-14 08:00 被阅读0次

到目前为止我一直在谈产品能力是需要有价值输出能力和可复用能力,今天则重点考虑下另外一个重点即运维支撑能力。

我们现在的项目实施存在两个很弱的环节,也可以说是很不专业的环节,就是缺少一个可以对业务数据采集和业务模型运行进行配置管理、运行监控的系统。项目上进行数据采集和模型运行需要需要开发人员在代码中修改配置、然后登录服务器进行部署。如果没有详细的文档说明换一个人就很容易无所适从。即便有文档,我们的技术人员需要具备windiw和Linux服务环境的应用能力,这无形中提高了运维的门槛,离开了研发人员,这块得事情就干不了。另外一个突出的问题是,我们经常是要在客户使用系统的时候才意识到我们某项数据没有采集入库、我们的某个模型没有输出、我们某了接口无法被调用。这个时候只有参与开发的技术人员才能定位问题,然后进行一系列复杂的操作去定位问题并恢复。所以在产品即将面临大范围推广的阶段,我们提出开发能够支撑项目快速和持续交付的业务调度系统,而可配置、可监控则是这套系统的核心目标。

我们进一步分解需求。通常来讲我们有两大类任务,

一类是数据的采集,这块功能基本ETL差不多。具备支撑跨库数据同步、接口定时调用、FTP同步等,对于复杂的数据采集过程,我们能够支撑调用外部程序,比如直接调用JAR包或者执行python脚本来实现,这类方式最重要是对程序运行状态和日志的捕获,能够在程序出现问题后及时报警,并通过日志记录支撑问题定位。这也就要求系统设计之初需要考虑到可扩展程序调用方式,自己建立一套统一的状态监控和日志输出标准,所有采集程序必须基于这套标准来编写。

另外一类是模型的调度。这里我们把所有那些需要通过后台程序驱动去解决特定业务问题的统称为模型,所以简单到一个消息发送任务,复杂到一个内涝计算模型,我们都希望能够通过这个系统来进行配置管理和运行监控。听起来很复杂,但本质上就是用定时任务替代人为脚本控制程序运行。当然这块设计的关键依然是对状态和过程日志的监控,让我们对模型的运行时刻做到心中有数。所以,需要为所有模型地设计插入统一标准的运行状态和问题日志的能力。

通过可配置、可监控的运维调度提升快速交付、持续交付能力。

相关文章

  • DRAIS业务调度系统(21.12.14)

    到目前为止我一直在谈产品能力是需要有价值输出能力和可复用能力,今天则重点考虑下另外一个重点即运维支撑能力。 我们现...

  • TASKCTL应用工程和作业类型的定义

    应用工程: 应用工程简称工程,从业务系统角度去划分调度系统。每个应用工程管理所属的流程、定时器、变量等调度元信息。...

  • 21.12.14

    休息了一天,也睡了一天,晚上把脏衣服洗干净,养足精神明天又要继续工作啦。核心:身体是革命的本钱,只有养好身体才能好...

  • 数据调度平台系统二大种类及其实现方法与流程

    什么是调度系统 调度系统,更确切地说,作业调度系统(Job Scheduler)或者说工作流调度系统(workfl...

  • 关于采购系统

    一、创建流程: 采购人员根据业务需求或者预警系统生成相应的采购申请单,领导审批后生成采购订单,给调度中心,调度中心...

  • 调度管理系统平台OMS——调度计划版块

    1 OMS调度系统平台 电网调度技术支持系统(OMS)系统是调度专业使用频率最高的系统平台。它是集成调度所有专业的...

  • 任务调度系统-业务线资源隔离

    问题背景 最近注意到自己负责的一个任务调度集群碰到了计算资源业务线分配不均的问题(即业务线资源隔离没有做好): 在...

  • Z_HPC_作业调度系统

    作业调度系统的发展 作业调度系统的分类 作业调度系统的特性比较 发展: 分类: 特性比较:

  • linux定时任务

    一 、简介 Linux下的任务调度分为两类,系统任务调度和用户任务调度 系统任务调度:系统需要定期执行的任务,比如...

  • Linux I/O 调度方法及读写测试

    操作系统的调度有 CPU调度 CPUschedulerIO调度 IOscheduler IO调度...

网友评论

    本文标题:DRAIS业务调度系统(21.12.14)

    本文链接:https://www.haomeiwen.com/subject/julefrtx.html